Nemotron 3.5 Lightning: el MoE abierto de NVIDIA para agentes

⏱ Tiempo de lectura: 4 min

NVIDIA lanzó Nemotron 3.5 Lightning, un modelo de mezcla de expertos (MoE) abierto de 30 mil millones de parámetros con solo 3 mil millones de parámetros activos, diseñado específicamente para la capa de ejecución de agentes. Junto a él presentó NeMo Switchyard, un enrutador de modelos que dirige cada paso del agente hacia el modelo más barato capaz de completar la tarea.

Nemotron 3.5 Lightning y su arquitectura MoE

Nemotron 3.5 Lightning es un modelo de código abierto con 30B parámetros totales pero solo 3B parámetros activos durante la inferencia. Su arquitectura MoE permite que el modelo seleccione dinámicamente qué expertos activar para cada token, reduciendo significativamente el costo computacional sin sacrificar capacidad. El modelo apunta a optimizar la ejecución de tareas secuenciales en sistemas de agentes de inteligencia artificial. La eficiencia en modelos de lenguaje es clave para reducir latencia y costos operacionales en producción.

NeMo Switchyard: enrutamiento inteligente de modelos

NeMo Switchyard es un enrutador de modelos que funciona como intermediario entre pasos de agentes. Su función es evaluar cada tarea y dirigirla al modelo más económico que pueda ejecutarla correctamente. Esto permite que sistemas complejos combinen múltiples modelos sin incrementar costos innecesarios. El enrutador representa una estrategia de NVIDIA para optimizar pipelines de agentes que requieren múltiples llamadas secuenciales. Fuente: www.marktechpost.com

Datos técnicos y disponibilidad

Nemotron 3.5 Lightning está disponible como modelo abierto, lo que implica acceso a pesos y código base para investigadores y desarrolladores. NeMo Switchyard forma parte del ecosistema NeMo de NVIDIA, que incluye herramientas de customización y deployment de modelos. Ambos componentes se orientan a sistemas que ejecutan agentes de múltiples pasos donde la eficiencia computacional y el costo por inferencia son críticos. No se especifica en el texto fuente recibido si incluyen APIs comerciales, integración con plataformas específicas o roadmap de updates futuras.

Qué cambia con esta información

La combinación de Nemotron 3.5 Lightning con NeMo Switchyard abre un enfoque diferente para construir agentes: en lugar de usar un único modelo grande para todas las tareas, permite encadenar modelos especializados y económicos. Esto reduce latencia y costo operacional en sistemas que hoy usan modelos monolíticos. Para desarrolladores que construyen agentes complejos, esta arquitectura representa una vía concreta para optimizar sin reescribir lógica completa.

Componente	Detalle
Nemotron 3.5 Lightning	Modelo MoE abierto, 30B parámetros totales, 3B activos, diseñado para ejecución de agentes
NeMo Switchyard	Enrutador que dirige cada paso del agente al modelo más barato capaz de ejecutarlo
Disponibilidad	Nemotron como modelo abierto; Switchyard como parte del ecosistema NeMo de NVIDIA
Objetivo	Reducir latencia y costo computacional en pipelines de agentes multipasos
Plataforma	No se especifica en el texto fuente recibido API comercial, integración o roadmap

Preguntas frecuentes sobre Nemotron 3.5 Lightning

¿Qué es un modelo MoE y por qué importa en agentes?

MoE (Mezcla de Expertos) permite que un modelo grande active solo una porción de sus parámetros por cada token, reduciendo costo y latencia. En sistemas de agentes, esto es crucial porque típicamente requieren múltiples pasos secuenciales donde cada milisegundo de latencia se multiplica.

¿Cuándo estará disponible Nemotron 3.5 Lightning?

El texto fuente recibido no especifica fecha de lanzamiento exacta ni ventana de disponibilidad. Se presenta como modelo abierto de NVIDIA, lo que sugiere distribución pública pero sin fecha confirmada.

¿Es necesario usar NeMo Switchyard o puedo usar Nemotron solo?

No se especifica en el texto fuente recibido si Nemotron requiere Switchyard o funciona de forma independiente. El enrutador es presentado como complemento diseñado para optimizar pipelines multimodelo.

La lectura para quienes usan IA a diario

NVIDIA apunta a un problema real: los agentes de producción combinan múltiples modelos porque ninguno es óptimo para todas las tareas, pero esto multiplica costos. Nemotron 3.5 Lightning con Switchyard intenta resolver eso sin cambiar la arquitectura base de los agentes existentes.

En Inteligencia Artificial creemos que esta estrategia de modelos abiertos + enrutamiento inteligente puede sentar precedentes para sistemas más eficientes, aunque requiere validación en escala real. ¿Cómo optimizan ustedes el costo en sistemas de agentes complejos?

Fuente: www.marktechpost.com