Nvidia lanza Nemotron 3 con MoE híbrido y Mamba-Transformer para impulsar una IA eficiente Mas Cipolleti
Nvidia ha lanzado la nueva versión de sus modelos fronterizos, Nemotron 3, apoyándose en una arquitectura de modelo que, según la empresa más valiosa del mundo, ofrece más precisión y confiabilidad para los agentes.
Nemotron 3 estará disponible en tres tamaños: Nemotron 3 Nano con parámetros 30B, principalmente para tareas específicas y altamente eficientes; Nemotron 3 Super, que es un modelo de parámetros de 100B para aplicaciones de razonamiento multiagente y de alta precisión, y Nemotron 3 Ultra, con su gran motor de razonamiento y alrededor de 500B de parámetros para aplicaciones más complejas.
Para construir los modelos Nemotron 3, Nvidia dijo que se basó en una arquitectura híbrida de combinación de expertos (MoE) para mejorar la escalabilidad y la eficiencia. Al utilizar esta arquitectura, Nvidia dijo en un comunicado de prensa que sus nuevos modelos también ofrecen a las empresas más apertura y rendimiento en la construcción de sistemas autónomos multiagente.
Kari Briski, vicepresidente de software de IA generativa de Nvidia, dijo a los periodistas en una sesión informativa que la compañía quería demostrar su compromiso de aprender y mejorar a partir de iteraciones anteriores de sus modelos.
“Creemos que estamos en una posición única para servir a una amplia gama de desarrolladores que desean total flexibilidad para personalizar modelos para construir IA experta combinando esta nueva combinación híbrida de nuestra arquitectura experta mixta con una longitud de contexto de 1 millón de tokens”, dijo Briski.
Nvidia dijo que los primeros en adoptar los modelos Nemotron 3 incluyen Accenture, CrowdStrike, Cursor, Deloitte, EY, Oracle Cloud Infrastructure, Palantir, Perplexity, ServiceNow, Siemens y Zoom.
Arquitecturas innovadoras
Nvidia ha estado utilizando la arquitectura híbrida expert-mix Mamba-Transformer para muchos de sus modelos, incluido Nemotron-Nano-9B-v2.
La arquitectura se basa en investigaciones de la Universidad Carnegie Mellon y Princeton, que tejen modelos selectivos de espacio de estados para manejar información extensa mientras se mantienen los estados. Puede reducir los costos de cálculo incluso en contextos prolongados.
Nvidia señaló que su diseño “alcanza un rendimiento de tokens hasta 4 veces mayor” en comparación con el Nemotron 2 Nano y puede reducir significativamente los costos de inferencia, reduciendo la generación de tokens de razonamiento hasta en un 60%.
“Realmente necesitamos ser capaces de aumentar esa eficiencia y disminuir el costo por token. Y puedes hacerlo de varias maneras, pero realmente lo estamos haciendo a través de las innovaciones de esta arquitectura modelo”, dijo Briski. “La arquitectura del transformador híbrido Mamba funciona varias veces más rápido con menos memoria porque evita estos enormes mapas de atención y cachés de valores clave para cada token”.
Nvidia también ha introducido una innovación adicional para los modelos Nemotron 3 Super y Ultra. Para estos, Briski dijo que Nvidia implementó “un avance llamado MoE latente”.
“Todos estos expertos que están en su modelo comparten un núcleo común y mantienen sólo una pequeña parte en privado. Es como si los chefs compartieran una gran cocina, pero necesitan su propio especiero”, añadió Briski.
Nvidia no es la única empresa que emplea este tipo de arquitectura para construir modelos. AI21 Labs lo utiliza en sus modelos Jamba, más recientemente en tu modelo Jamba Reasoning 3B.
Los modelos Nemotron 3 se beneficiaron del aprendizaje por refuerzo extendido. Los modelos Super y Ultra más grandes utilizaron el formato de entrenamiento NVFP4 de 4 bits de la compañía, que le permite entrenar en la infraestructura existente sin comprometer la precisión.
Las pruebas comparativas de Análisis Artificial colocaron a los modelos Nemotron en una posición destacada entre los modelos de tamaño similar.
Nuevos entornos para que los modelos ‘trabajen’
Como parte del lanzamiento de Nemotron 3, Nvidia también brindará a los usuarios acceso a su investigación, publicando sus documentos e indicaciones de muestra, ofreciendo conjuntos de datos abiertos donde las personas pueden usar y observar tokens previos al entrenamiento y muestras posteriores al entrenamiento y, lo más importante, un nuevo NeMo Gym donde los clientes pueden dejar que sus modelos y agentes “entrenen”.
NeMo Gym es un laboratorio de aprendizaje por refuerzo donde los usuarios pueden dejar que sus modelos se ejecuten en entornos simulados para probar su rendimiento posterior al entrenamiento.
AWS anunció una herramienta similar a través de su Plataforma Nova Forgedirigido a empresas que quieran probar su destilado de nueva creación o modelos más pequeños.
Briski dijo que las muestras de datos posteriores al entrenamiento que Nvidia planea publicar “son órdenes de magnitud mayores que cualquier conjunto de datos posteriores al entrenamiento disponible y también son muy permisivos y abiertos”.
Nvidia señaló a los desarrolladores que buscan modelos abiertos altamente inteligentes y de alto rendimiento para poder comprender mejor cómo guiarlos si es necesario como base para publicar más información sobre cómo entrena sus modelos.
“Los desarrolladores de modelos se enfrentan hoy a esta difícil trifecta. Necesitan encontrar modelos que sean ultra abiertos, extremadamente inteligentes y altamente eficientes”, afirmó. “La mayoría de los modelos abiertos obligan a los desarrolladores a realizar dolorosas compensaciones entre eficiencias como los costos de los tokens, la latencia y el rendimiento”.
Dijo que los desarrolladores quieren saber cómo se entrenó un modelo, de dónde provienen los datos de entrenamiento y cómo pueden evaluarlos.
