NVIDIA lança Nemotron três com Mamba híbrida e MoE para IA de contexto longo

Ouça este artigo

Você vai conhecer o Nemotron 3, a nova família aberta da NVIDIA para IA com agentes, que traz pesos abertos, conjuntos de dados e ferramentas de aprendizado por reforço. Vem nas versões Nano, Super e Ultra — o Nano já está disponível; Super e Ultra chegam mais tarde. A arquitetura mistura blocos Mamba, atenção seletiva e MoE (incluindo LatentMoE) para raciocínio em janelas muito longas e controle do custo de inferência, focada em sistemas multiagente que precisam de memória grande e raciocínio profundo. No artigo você verá como isso afeta desempenho, custo e casos de uso.

• NVIDIA lançou a família Nemotron 3 de modelos abertos para IA agente

• Modelos Nano, Super e Ultra para diferentes necessidades de carga

• Arquitetura híbrida com blocos Mamba, atenção e camadas de especialistas

• Nano já disponível com pesos e receitas abertas; Super e Ultra previstos em H1 2026

• Projetado para raciocínio em contexto muito longo e inferência eficiente

NVIDIA libera família Nemotron 3 para IA agente — o que você precisa saber

Você pode agora acessar uma família de modelos abertos da NVIDIA voltada a sistemas agentes. A Nemotron 3 chega com pesos, conjuntos de dados e ferramentas de aprendizado por reforço como parte de uma pilha completa. O foco é raciocínio em contexto longo e controle rigoroso do custo de inferência — seguindo a tendência de modelos otimizados para produção, como o Nemotron Nano e derivativos anteriores.

Principais pontos (lead)

• A família tem três variantes: Nano, Super e Ultra.

• Nano já está disponível com pesos e receitas na Hugging Face e como microserviço NVIDIA NIM.

• Super e Ultra têm previsão de lançamento para o primeiro semestre de 2026.

• Todas as versões suportam janelas de contexto de até 1 milhão de tokens, seguindo avanços recentes que permitem processar contextos muito mais longos e decodificar mais rápido.

• O design usa uma arquitetura híbrida Mixture of Experts (MoE) com blocos Mamba, atenção seletiva e especialistas esparsos — entenda melhor as diferenças entre Transformers e MoE em comparativos técnicos sobre MoE.

O que muda para você (contexto e impacto)

Se você trabalha com agentes que trocam grandes estados de trabalho — textos longos, código ou trilhas de execução — a Nemotron 3 foi projetada para reduzir custo de inferência sem perder capacidade. O Nano prioriza eficiência; Super e Ultra priorizam maior precisão e workflows de planejamento complexos. Para aplicações que exigem memória persistente entre interações, vale considerar soluções e padrões de armazenamento de memória, como memória persistente em SQL demonstrada por outras iniciativas (memória persistente em SQL).

Detalhes técnicos essenciais

• Arquitetura: mistura de Mamba 2, blocos de atenção e blocos MoE. A maioria das camadas é de sequência rápida ou cálculo esparso; atenção total é usada onde é mais necessária para raciocínio.

• No Nano, um roteador aprendido escolhe poucos especialistas por token (por exemplo, 6 de 128), mantendo baixa a contagem de parâmetros ativos por passagem. Essa ativação esparsa segue padrões recentes que combinam modelos esparsos e densos (estratégias de sparsidade e densidade).

• Super e Ultra introduzem LatentMoE: tokens são projetados para um espaço latente onde especialistas operam; o resultado é então retornado ao espaço original, permitindo muito mais especialistas com custo de comunicação e computação controlados.

• Previsão multi-token: cabeças de saída compartilham um tronco comum e estimam vários tokens futuros em uma única passada, melhorando treinamento e permitindo decodificação especulativa e cascatas na inferência.

Treinamento e formatos numéricos

• Pré-treinamento em larga escala: cerca de 25 trilhões de tokens no total, com mais de 3 trilhões de tokens novos desde a geração anterior.

• Dados incluem variantes de Common Crawl, conjunto de código e coleções especializadas para ciência e raciocínio.

• Super e Ultra são treinados majoritariamente em NVFP4 (formato em ponto flutuante de 4 bits otimizado para aceleradores NVIDIA). Multiplicações de matriz usam NVFP4; acumulações usam maior precisão para preservar exatidão. Para equipes que treinam em larga escala, há guias e ferramentas que ajudam a reduzir uso de memória e escala de treino, como abordagens apresentadas em posts sobre escalar Transformers com menos memória e extensões que minimizam paradas durante o treino (eliminação de paradas em treinos de LLM).

Comparação rápida dos modelos

Modelo	Parâmetros totais	Parâmetros ativos por token	Uso alvo	Disponibilidade
Nano	~31.6 bilhões	~3.2 bilhões (ou 3.6B com embeddings)	Sistemas multiagente que precisam de muito contexto com baixo custo	Disponível agora
Super	~100 bilhões	até 10 bilhões	Raciocínio de alta precisão em aplicações multiagente grandes	Previsto H1 2026
Ultra	~500 bilhões	até 50 bilhões	Pesquisas complexas e planejamento de alto nível	Previsto H1 2026

Métricas de desempenho e foco prático

• A Nemotron 3 Nano oferece cerca de 4x maior taxa de tokens que a geração anterior Nemotron 2 Nano.

• A combinação de maior throughput e janela de contexto nativa de 1 milhão de tokens é pensada para agentes que operam em espaços de trabalho grandes, como documentos extensos e bases de código. Soluções para reduzir latência na primeira resposta e compartilhamento eficiente de GPU também ajudam nesses cenários (compartilhamento de GPUs e aceleração da primeira resposta).

• Super/Ultra visam permitir mais especialização por tarefa e língua, mantendo custo de comunicação e computação controlado via LatentMoE.

O que você pode esperar em implantação

• Verificar compatibilidade do seu pipeline com o formato NVFP4 e microserviços NVIDIA.

• Baixar pesos e receitas disponíveis para Nano na Hugging Face para experimentos locais e, se precisar ajustar modelos localmente em hardware NVIDIA, conferir técnicas de ajuste fino otimizadas para desktops RTX e infra DGX (ajuste fino em computadores RTX e DGX).

• Planejar testes de carga e inferência em contextos longos para avaliar ganhos de throughput.

• Acompanhar os lançamentos de Super e Ultra no primeiro semestre de 2026 para escala e pesquisa avançada.

Conclusão

Agora você tem o essencial sobre o Nemotron 3: uma família aberta da NVIDIA pensada para agentes que precisam de memória grande e raciocínio profundo. Vem em três variantes — Nano, Super e Ultra — com o Nano já disponível e Super/Ultra previstos para o 1º semestre de 2026. O diferencial é a arquitetura híbrida (blocos Mamba, atenção seletiva e Mixture of Experts, incluindo LatentMoE) que permite janelas de até 1 milhão de tokens sem explodir o custo.

Para quem lida com documentos longos, bases de código ou workflows de múltiplos agentes: mais eficiência e menos custo operacional. Técnicos e engenheiros devem checar compatibilidade com NVFP4, microserviços NVIDIA e baixar pesos na Hugging Face para testes. Em suma: é uma aposta sólida se seu foco é raciocínio em contexto extenso com controle de custo. Experimente, meça ganhos em inferência e planeje a adoção conforme sua necessidade de precisão e escala.

Quer se aprofundar? Confira mais artigos em https://blog.aidirectory.com.br.

Perguntas frequentes

• O que é o Nemotron 3 e por que é importante?
  É uma família aberta de modelos para IA agente com pesos, dados e ferramentas; suporta contexto longo até 1 milhão de tokens e é ideal para raciocínio em sistemas multi‑agente.

• O que significa Mamba híbrida e MoE no Nemotron 3?
  Mamba = blocos de sequência rápidos para alcance longo; MoE = Mixture of Experts com especialistas esparsos. Juntos mantêm muita capacidade sem aumentar muito o custo de inferência.

• Quais as diferenças entre Nano, Super e Ultra?
  Nano ≈ 31,6B parâmetros (~3,2B ativos por token) — eficiência e disponibilidade imediata. Super ≈ 100B (até 10B ativos) e Ultra ≈ 500B (até 50B ativos) — para precisão e pesquisa; previstos para H1 2026.

• Como o Nemotron 3 reduz custo sem perder desempenho?
  Usa ativação esparsa (apenas alguns experts por token), Mamba e atenção seletiva; Super/Ultra adicionam LatentMoE e previsão multi-token. Treinamento em NVFP4 aumenta throughput e reduz uso de memória, apoiado por técnicas de escala e otimização estudadas pela comunidade.

• Para que aplicações o Nemotron 3 é melhor?
  Multi‑agentes que trocam grandes memórias: documentos longos, bases de código e workflows de planejamento. Nano para produção agora; Super/Ultra para tarefas de alta precisão e pesquisa.

Se você quiser conhecer outros artigos semelhantes a NVIDIA lança Nemotron três com Mamba híbrida e MoE para IA de contexto longo, você pode visitar a categoria Notícias e Tendências.