Google apresenta Nested Learning para que seu modelo aprenda sem esquecer

Ouça este artigo

Neste artigo você conhece Nested Learning, uma nova forma de ensinar máquinas sem perder o que já aprenderam. A ideia trata um modelo como muitos problemas de aprendizado em camadas, o que ajuda a evitar o esquecimento catastrófico. Também cria memórias que mudam com o tempo. Você verá a arquitetura Hope, que se modifica sozinha e usa um sistema de memória contínua (CMS) para lembrar melhor de longos contextos. A matéria explica como tudo funciona, apresenta testes reais e aponta o que isso pode significar para o futuro dos modelos de IA (veja o trabalho original em https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/).

• Aprendizagem Aninhada vê modelos como problemas de otimização aninhados

• Arquitetura e otimização são partes do mesmo sistema em níveis

• Memória contínua com atualizações em vários tempos reduz o esquecimento

• Hope é uma arquitetura autoajustável que melhora memória de longo contexto e desempenho

• Novos otimizadores e CMS permitem IA que aprende sem esquecer ao longo do tempo

Nova abordagem: Nested Learning para reduzir a catástrofe do esquecimento em IA

Pesquisadores do Google Research apresentaram uma nova forma de projetar modelos de aprendizado de máquina chamada Nested Learning. O trabalho, publicado por Ali Behrouz e Vahab Mirrokni, propõe tratar modelos como conjuntos de problemas de otimização aninhados para evitar que aprender algo novo apague o que já foi aprendido. Mais detalhes e o paper estão em https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/.

Resumo — o que é essencial

• Nested Learning organiza um modelo em níveis de otimização com fluxos de contexto próprios.

• A ideia unifica arquitetura e algoritmo de treinamento como partes do mesmo sistema.

• Como prova de conceito, os autores mostram a arquitetura Hope, que se auto-modifica e usa um sistema de memória contínua (CMS).

• Segundo os pesquisadores, Hope apresentou melhor desempenho em modelagem de linguagem, raciocínio de longo contexto e tarefas de aprendizagem contínua, em comparação com variantes modernas.

Contexto — por que isso importa

Muitos modelos perdem conhecimentos antigos ao aprender algo novo — isto é a catástrofe do esquecimento. Hoje, vários modelos dependem de contexto imediato ou de um treinamento estático. Os pesquisadores buscam aproximar modelos da capacidade humana de reter e adaptar conhecimento (neuroplasticidade) organizando atualizações em várias frequências.

Para aprofundar, consulte a publicação original: https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/.

Como funciona — o conceito simples

• O modelo é dividido em níveis; cada nível tem sua própria taxa de atualização.

• Cada nível tem um "fluxo de contexto" distinto — uma fonte de informação que direciona seu aprendizado.

• Otimizadores são vistos como módulos de memória associativa, permitindo reformular regras (p.ex., momentum) com objetivos de perda mais robustos.

• O conjunto forma um sistema de memória contínua (CMS): módulos rápidos lidam com o contexto imediato; módulos lentos guardam conhecimento de longo prazo.

Imagine camadas que aprendem em ritmos diferentes e cooperam em vez de se sobrescrever.

Prova de conceito — a arquitetura Hope

• Hope é uma versão auto-modificável baseada na família Titans.

• É recorrente e pode criar níveis ilimitados de aprendizagem no contexto.

• Integra blocos de CMS para lidar com janelas de contexto muito longas.

• Em testes, Hope superou Transformers padrão e outras arquiteturas recorrentes em métricas comuns.

Resultados — o que foi observado

• Em modelagem de linguagem, Hope mostrou menor perplexidade.

• Em tarefas de raciocínio com senso comum, obteve maior acurácia.

• Em desafios de longo contexto do tipo "agulha no palheiro" (needle-in-a-haystack), gerenciou memória de forma mais eficaz.

• Comparativos incluíram modelos como Titans, Samba, TTT e Mamba2; os autores relatam vantagem consistente para Hope nessas avaliações.

Os resultados vêm de protótipos e experimentos controlados — não são garantia de desempenho em todas as aplicações.

O que muda para pesquisadores e engenheiros

• A visão unificada permite projetar componentes que operam em diferentes escalas de tempo.

• Reformular otimizadores como memória associativa pode aumentar a robustez a dados ruidosos.

• Sistemas de memória contínua facilitam aprendizado contínuo sem re-treinar tudo do zero.

Restrições e próximos passos

• Resultados são de protótipo; é preciso avaliar escalabilidade, custos computacionais e comportamento em aplicações reais.

• A comunidade de pesquisa é convidada a testar, reproduzir e estender a abordagem.

Créditos e reconhecimentos

O trabalho foi conduzido por Ali Behrouz, Meisam Razaviyayn, Peilin Zhong e Vahab Mirrokni, no Google Research. Revisores e colaboradores incluem Praneeth Kacham, Corinna Cortes, Yuan Deng, Zeman Li, Mark Simborg e Kimberly Schwede.

Conclusão

Nested Learning propõe pensar modelos em camadas que aprendem em ritmos diferentes. Em vez de apagar o passado, preservam-no em níveis de atualização lenta, enquanto níveis rápidos tratam do novo. A arquitetura Hope e seu sistema de memória contínua (CMS) demonstram na prática memórias que se atualizam em múltiplos tempos, otimizadores que viram módulos de retenção e menor risco de esquecimento catastrófico.

Não é uma solução definitiva — é um protótipo que exige avaliação de escalabilidade, custo e validação em campo. Ainda assim, aponta uma direção clara: modelos que aprendem sem perder o que já sabem. Para ler o artigo técnico e ver experimentos detalhados, acesse https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/.

Se ficou curioso, continue explorando: leia mais em https://blog.aidirectory.com.br e acompanhe a evolução do tema.

Perguntas frequentes

• O que é Nested Learning?
  É um paradigma que trata o modelo como níveis menores de otimização, cada um com seu fluxo de contexto e ritmo de atualização.

• Como o Nested Learning evita o esquecimento catastrófico?
  Mantendo conhecimento antigo em níveis de atualização lenta enquanto níveis rápidos aprendem novas tarefas, reduzindo sobrescrita.

• O que é a arquitetura Hope?
  Um protótipo auto-modificável com CMS e múltiplos níveis de aprendizado que otimiza sua própria memória para lembrar e aprender melhor.

• O que são deep optimizers e CMS?
  Deep optimizers tratam o otimizador como memória associativa com regras de atualização mais robustas; CMS é uma hierarquia de módulos de memória atualizados em diferentes frequências.

• Quais ganhos foram mostrados nos experimentos?
  Menor perplexidade em modelagem de linguagem, melhor acurácia em raciocínio de senso comum e melhor desempenho em tarefas de contexto longo, superando alguns Transformers e variantes em testes.

Se você quiser conhecer outros artigos semelhantes a Google apresenta Nested Learning para que seu modelo aprenda sem esquecer, você pode visitar a categoria Dicas.