Framework Sleep do Google faz LLM consolidar memória offline

O Google Research publicou em 27 de outubro de 2026 a descrição de um método que chama de framework Sleep: um esquema em que o modelo de linguagem alterna entre um período ativo, em que atende requisições, e um período offline de “sono”, no qual transfere o que aprendeu no contexto da conversa para seus próprios parâmetros. A proposta ataca um dos limites mais incômodos dos modelos atuais — eles não aprendem depois de treinados — e o faz sem mudar a arquitetura nem abandonar regras de treinamento definidas por humanos.

O trabalho é assinado por Ali Behrouz (Google e Universidade Cornell), Farnoosh Hashemi (Cornell), Adel Javanmard (Google e Universidade do Sul da Califórnia) e Vahab Mirrokni (Google). É importante registrar as datas corretamente: a divulgação institucional é de 27 de outubro de 2026, mas o artigo correspondente, intitulado “Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories”, está no arXiv sob o identificador 2606.03979, com primeira versão de 2 de junho de 2026, revisão em 10 de julho de 2026 e, segundo os próprios autores, uma versão pública no OpenReview desde setembro de 2025. Ou seja: a pesquisa é bem anterior ao anúncio.

O problema: esquecer ao aprender

Um modelo em produção tem uma data de corte de conhecimento e permanece essencialmente estático. Há dois caminhos para contornar isso, e ambos têm limite conhecido.

O primeiro é continuar treinando o modelo com dados novos. O obstáculo é o esquecimento catastrófico: ao ajustar pesos para uma tarefa nova, o desempenho em tarefas anteriores degrada de forma acentuada. É um fenômeno descrito há décadas em redes neurais e segue sendo o principal entrave ao aprendizado contínuo.

O segundo é não tocar nos pesos e colocar tudo no contexto — o aprendizado em contexto, que inclui técnicas de recuperação de documentos. Funciona bem, mas a retenção termina junto com a janela de contexto: encerrada a sessão, a informação de curto prazo se perde. O modelo pode ter lido um manual inteiro às 9h e não saber nada dele às 10h.

A analogia biológica que dá nome ao método é justamente essa divisão. Em humanos, a consolidação de memória de curto prazo em memória de longo prazo ocorre predominantemente durante o sono. A proposta do Google transpõe o princípio: separar o atendimento do aprendizado em fases distintas, em vez de tentar fazer os dois ao mesmo tempo.

Como funciona: consolidação e “sonho”

Segundo a descrição publicada, a fase de sono tem dois estágios.

Consolidação de memória

O primeiro passo é de expansão de parâmetros. Durante o sono, o modelo ganha capacidade: especialistas de baixo posto (low-rank experts), vindos de uma mistura de especialistas (MoE) e da arquitetura Hope, são acrescentados a blocos de memória de frequência mais baixa, sem perturbar os parâmetros antigos. A ideia é criar espaço novo para o conhecimento novo, em vez de sobrescrever o existente — o que é, em essência, uma defesa estrutural contra o esquecimento catastrófico.

Em seguida vem o que os autores chamam de semeadura de conhecimento, ou destilação ascendente: as memórias de curto prazo são transferidas para esses parâmetros novos combinando destilação generalizada de conhecimento com aprendizado por imitação baseado em reforço. Inclui destilação em política (on-policy) e um componente batizado “aprender a imitar”, que recompensa o modelo-aluno pela semelhança semântica e pela proximidade de edição (distância de Levenshtein) ao completar trechos gerados pelo modelo-professor. O detalhe relevante é a direção: aqui o aluno é maior que o professor, o oposto da destilação convencional, usada para comprimir modelos.

Encerrada a consolidação, há uma poda sináptica: os parâmetros temporários de alta frequência são reiniciados, liberando capacidade para o próximo ciclo.

Sonho

O segundo estágio é de autoaperfeiçoamento. O roteador da mistura de especialistas ativa aleatoriamente especialistas fora do padrão para gerar dados sintéticos — é dessa aleatoriedade controlada que vem a metáfora do sonho. As amostras geradas passam por ensaio curado, com filtragem baseada em gradiente para selecionar o que vale aprender, e o modelo é então refinado por aprendizado por reforço sobre as amostras melhor avaliadas, verificando se o desempenho em tarefas posteriores de fato melhora.

O que os números mostram — e o que não mostram

A divulgação apresenta resultados em quatro frentes. É preciso ler com atenção ao que é informado e ao que é omitido.

• Tradução contínua para idiomas não vistos (manchu e kalamangue): o método apresentou queda de desempenho próxima de zero ao longo dos estágios, enquanto aprendizado em contexto, a técnica Cartridges e ajuste supervisionado sofreram esquecimento severo. Não há números absolutos publicados no texto institucional.
• Contexto longo (BABILong): escalabilidade quase perfeita até 10 milhões de tokens, superando GPT-4 e Titans. Também sem números detalhados.
• Conhecimento factual: 48,9% na avaliação de tarefa única e 46,2% em pré-treino continuado, acima do modelo base, do ajuste supervisionado e do método SEAL — cujos valores de referência não são informados.
• Raciocínio matemático: 79,2% no AIME 24, 69,0% no AIME 25 e 46,1% no HMMT 25, superando ajuste supervisionado, GRPO e OPSD, novamente sem as linhas de base.

Três limitações precisam ficar explícitas. Primeira: o texto institucional não nomeia o modelo base usado, o que impede comparação direta com qualquer sistema comercial. Segunda: apresentar percentuais sem as linhas de base correspondentes torna impossível dimensionar o ganho — 79,2% no AIME 24 é um resultado respeitável, mas o leitor não sabe de quanto partiu. Terceira: o texto não declara limitações, nem informa se há código liberado. Para avaliar a solidez da proposta é preciso ir ao artigo no arXiv, publicado sob licença CC BY 4.0.

Há também um ponto de contexto que ajuda a situar o trabalho: ele pertence a uma linha de pesquisa contínua do mesmo grupo. Behrouz é autor das arquiteturas Titans e, mais recentemente, do paradigma de aprendizado aninhado (nested learning) com a arquitetura HOPE, também divulgado pelo Google Research. O framework Sleep usa componentes dessa linhagem — a menção explícita à arquitetura Hope na descrição não é coincidência. Avaliar o método isoladamente, sem esse encadeamento, dá a impressão de novidade maior do que a real.

Por que isso importa

Se o esquema se sustentar em escala, a consequência prática mais direta é um modelo que incorpora conhecimento específico de um domínio sem reescrever o treinamento inteiro nem depender de recuperação de documentos a cada consulta. Para uma empresa, significaria um assistente que realmente aprende a base de conhecimento interna em vez de consultá-la repetidamente — com menos custo de inferência e menos dependência de janelas de contexto cada vez maiores.

O custo aparece do outro lado. A expansão de parâmetros faz o modelo crescer a cada ciclo de sono, e a poda sináptica é a contrapartida apresentada para conter esse crescimento; quanto isso funciona ao longo de muitos ciclos é uma pergunta aberta. O estágio de sonho depende de dados sintéticos gerados pelo próprio modelo, o que levanta o risco conhecido de reforço de erros — a filtragem por gradiente existe justamente para mitigá-lo, mas o texto não quantifica a eficácia. E a fase offline exige capacidade computacional dedicada: alternar atendimento e consolidação implica infraestrutura ociosa ou janelas de manutenção, o que muda o cálculo de custo operacional.

Há ainda uma implicação de governança pouco discutida. Um modelo que modifica os próprios parâmetros em produção é mais difícil de auditar: a versão que respondeu a uma pergunta em janeiro não é a mesma que responde em março, e reproduzir um comportamento passado exige versionar pesos, não apenas registrar prompts. Para setores regulados, isso é um problema de rastreabilidade antes de ser um problema técnico. Os autores destacam que o esquema opera dentro de uma arquitetura fixa e de regras de treinamento definidas por humanos — um limite de desenho que, nesse contexto, é uma virtude.

Conclusão

O framework Sleep é uma proposta de pesquisa com resultados reportados favoráveis em aprendizado contínuo, não um produto nem um recurso anunciado para modelos em operação. A contribuição conceitual mais interessante é a inversão da destilação — usar o modelo menor como professor de uma versão expandida de si mesmo — e a separação explícita entre fase de atendimento e fase de consolidação.

O que observar a seguir: a publicação dos valores de linha de base que faltam, a eventual liberação de código, o resultado da revisão por pares do artigo no arXiv e, principalmente, se algum modelo em produção passa a incorporar o ciclo. Até lá, trata-se de um caminho promissor para o problema do esquecimento catastrófico, com o grau de incerteza que qualquer resultado de laboratório ainda não replicado de forma independente carrega.

Fontes e referências

• Google Research — The sleep framework: A new way for LLMs to retain knowledge in continual learning (27 de outubro de 2026)
• Ali Behrouz, Farnoosh Hashemi, Adel Javanmard e Vahab Mirrokni — Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories (arXiv:2606.03979, v1 de 2 de junho de 2026, v2 de 10 de julho de 2026, licença CC BY 4.0)
• Google Research — Introducing Nested Learning: A new ML paradigm for continual learning