Destilação de agentes em modelos pequenos: como caber um agente LLM em 0,5B parâmetros

Resumo: Pesquisadores publicaram no arXiv (cs.CL) o trabalho “Distilling LLM Agent into Small Models with Retrieval and Code Tools” (2505.17612), de Minki Kang e colegas, que propõe um framework de destilação de agentes. A ideia: transferir não apenas a capacidade de raciocínio, mas o comportamento completo de resolução de tarefas de um agente baseado em LLM grande para modelos de linguagem pequenos (sLMs), equipados com retrieval (busca em base de conhecimento) e ferramentas de código. O código oficial está disponível no GitHub do grupo Nardien.

O problema atacado

Modelos pequenos já vinham fechando a distância para os grandes em raciocínio puro, mas continuavam tropeçando em duas situações: conhecimento factual raro (datas, números, nomes pouco frequentes) e cálculos precisos. O motivo é estrutural — sLMs alucinam quando precisam reproduzir conteúdo que não viram com frequência durante o treinamento. O trabalho parte dessa observação para mudar o objeto da destilação: em vez de destilar “respostas”, destila-se a sequência de ações de um agente — quando buscar, quando rodar código, quando decidir que terminou.

Como funciona o método

O pipeline, em linhas gerais, faz com que um agente grande resolva uma coleção de problemas usando duas ferramentas: retrieval sobre uma base e execução de código (em sandbox). O traço dessas execuções — perguntas internas, chamadas de função, observações, raciocínio condicional — vira material de treino para o sLM. O modelo pequeno aprende, ao mesmo tempo, a raciocinar e a saber quando consultar a base ou rodar um trecho de Python. Isso recupera precisão factual e numérica sem exigir crescimento do parâmetro.

Por que importa — e o status no Brasil

Esse trabalho é parte de uma corrente forte na pesquisa de 2025-2026: modelos pequenos competitivos por meio de ferramentas. Em 2026, vimos vários SLMs (1,5B-3B) alcançarem benchmarks antes restritos a modelos de 70B ou maiores. A destilação de agentes acelera essa convergência por uma razão econômica: aprender a buscar é mais barato do que aprender a memorizar.

Para o Brasil, o efeito é direto. Empresas que rodam IA no perímetro (saúde, jurídico, indústria, governo) e startups com restrição de capex podem implantar SLMs que conhecem o domínio + retrieval bem montado. Universidades e laboratórios brasileiros podem reproduzir o método sobre bases públicas (Diário Oficial, jurisprudência, ementários técnicos do INPI) e gerar modelos de domínio competitivos, com inferência viável em hardware de bancada.

Riscos e limitações

• Qualidade do agente professor. Um agente grande mal calibrado contamina o aluno com vícios e atalhos que o sLM herda.
• Cobertura de domínio. Se a base de retrieval for incompleta, o modelo “sabe procurar” mas não encontra — e pode tentar fabricar.
• Sandbox de código. Execução de código requer isolamento; sem isso, o agente vira vetor de ataque.
• Reprodutibilidade. Detalhes de seleção de tarefas e curadoria influenciam fortemente os resultados; auditoria por pares é essencial.
• Domínios sensíveis. Em saúde, finanças e jurídico, qualquer recomendação do modelo deve ser revista por profissional habilitado. Texto correto não é necessariamente texto seguro.

Análise SWOT econômica

Cenário e indicativo de futuro

A direção é clara: o “agente” deixa de ser produto exclusivo de modelos gigantes e vira característica acessível a SLMs especializados. Espere, ao longo de 2026 e 2027, uma onda de catálogos abertos de agentes destilados por vertical (saúde, jurídico, customer support, devops). O próximo gargalo será governança de ferramentas: como auditar o que o agente fez, com quais consultas, em quais bases — e quanto disso é reproduzível.

Conclusão prática

Para times de engenharia de IA no Brasil, o trabalho oferece um caminho prático: pegar um problema bem delimitado, usar GPT-5.5/Claude/Gemini como agente professor sobre 5-10 mil tarefas, registrar as trilhas e treinar um SLM de 1,5B-3B com elas. O ganho de custo de inferência paga o esforço em poucos meses. Para pesquisadores, é uma trilha de TCC e dissertação rica: reproduzir o método sobre dados brasileiros e medir trade-offs por domínio. Como sempre em domínios regulados, mantenha humano no loop para decisões com impacto financeiro, médico ou jurídico.

Fonte original: arXiv — Distilling LLM Agent into Small Models with Retrieval and Code Tools (2505.17612).