LinkedIn

Sakana testa aprendizado de IA por equipes de agentes e encontra ganhos desiguais

Pessoa trabalhando diante de monitores em ambiente de programação.

A Sakana AI divulgou em 12 de outubro um experimento de aprendizado com equipes virtuais de agentes. O método se chama Multi-Agent Self-Supervision, ou MASS. A proposta usa um mesmo modelo em funções diferentes. Ele realiza tarefas, avalia o trabalho produzido e melhora a organização da equipe. A apresentação oficial inclui links para o estudo e o código. O artigo foi submetido ao arXiv em 8 de outubro, quatro dias antes da divulgação empresarial.

O objetivo é investigar como obter sinais úteis de aprendizado em atividades abertas. Nessas tarefas, a qualidade não se resume a acertar uma resposta única. Elas incluem trabalhos que combinam pesquisa, programação e análise. Os autores apontam um desafio: o avaliador pode compartilhar os mesmos pontos cegos do sistema que tenta melhorar.

Como o experimento funciona

Segundo o artigo científico, o MASS alterna a busca por melhores fluxos de trabalho com ajustes no modelo. Esses ajustes usam registros de execução selecionados. Os agentes recebem funções e regras sobre quais informações devem trocar. O sistema compara resultados e escolhe trajetórias. Usa esse material no treinamento seguinte.

O experimento começou com Qwen3.6-27B e realizou dois ciclos completos. Os autores relatam desempenho por token de saída entre 1,2 e 1,6 vez o nível inicial em quatro avaliações públicas de pesquisa. O indicador relaciona pontuação e quantidade de conteúdo gerado. Não mede o custo integral de treinamento, operação ou revisão humana.

Os ganhos não se espalharam por igual

O relato detalhado dos pesquisadores mostra resultados diferentes fora das avaliações mais próximas das tarefas de pesquisa usadas no estudo. Após dois ciclos, o desempenho por token ficou em 0,96 vez o valor inicial no Terminal-Bench 2.0. No SWE-bench Verified, ficou em 0,94 vez. Os números apontam uma transferência desigual da melhoria para execução no terminal e engenharia de software.

O relato também descreve instabilidade na busca. Encontrar um fluxo melhor numa etapa não impede que candidatos posteriores sejam piores. Algumas contagens de tokens excluem a geração de dados, a busca e a avaliação. Esses recortes precisam entrar na leitura da eficiência. Não permitem tratar o ganho como economia total já comprovada.

O que esse resultado sugere para empresas

Uma leitura prática é que dividir um trabalho entre agentes pede avaliação do conjunto, incluindo a coordenação. Um agente pode pesquisar, outro organizar evidências e outro conferir o resultado. Mas funções diferentes não asseguram opiniões independentes quando todos usam o mesmo modelo e dados semelhantes.

Num piloto empresarial, faria sentido reservar tarefas que não participaram dos ajustes. Também seria necessário manter critérios externos de aceitação. A avaliação deveria incluir casos com informações incompletas ou conflitantes. Um relatório mais convincente pode continuar errado. O custo das verificações precisa aparecer na comparação.

O MASS é um resultado de pesquisa. Não prova melhoria ilimitada nem certifica a confiabilidade de uma operação autônoma. O registro no arXiv torna o trabalho acessível, mas não estabelece, por si só, revisão por pares. Neste momento, o estudo oferece um método que pode ser verificado. Também mostra onde os ganhos encontrados ainda deixam lacunas.

Publicado originalmente no Vesperean Editorial. Todos os direitos reservados.

LinkedIn

[PUBLICAÇÕES recentes]

Aquisição anunciada da NeoSpace, privacidade na Receita e checagem de desinformação. Análise revisável de Zanshin. [...]
Ganhos de IA precisam de contexto, método e limites. À luz do código público da Vesperean, uma avaliação deve distinguir resultados observados, percepções e hipóteses. [...]

O futuro da sua operação não pode estar fora do seu controle.