Estudo mostra que agentes de IA executam tarefas técnicas de pesquisa, mas ainda falham em criatividade e julgamento necessários para produzir avanços
A possibilidade de sistemas de inteligência artificial (IA) acelerarem o desenvolvimento de novas gerações da própria tecnologia pode estar mais distante do que algumas previsões da indústria sugerem. Um estudo liderado por pesquisadores da Universidade de Princeton mostrou que agentes de IA conseguem executar grande parte do trabalho técnico envolvido em uma pesquisa, mas ainda apresentam dificuldades para conduzir investigações abertas e produzir contribuições científicas originais.
Segundo o MIT Technology Review, o conceito de autoaperfeiçoamento recursivo da IA ganhou espaço à medida que grandes modelos de linguagem passaram a escrever códigos, gerar dados sintéticos para treinamento e colaborar na otimização dos chips utilizados pela própria tecnologia. A expectativa é que sistemas mais avançados possam participar cada vez mais do desenvolvimento de seus sucessores, reduzindo a necessidade de intervenção humana.
O novo trabalho, liderado por Peter Kirgis e Sayash Kapoor, de Princeton, buscou avaliar justamente uma das capacidades necessárias para esse cenário: realizar pesquisas sem uma resposta previamente definida. Diferentemente de tarefas de engenharia que podem ser verificadas automaticamente, uma investigação científica exige formular hipóteses, escolher quais caminhos explorar, determinar quais evidências são relevantes e abandonar abordagens que não funcionam.
Para medir essa capacidade, os pesquisadores desenvolveram um método chamado “shadow evaluation”. Agentes de IA receberam perguntas de pesquisas presentes em dois artigos de alta qualidade submetidos à NeurIPS 2026, uma das principais conferências de aprendizado de máquina. Como os trabalhos ainda não haviam sido publicados, as respostas não poderiam ter sido memorizadas durante o treinamento dos modelos nem encontradas na internet.
O experimento utilizou o Claude Opus 4.8, da Anthropic, executado por meio do software de código aberto OpenClaw. Os agentes tiveram seis dias, US$ 3 mil em créditos de API da Anthropic, orçamento para uso de GPUs, computadores virtuais próprios e acesso à internet. A missão era produzir um artigo com qualidade suficiente para publicação em uma conferência de primeira linha.
Leia mais: Nubank lança programa de estágio em IA com 50 vagas
Os autores dos estudos originais avaliaram os trabalhos produzidos pelos agentes seguindo critérios semelhantes aos utilizados em conferências científicas. Ambos foram rejeitados.
O problema não estava na capacidade de executar as tarefas técnicas. Segundo a reportagem, os agentes revisaram literatura científica, realizaram centenas de experimentos e organizaram os resultados. As limitações apareceram na definição e condução da pesquisa.
Os sistemas realizaram experimentos considerados pouco adequados pelos pesquisadores, tiveram dificuldades para apresentar o trabalho com clareza e não produziram contribuições originais relevantes. Também exploraram poucas alternativas e abandonaram hipóteses potencialmente promissoras com base em quantidades limitadas de dados. Quando uma abordagem falhava, conseguiam fazer pequenos ajustes, mas tinham dificuldade para reconsiderar o problema e iniciar uma estratégia diferente.
Outro obstáculo foi aproveitar feedback. Mesmo recebendo avaliações de outros agentes e ferramentas externas de revisão por IA, os sistemas tendiam a reduzir o alcance de suas afirmações e acrescentar ressalvas, em vez de modificar a metodologia. Também tiveram dificuldades para administrar recursos como tempo, capacidade computacional e tokens.
Para Kapoor, uma possível explicação está na maneira como os modelos são treinados. O aprendizado por reforço funciona melhor em tarefas cujo sucesso pode ser medido automaticamente. Criar ambientes de treinamento equivalentes para atividades abertas, nas quais não existe uma resposta única ou facilmente verificável, é mais complexo.
O estudo tem limitações: avaliou apenas dois trabalhos, e os autores responsáveis pela análise sabiam que estavam examinando pesquisas produzidas por agentes de IA. Ainda assim, os resultados acrescentam um contraponto às previsões de que sistemas capazes de melhorar rapidamente a própria tecnologia estejam próximos.
A Anthropic já apresentou o desenvolvimento de modelos que aceleram sua própria evolução como uma direção para a indústria, enquanto a OpenAI estabeleceu a criação de um pesquisador automatizado de IA como objetivo. Segundo o MIT Technology Review, Jack Clark, cofundador da Anthropic, também apontou limitações semelhantes em experiências internas da companhia, nas quais os sistemas demonstraram forte capacidade de engenharia, mas pouca criatividade intuitiva.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
Redação
Redação
Redação
Redação
Meridiano
