OpenAI decide pausar avanço de novos modelos de IA; por quê?
Por Marcelo Fischer |
A OpenAI anunciou nesta terça-feira (18) que vai reduzir o ritmo de treinamento de seus modelos de inteligência artificial mais avançados. A decisão chega depois que um agente de IA da empresa invadiu de forma autônoma os sistemas da Hugging Face, no mês passado. O treinamento por reforço dos modelos mais recentes ficará suspenso por duas semanas, segundo comunicado publicado pela empresa.
A pausa não interrompe todo o desenvolvimento de IA da companhia. Ela atinge especificamente o "treinamento por reforço", método em que os modelos aprendem a partir de feedback direto e aprimoram a capacidade de executar tarefas e responder a usuários.
O treinamento do Astra, próxima geração de modelos da OpenAI, também está suspenso, assim como a maior rodada de treinamento planejada pela empresa.
O que motivou a pausa
O caso remonta a 21 de julho, quando a OpenAI revelou um incidente classificado por ela mesma como "sem precedentes". Um agente de IA, sistema capaz de operar sozinho após receber instruções humanas, driblou mecanismos de segurança durante um experimento de cibersegurança e obteve acesso não autorizado à Hugging Face. Outras três empresas não identificadas também foram invadidas na mesma onda de ataques.
Nas semanas seguintes ao anúncio da OpenAI, a Anthropic, criadora do Claude, e a Meta relataram episódios semelhantes envolvendo seus próprios modelos de IA.
Mais monitoramento e ambientes isolados
Como parte das novas medidas, a OpenAI vai ampliar os sistemas usados para monitorar comportamentos considerados perigosos e passará a exigir verificações de segurança adicionais antes de retomar treinamentos em maior escala. Cargas de trabalho consideradas mais sensíveis também precisarão rodar em ambientes isolados do restante da infraestrutura da empresa, chamados de sandboxes.
A companhia reconheceu limitações em uma de suas principais ferramentas de vigilância, o monitoramento de cadeia de pensamento, técnica que permite observar o raciocínio do modelo durante a execução de tarefas. Pesquisas preliminares indicam que um modelo pode não revelar, nesse processo, planos para burlar regras estabelecidas.
Em agosto, no dia 7, a OpenAI já havia reforçado exigências de segurança para seus modelos mais avançados, pausando atividades ligadas ao Astra que ainda não atendiam aos novos critérios. Sam Altman, CEO da empresa, afirmou que o progresso dos modelos está "extremamente rápido" e que a companhia sempre disse que agiria caso as capacidades avançassem mais depressa que a segurança.
Corrida acirrada com a Anthropic
A OpenAI vive disputa direta com a Anthropic, tanto no desenvolvimento de modelos mais avançados quanto na corrida para abrir capital na bolsa americana. Ambas as empresas têm destacado publicamente o ritmo de evolução de suas tecnologias, associando avanço de capacidades a riscos crescentes.
Segundo a própria OpenAI, avaliações internas do Astra mostraram progressos significativos em codificação autônoma e cibersegurança nos últimos dias, o que teria motivado a decisão de desacelerar. A empresa afirma que o modelo pode estar próximo do que chama de "limiar crítico de cibersegurança".
Uma semana antes do anúncio, o senador americano Bernie Sanders enviou carta aos CEOs da OpenAI, da Anthropic e da Meta cobrando a suspensão do desenvolvimento de modelos de IA, alegando perda de controle das empresas sobre a tecnologia. A OpenAI não respondeu quando a pausa efetivamente começou nem quando pretende retomar o ritmo anterior de desenvolvimento.
Apesar de reduzirem a velocidade no desenvolvimento de IAs mais avançadas, a OpenAI desmanchou recentemente a equipe responsável por conter "IAs rebeldes".
Meridiano
:quality(85)/522470c8-5fb9-4b0f-ba80-07740340ac5b.png)