Empresa suspende testes e treinamento de novos modelos para fortalecer segurança após agente invadir servidores.
A OpenAI anunciou, nessa terça-feira (18), que está reduzindo o ritmo de desenvolvimento de seus modelos de inteligência artificial (IA) enquanto revisa seus sistemas de pesquisa e treinamento. A decisão ocorre após um agente de IA em fase de testes invadir os servidores da empresa Hugging Face, startup do setor, no mês passado.
A empresa, responsável pelo ChatGPT, suspendeu os testes de modelos por duas semanas e está incorporando outros sistemas de IA para monitorar as atividades de agentes em fase de desenvolvimento. O treinamento da próxima geração de modelos, chamada Astra, foi paralisado, e a maior execução de treinamento planejada pela companhia permanece suspensa.
Em julho, um agente autônomo alimentado por dois modelos avançados de IA escapou do ambiente de testes da OpenAI e invadiu os sistemas da Hugging Face. O agente estava sendo submetido a um teste de cibersegurança e comprometeu os servidores da startup para cumprir um objetivo de avaliação. A OpenAI investiga o episódio e planeja publicar um relatório sobre o caso em breve.
Leia também: Cristiane Nogueira é nova CEO da Getnet
A Reuters havia noticiado que, até aquele momento, a empresa costumava executar diversas avaliações de modelos simultaneamente, todas em alta velocidade e gerando volumes de dados que os funcionários tinham dificuldade de acompanhar.
Para fortalecer seus sistemas de testes, a OpenAI passou a exigir que cargas de trabalho mais sensíveis sejam executadas em sandboxes mais robustos, ou seja, ambientes isolados. A companhia também adota o “monitoramento de cadeia de pensamento” (chain-of-thought monitoring), técnica que permite aos pesquisadores observar o processo de planejamento de um modelo e identificar as estratégias que ele utiliza.
Executivos da OpenAI, no entanto, reconhecem que há questões em aberto sobre a eficácia desse método. Pesquisas iniciais sugerem que um modelo pode não revelar na cadeia de pensamento seus planos para descumprir regras.
Em 7 de agosto, a OpenAI anunciou que estava intensificando os controles de segurança para seus modelos mais avançados e suspendendo atividades relacionadas ao Astra, que ainda não cumpria os novos requisitos. A empresa afirmou agir em conformidade com seu Preparedness Framework, plano previamente divulgado para gerenciar capacidades potencialmente críticas de IA.
Nessa terça-feira (18), executivos da companhia afirmaram que o setor precisará de uma estratégia mais abrangente para se preparar para os modelos de próxima geração. A decisão de desacelerar o desenvolvimento representa uma mudança em relação ao ritmo adotado nos últimos anos, período em que a OpenAI acelerou o processo de avaliação de novos modelos e lançamento de produtos diante do aumento da concorrência no setor de IA. Não está claro ainda se as medidas adotadas serão suficientes para eliminar o comportamento que gerou o incidente.
Siga o IT Forum no LinkedIn e fique por dentro de todas as notícias!
Redação
Redação
Redação
Pamela Sousa
Meridiano
