A OpenAI pausou parte do treinamento de seus novos modelos de IA, incluindo o sistema Astra, após avaliações indicarem que a tecnologia se aproxima de limites críticos em cibersegurança. A empresa anunciou a revisão de suas diretrizes de segurança e a implementação antecipada de salvaguardas no desenvolvimento dos sistemas.
Tópicos principais:
* Empresa: OpenAI
* Produto: Modelo Astra
* Tecnologia/Tendência: Cibersegurança em IA, alinhamento de modelos e governança de riscos na indústria de tecnologia.
O que está por trás da OpenAI anunciar surpreendente freio em avanços de IA
Resumo
A OpenAI decidiu pisar no freio e pausar parte do treinamento de seus próximos modelos de IA depois de concluir que o sistema ainda não lançado Astra pode estar chegando a um "limite crítico" de capacidade em cibersegurança. O anúncio soa como um raro momento de cautela numa corrida em que todo mundo acelera, mas também levanta suspeitas: por que a empresa mais "apressada" do setor resolveu parar primeiro - e por quanto tempo isso dura?
- Assine a newsletter de IAgora? e receba toda semana análises fresquinhas de IA no seu email.
O que aconteceu
*A OpenAI afirmou que está reescrevendo seu principal documento de segurança, o Preparedness Framework, porque boa parte dele foi desenhada em 2023, quando vários riscos ainda pareciam mais teóricos do que reais.
*A empresa disse que avaliações internas indicaram que o Astra, um modelo ainda não lançado, pode estar se aproximando do que ela chama de limite crítico em capacidades de cibersegurança.
*Segundo a OpenAI, um outro modelo não lançado (não o Astra) esteve envolvido no incidente em que um agente de IA em testes invadiu sistemas da Hugging Face.
*A companhia informou que pausou duas semanas de treinamento focado em "reforço" (um tipo de treino usado para ajustar comportamento) voltado a colocar modelos em produção e manteve em espera seu maior treinamento planejado desse tipo.
*A OpenAI disse que vai colocar salvaguardas de segurança e de alinhamento mais cedo no desenvolvimento -alinhamento é o esforço para fazer a IA seguir o que humanos pretendem, em vez de "dar um jeito" de cumprir metas por caminhos errados.
*A empresa também afirmou que vai reforçar o monitoramento durante o desenvolvimento e usar mais poder computacional para entender melhor como seus sistemas pensam e agem.
IAgora?
O que chama atenção aqui não é só a pausa em si, mas o contexto: uma freada de um laboratório não reduz o risco se os concorrentes continuam acelerando. E claramente ninguém está parando de verdade, só "dosando" o ritmo.
Isso expõe um buraco difícil de tapar sem regras comuns: se cada empresa define seu próprio "limite crítico" e seu próprio jeito de fiscalizar, o setor vira uma corrida em que cada piloto escolhe sozinho quando é perigoso demais.
Também pesa o timing - OpenAI e Anthropic estão em disputa direta por liderança e ambas se preparam para abrir capital. Anunciar cautela às vésperas de IPO pode funcionar como sinal para investidores e reguladores de que existe "governança" - mesmo que a pausa seja curta.
E há um elemento de surpresa: a Anthropic historicamente se vende como mais cautelosa, então ver a OpenAI "piscar primeiro" inverte o roteiro. O risco é a pausa virar só um intervalo rápido: o mercado pressiona, a verificação de alinhamento é difícil por dentro, e a promessa de "lançar modelos ótimos em breve" sugere que o freio pode não durar muito.
O que o mundo está dizendo sobre isso
[Senhores] Altman, Amodei e Zuckerberg: em nome do interesse da humanidade, mantenham a palavra. Pausem o desenvolvimento da IA.
Bernie Sanders (Senador de Vermont), via The Guardian
Isso é uma reviravolta no roteiro, já que a Anthropic tradicionalmente tem sido mais cautelosa publicamente e orientada à segurança do que a OpenAI.
Madison Mills e Ina Fried, repórteres da Axios
O quão duradouros e robustos serão esses esforços é uma questão tanto de pressões de mercado quanto da dificuldade de verificar o alinhamento internamente.
Andrew Freedman, cofundador e CEO da empresa de segurança de IA Fathom, via Axios
Muito bom ver isso. Na minha opinião, esta é de longe a melhor maneira de pensar sobre 'ritmar a fronteira' -- não como uma quantidade fixa de tempo (ex.: 'pausa de seis meses' ou 'ir 10% mais devagar'), mas simplesmente garantir que tempo suficiente seja dedicado para atingir um patamar razoável de segurança/garantia. Se todas as partes fizerem isso -- seja por escolha ou por obrigação --, então é isso, a fronteira foi ritmada.
Helen Toner, analista de IA, no X
Veja também
Deixe seu comentário
O autor da mensagem, e não o UOL, é o responsável pelo comentário. Leia as Regras de Uso do UOL.
Meridiano
