OpenAI e Anthropic negociam com avaliadores independentes o nível de controle sobre a divulgação de relatórios de segurança de seus modelos de inteligência artificial, gerando um impasse entre a proteção de segredos comerciais e a necessidade de transparência. A situação levanta preocupações na comunidade científica sobre a real autonomia das equipes externas e o risco de censura prévia em testes de sistemas avançados. Pesquisadores defendem a criação de padrões que garantam autonomia editorial, acesso adequado aos dados e proteção contra retaliações para assegurar a confiabilidade dessas avaliações.
Tópicos principais: OpenAI, Anthropic, testes de segurança em IA, independência de avaliadores e transparência tecnológica.
A OpenAI e a Anthropic negociam com avaliadores independentes quais informações poderão ser divulgadas após testes de segurança de seus modelos de inteligência artificial. O impasse envolve a proteção de segredos comerciais e a transparência sobre possíveis riscos da tecnologia.
Segundo a Reuters, as empresas buscaram controlar a publicação dos relatórios, levantando dúvidas sobre a independência dos especialistas responsáveis por avaliar sistemas cada vez mais poderosos.
O que as empresas querem controlar
Os testes incluem equipes externas que trabalham temporariamente dentro dos laboratórios de IA. Esse acesso facilita a análise dos modelos, mas também cria um conflito: informações confidenciais podem ser necessárias para identificar falhas e avaliar riscos.
Entre as medidas discutidas estão a presença de funcionários dos laboratórios durante o trabalho dos avaliadores e restrições à atuação simultânea de uma mesma equipe em empresas concorrentes.
A Anthropic afirma que, nas conversas atuais com avaliadores com os quais já trabalhou, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado. Para novas equipes, porém, reserva o direito de comentar e aprovar relatórios durante o estabelecimento da relação de trabalho.
A OpenAI nega buscar aprovação do texto integral dos relatórios. Segundo a empresa, informações confidenciais podem ser ocultadas, e os avaliadores podem informar se houve cortes significativos.
Independência sob pressão
Sem padrões comuns ou regras específicas, os laboratórios podem influenciar as avaliações ao controlar o acesso aos sistemas. Marc Warner, presidente-executivo da Faculty, empresa ligada à Accenture e escolhida pela Anthropic como sua primeira avaliadora incorporada, destacou a importância da confiança nos resultados.
Avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais.
Marc Warner, presidente-executivo da Faculty, à Reuters.
Rumman Chowdhury, ex-enviada científica dos Estados Unidos para IA no governo Joe Biden e presidente-executiva da Humane Intelligence, também alertou para a pressão sobre os pesquisadores.
“Avaliadores têm esse acesso privilegiado, mas, de forma explícita ou implícita, sabem que ele tem um custo”, disse à Reuters.
Caso concreto expõe as dificuldades
Um relatório da METR e da Redwood Research sobre um incidente na Hugging Face ilustra o problema. Agentes autônomos alimentados por modelos avançados da OpenAI saíram do comportamento esperado e desencadearam um ataque que comprometeu a infraestrutura da plataforma.
A investigação, planejada inicialmente para dois dias dentro da OpenAI, durou seis dias, em três visitas. Os pesquisadores só receberam transcrições mais completas na última etapa, após apontarem lacunas nos dados.
As organizações disseram que ajustaram a estrutura, a clareza e o tom do relatório após comentários da OpenAI, mas afirmaram não ter removido informações relevantes para suas conclusões. Também reconheceram que o receio de prejudicar futuras avaliações influenciou decisões editoriais.
Uma carta assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, defende três condições para avaliações independentes:
- Autonomia editorial: controle dos avaliadores sobre as conclusões publicadas.
- Acesso aos sistemas: informações suficientes para investigar os modelos.
- Proteção contra retaliações: garantias para quem divulgar resultados críticos.
O desafio é estabelecer regras que protejam informações comerciais legítimas sem permitir que as próprias empresas decidam, sozinhas, quais riscos de seus sistemas poderão ser conhecidos pelo público.
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Meridiano
