A ByteDance criou a equipe "Alignment & Preparedness" em sua unidade de pesquisa Seed para focar na segurança e no alinhamento de modelos avançados de inteligência artificial. A iniciativa busca mitigar riscos associados a agentes autônomos por meio de uma seleção global de pesquisadores em Pequim, Xangai e San José. O movimento destaca-se como pioneiro entre os grandes laboratórios chineses de IA ao estabelecer um departamento independente dedicado ao tema.
Tópicos principais:
* Empresa: ByteDance (unidade de pesquisa Seed)
* Produto/Tecnologia: Modelos avançados de Inteligência Artificial e agentes autônomos
* Tendência: Segurança, alinhamento e mitigação de riscos em IA em meio à disputa tecnológica entre China e EUA
A ByteDance criou uma equipe dedicada à segurança da inteligência artificial em sua unidade de pesquisa Seed. A empresa abriu uma seleção global para contratar dez pesquisadores e ampliar os estudos sobre os riscos de seus modelos mais avançados.
As vagas estão distribuídas entre Pequim e Xangai, na China, e San José, na Califórnia. A iniciativa ocorre em meio à preocupação crescente com agentes de IA capazes de acessar a internet e executar tarefas com autonomia.
O que a nova equipe vai pesquisar
Batizada de Alignment & Preparedness (Alinhamento e Preparação), a equipe trabalhará para garantir que os sistemas de IA sigam objetivos humanos e requisitos de segurança, inclusive na execução de tarefas complexas com várias etapas.
Em um anúncio publicado na quarta-feira em sua conta oficial no WeChat, a Seed afirmou que segurança e alinhamento deixaram de ser apenas medidas de proteção contra riscos. Segundo a unidade, essas capacidades serão determinantes para que os modelos possam ser utilizados em larga escala.
A criação do departamento também chama a atenção por ser uma iniciativa pública pouco comum entre grandes desenvolvedoras chinesas. Segundo o jornal estatal The Paper, a Seed foi o primeiro laboratório chinês de IA de ponta a estabelecer uma equipe independente dedicada à segurança e ao alinhamento.
Recursos e frentes de pesquisa
A Seed informou que disponibilizará à nova equipe capacidade computacional e recursos de pesquisa comparáveis aos oferecidos aos grupos que desenvolvem seus modelos mais avançados. O trabalho será distribuído entre diferentes áreas:
- Treinamento de segurança: desenvolvimento de métodos para reduzir riscos durante a formação dos modelos;
- Testes automatizados: criação de ferramentas para detectar falhas e vulnerabilidades;
- Monitoramento e explicabilidade: análise do comportamento dos sistemas e dos fatores que influenciam suas respostas;
- Ambientes de simulação: avaliação de agentes autônomos em cenários controlados;
- Riscos emergentes: investigação de ameaças que podem surgir com o avanço da tecnologia.
A empresa também pretende buscar avaliações independentes e estabelecer parcerias com universidades e instituições de pesquisa. Os resultados deverão ser incorporados ao treinamento, à avaliação e à implantação dos modelos.
Segurança em meio à disputa entre China e EUA
O anúncio ocorre enquanto China e Estados Unidos discutem medidas de proteção para a inteligência artificial e formas de comunicação sobre incidentes graves envolvendo sistemas avançados. Os dois países disputam a liderança tecnológica, mas também enfrentam desafios para acompanhar os riscos associados à evolução desses modelos.
Agentes capazes de acessar serviços na internet e executar várias ações em sequência ampliam as possibilidades de uso da IA. Ao mesmo tempo, exigem métodos de avaliação que ajudem a identificar falhas e comportamentos inesperados.
Com a nova equipe, a Seed pretende concentrar esforços de segurança em diferentes etapas do desenvolvimento dos modelos, do treinamento aos testes e à implantação.
Valdir Antonelli é jornalista com especialização em marketing digital e consumo.
Meridiano
