OpenAI e Anthropic concordam em compartilhar seus modelos com o AI Safety Institute dos EUA

OpenAI e Anthropic concordaram em compartilhar modelos de IA – antes e depois do lançamento – com o AI Safety Institute dos EUA. A agência, criada por ordem executiva do presidente Biden em 2023, fornecerá feedback de segurança às empresas para melhorarem seus modelos. O CEO da OpenAI, Sam Altman, sugeriu o acordo no início deste mês.

O AI Safety Institute dos EUA não mencionou outras empresas que trabalham com IA. No entanto, em comunicado ao Engadget, um porta-voz do Google disse que a empresa está em discussões com a agência e fornecerá mais informações assim que estiverem disponíveis. Esta semana, o Google começou a lançar modelos atualizados de chatbot e gerador de imagens para Gemini.

“A segurança é essencial para inovações tecnológicas revolucionárias. Com estes acordos, esperamos iniciar as nossas colaborações técnicas com a Anthropic e a OpenAI para avançar a ciência da segurança da IA”, escreveu Elizabeth Kelly, diretora do US AI Safety Institute, num comunicado. “Esses acordos são apenas o começo, mas são um marco importante em nosso trabalho para moldar de forma responsável o futuro da IA.”

O Instituto de Segurança de IA dos EUA faz parte do Instituto Nacional de Padrões e Tecnologia (NIST). Cria e publica diretrizes, testes de referência e melhores práticas para testar e avaliar sistemas de IA potencialmente perigosos. “Assim como a IA tem o potencial de fazer um bem profundo, também tem o potencial de causar danos profundos, desde ataques cibernéticos alimentados por IA numa escala superior a qualquer coisa que tenhamos visto até agora até armas biológicas formuladas por IA, que podem pôr em perigo a vida de milhões de pessoas. ”, disse a vice-presidente Kamala Harris no final de 2023, após a criação da agência.

O primeiro acordo deste tipo assume a forma de uma carta de intenções (formal mas não vinculativa). A agência terá acesso aos “novos modelos mais importantes” das duas empresas antes e depois da publicação. A agência descreve os acordos como pesquisas colaborativas e de redução de riscos que avaliam as capacidades e a segurança. O AI Safety Institute dos EUA também colaborará com o AI Safety Institute do Reino Unido.

Isso ocorre no momento em que os reguladores federais e estaduais tentam implementar proteções de IA, enquanto a tecnologia em rápida evolução ainda está em sua infância. Na quarta-feira, a Assembleia do Estado da Califórnia aprovou uma lei de segurança de IA (SB 10147) que exige testes de segurança para modelos de IA que custam mais de US$ 100 milhões para serem desenvolvidos ou exigem uma certa quantidade de poder computacional. A lei exige que as empresas de IA tenham interruptores de interrupção que possam desligar os modelos caso se tornem “incontroláveis ​​ou incontroláveis”.

Ao contrário do acordo não vinculativo com o governo federal, o projeto de lei da Califórnia teria algum poder de aplicação. Dá ao procurador-geral do estado o poder de processar se os desenvolvedores de IA não cumprirem, especialmente durante eventos de nível de ameaça. No entanto, ainda requer outra votação no processo – e a assinatura do governador Gavin Newsom, que tem até 30 de setembro para decidir se dará luz verde à lei.

Atualização, 29 de agosto de 2024, 16h53 horário do leste dos EUA: Esta história foi atualizada para adicionar uma resposta de um porta-voz do Google.