O modo de voz ChatGPT pode fazer algumas coisas malucas – mas é assim que o OpenAI lida com isso.

O modo de voz do ChatGPT tem algumas falhas de segurança, mas a OpenAI afirma que as mantém sob controle.

Na quinta-feira, a OpenAI divulgou um relatório sobre os recursos de segurança do GPT-4o, abordando problemas conhecidos encontrados ao usar o modelo. GPT-4o é o modelo subjacente que alimenta a versão mais recente do ChatGPT e apresenta um modo de voz que foi lançado recentemente para um grupo seleto de usuários com uma assinatura ChatGPT Plus.

As “questões de segurança” identificadas incluem riscos padrão, como provocar o modelo com respostas eróticas e violentas, outros conteúdos proibidos, bem como “inferências infundadas” e “atribuição de características sensíveis” – suposições que podem ser discriminatórias ou tendenciosas. A OpenAI afirma que treinou o modelo para bloquear todos os problemas marcados nessas categorias. No entanto, o relatório também afirma que “vocalizações não-verbais ou outros efeitos sonoros”, como gemidos eróticos, gritos violentos e tiros, não estão incluídos nas medidas corretivas. Portanto, é razoável supor que solicitações que contenham certos sons não-verbais sensíveis possam provocar uma resposta inadequada.

A OpenAI também mencionou desafios únicos associados à comunicação linguística com o modelo. Os Red Teamers descobriram que o GPT-4o poderia ser solicitado a se passar por outra pessoa ou emular acidentalmente a voz do usuário. Para combater isso, a OpenAI permite apenas vozes pré-autorizadas (além da infame voz de Scarlett Johansson). O GPT-4o também pode identificar outras vozes além da voz do locutor, o que representa um sério problema de privacidade e vigilância. No entanto, ele foi treinado para rejeitar essas solicitações – a menos que o modelo seja solicitado a dizer uma citação famosa.

Os membros da equipe vermelha também observaram que o GPT-4o poderia ser obrigado a falar de forma persuasiva ou enfática, um recurso que pode ser mais prejudicial do que a produção de texto quando se trata de desinformação e teorias da conspiração.

Notavelmente, a OpenAI também abordou potenciais questões de direitos de autor que têm atormentado a empresa e o desenvolvimento mais amplo da IA ​​generativa, que é treinada em dados recolhidos na Internet. O GPT-4o é treinado para rejeitar solicitações de conteúdo protegido por direitos autorais e possui filtros adicionais para bloquear saídas que contenham música. Pensando nisso, o modo de voz do ChatGPT foi orientado a não cantar em hipótese alguma.

As inúmeras mitigações do OpenAI abordadas no documento detalhado foram concluídas antes do lançamento do Modo de Voz. Portanto, a mensagem ostentosa do relatório é que, embora o GPT-4o seja capaz de ter algum comportamento arriscado, não o fará.

No entanto, a OpenAI afirma: “Essas avaliações medem apenas o conhecimento clínico desses modelos e não sua utilidade em fluxos de trabalho do mundo real. Portanto, foi testado em um ambiente controlado, mas assim que o GPT-4o estiver disponível ao público em geral, poderá”. ser usado na natureza selvagem aberta pode ser de um calibre completamente diferente.

Mashable entrou em contato com a OpenAI para obter mais esclarecimentos sobre essas soluções e irá atualizá-lo se recebermos uma resposta.