Por que o nome “David Mayer” causa o travamento do ChatGPT? Segundo a OpenAI, a ferramenta de privacidade tornou-se maliciosa

Os usuários da plataforma de IA conversacional ChatGPT descobriram um fenômeno interessante no fim de semana: o popular chatbot se recusa a responder perguntas quando questionado por “David Mayer”. Quando você pede para fazer isso, ele congela imediatamente. Tem havido teorias da conspiração – mas a causa deste comportamento estranho reside numa razão muito comum.

No fim de semana passado, espalhou-se rapidamente a notícia de que o nome era um veneno para o chatbot, e mais e mais pessoas tentaram fazer com que o serviço apenas reconhecesse o nome. Sem sorte: qualquer tentativa de fazer com que o ChatGPT soletre esse nome específico falha ou até mesmo quebra o nome intermediário.

“Não posso dar uma resposta”, diz, se é que diz alguma coisa.

Mas o que começou como uma estranheza logo floresceu quando as pessoas descobriram que o ChatGPT não pode simplesmente citar David Mayer.

Os nomes Brian Hood, Jonathan Turley, Jonathan Zittrain, David Faber e Guido Scorza também estavam travando o serviço. (Sem dúvida, mais foram descobertos desde então, portanto esta lista não é exaustiva.)

Quem são esses homens? E por que o ChatGPT os odeia tanto? A OpenAI não respondeu imediatamente às repetidas solicitações, deixando-nos juntar as peças da melhor maneira possível.* (Veja a atualização abaixo.)

Alguns desses nomes podem pertencer a qualquer número de pessoas. No entanto, uma conexão potencial que os usuários do ChatGPT identificam é que essas pessoas são públicas ou semipúblicas que podem preferir que certas informações sejam “esquecidas” pelos motores de busca ou modelos de IA.

Brian Hood, por exemplo, se destaca porque escrevi sobre ele no ano passado, presumindo que seja o mesmo cara. Hood, um prefeito australiano, acusou o ChatGPT de descrevê-lo falsamente como o autor de um crime de décadas que ele realmente havia denunciado.

Embora seus advogados tenham entrado em contato com a OpenAI, uma ação judicial nunca foi movida. Como ele disse ao Sydney Morning Herald no início deste ano: “O material ofensivo foi removido e eles lançaram a versão 4, que substituiu a versão 3.5”.

Quanto aos proprietários mais proeminentes dos outros nomes, David Faber é repórter de longa data da CNBC. Jonathan Turley é um advogado e comentarista da Fox News que foi “esbofeteado” (ou seja, uma chamada falsa para o 911 enviou policiais armados para sua casa) no final de 2023. Jonathan Zittrain também é um especialista jurídico que tem falado extensivamente sobre o “direito ao esquecimento”. E Guido Scorza faz parte do conselho da Agência Italiana de Proteção de Dados.

Não exatamente no mesmo setor, nem é uma seleção aleatória. É concebível que cada uma destas pessoas seja alguém que, por qualquer motivo, tenha solicitado oficialmente que as informações online que lhes dizem respeito fossem restringidas de alguma forma.

Isso nos traz de volta a David Mayer. Não há nenhum advogado, jornalista, prefeito ou outra pessoa obviamente notável com esse nome que alguém possa encontrar (com desculpas aos muitos respeitados David Mayers por aí).

No entanto, havia um professor David Mayer que ensinava teatro e história e se especializava nas conexões entre o final da era vitoriana e o início do cinema. Mayer morreu no verão de 2023, aos 94 anos. Antes disso, porém, o acadêmico anglo-americano passou anos lutando com o problema legal e online de seu nome estar vinculado a um criminoso procurado que o usava essencialmente como pseudônimo para onde não podia viajar.

Mayer lutou continuamente para que seu nome fosse separado do terrorista de um braço só, mesmo enquanto continuava a lecionar até seus últimos anos.

Então, o que podemos concluir de tudo isso? Suspeitamos que o modelo incluiu ou forneceu uma lista de pessoas cujos nomes requerem tratamento especial. Seja por motivos legais, de segurança, de privacidade ou outros, regras especiais provavelmente se aplicam a esses nomes, assim como a muitos outros nomes e identidades. Por exemplo, o ChatGPT pode alterar sua resposta se ela corresponder ao nome que você escreveu em uma lista de candidatos políticos.

Existem muitas dessas regras especiais e cada solicitação passa por diversas formas de processamento antes de ser respondida. No entanto, estas regras de tratamento pós-prompt raramente são publicadas, excepto em anúncios políticos como “O modelo não irá prever os resultados eleitorais para um candidato a um cargo público”.

O que provavelmente aconteceu é que uma dessas listas, que quase certamente são mantidas ativamente ou atualizadas automaticamente, de alguma forma foi corrompida por códigos ou instruções defeituosas que, quando invocadas, causaram a falha imediata do agente de chat. Para ser claro, esta é apenas a nossa própria especulação baseada no que aprendemos, mas não seria a primeira vez que uma IA se comportou de forma estranha devido a instruções pós-treinamento. (Aliás, enquanto eu escrevia isto, “David Mayer” começou a funcionar novamente para alguns, enquanto os outros nomes ainda causavam travamentos.)

Como geralmente acontece com essas coisas, a Navalha de Hanlon se aplica: nunca inflija malícia (ou conspiração) ao que pode ser adequadamente explicado pela estupidez (ou erros de sintaxe).

Todo o drama é um lembrete útil de que esses modelos de IA não apenas não são mágicos, mas também são preenchimento automático extravagante que é monitorado ativamente e sofre interferência das empresas que os fabricam. Da próxima vez que você pensar em obter fatos de um chatbot, considere se seria melhor ir direto à fonte.

Atualizar: OpenAI confirmou terça-feira que o nome “David Mayer” foi sinalizado por ferramentas internas de privacidade, dizendo em um comunicado: “Pode haver casos em que ChatGPT não forneça certas informações sobre indivíduos para proteger sua privacidade”, a empresa disse que não queria. forneça mais detalhes sobre as ferramentas ou processos.