OpenAI não colocará marca d’água no texto do ChatGPT porque seus usuários podem ser pegos

A OpenAI tem um sistema para marcar texto com marca d’água criado com ChatGPT e uma ferramenta para detectar marca d’água há cerca de um ano, relata Jornal de Wall Street. Mas a empresa está dividida internamente sobre a divulgação das informações. Por um lado parece responsável, por outro lado pode prejudicar os lucros.

A marca d’água da OpenAI é descrita como um ajuste na maneira como o modelo prevê que as palavras e frases com maior probabilidade seguirão as anteriores, criando um padrão reconhecível. (Isso é uma simplificação, mas você pode verificar a explicação mais detalhada do Google sobre a marca d’água de texto do Gemini para saber mais.)

A capacidade de reconhecer material escrito por IA é um benefício potencial para professores que desejam desencorajar os alunos de entregar tarefas de redação à IA. diário relata que a empresa descobriu que as marcas d’água não afetam a qualidade da saída de texto do seu chatbot. Numa pesquisa encomendada pela empresa, “pessoas em todo o mundo apoiaram a ideia de uma ferramenta de detecção de IA numa proporção de quatro para um”, afirmou. diário escreve.

Depois diário publicou sua história, a OpenAI confirmou que está trabalhando na marca d’água de texto em uma atualização de postagem de blog descoberta hoje por TechCrunch. Nele, a empresa afirma que seu método é muito preciso (“99,9% eficaz”, segundo documentos que diário serra) e resistente à “manipulação, como paráfrase”. No entanto, diz que técnicas como reformulá-lo com um modelo diferente tornam-no “trivial para ser contornado por agentes maliciosos”. A empresa também afirma estar preocupada com o estigma que cerca a utilidade das ferramentas de IA para falantes não nativos.

No entanto, a OpenAI também parece preocupada com o fato de o uso de marcas d’água poder desanimar os usuários do ChatGPT pesquisados. Quase 30% deles disseram à empresa que usariam menos o software se marcas d’água fossem implementadas.

Apesar disso, alguns funcionários ainda acreditam que as marcas d’água são eficazes. Dados os sentimentos incômodos dos usuários, o diário Alguns sugeriram tentar métodos que “podem ser menos controversos entre os usuários, mas ainda não foram testados”. Na atualização de seu blog hoje, a empresa disse que está “nos estágios iniciais” de explorar a incorporação de metadados. Ainda é “muito cedo” para saber se funcionará bem, mas como está assinado criptograficamente não haverá falsos positivos.