O criador do chatbot GoT que levou à morte de um adolescente apresenta novas medidas de segurança – Primeira postagem

Character.AI, uma plataforma conhecida por hospedar personalidades virtuais baseadas em IA, implementou novas medidas de segurança para criar uma experiência mais segura para os usuários, especialmente os menores. Essas atualizações seguem um inquérito público sobre a trágica morte de um menino de 14 anos que interagiu com um de seus chatbots durante meses antes de tirar a própria vida.

Embora a empresa não tenha mencionado diretamente o incidente em sua última postagem no blog, ela pressionou a mensagem da família em uma postagem

Moderação e proteções de conteúdo aprimoradas
As novas medidas do Character.AI incluem ferramentas de moderação aprimoradas e maior sensibilidade em conversas que envolvem automutilação e saúde mental. Quando o chatbot detecta uma menção a tópicos como suicídio, os usuários verão um pop-up com links para recursos como o National Suicide Prevention Lifeline. Além disso, a plataforma promete melhor filtragem de conteúdo impróprio e restrições mais rígidas às conversas com usuários menores de 18 anos.

Para reduzir ainda mais os riscos, a Character.AI removeu chatbots inteiros que foram denunciados por violarem as políticas da plataforma. A empresa explicou que usa uma combinação de listas negras personalizadas e padrão da indústria para detectar e moderar proativamente caracteres problemáticos. As mudanças recentes incluem a remoção de uma série de personagens criados por usuários considerados inadequados, com a promessa de continuar atualizando essas listas negras com base no monitoramento proativo e em relatórios de usuários.

Recursos para melhorar o bem-estar do usuário
As novas diretrizes da Character.AI também se concentram em ajudar os usuários a manter interações saudáveis. Um novo recurso notifica os usuários quando eles passam uma hora na plataforma e os incentiva a fazer uma pausa. A empresa também destacou suas isenções de responsabilidade, enfatizando que os personagens de IA não são pessoas reais. Embora esses alertas já existissem antes, a nova atualização visa garantir que sejam mais difíceis de ignorar, para que os usuários possam ficar por dentro de suas interações.

Essas mudanças ocorrem à medida que Character.AI continua a oferecer experiências imersivas por meio de recursos como Character Calls, que permitem conversas de voz bidirecionais com chatbots. O sucesso da plataforma em tornar estas interações pessoais faz parte do seu apelo, mas também levantou preocupações sobre o impacto emocional nos utilizadores, especialmente nos mais jovens.

Definindo um novo padrão para segurança de IA
Os esforços da Character.AI para melhorar a segurança provavelmente servirão de modelo para outras empresas que operam no espaço de chatbot de IA. À medida que estas ferramentas se tornam mais integradas na vida quotidiana, equilibrar a interação imersiva e a segurança do utilizador tornou-se um desafio fundamental. A tragédia em torno da morte do jovem de 14 anos tornou ainda mais urgente a necessidade de medidas de proteção eficazes, não apenas para a Character.AI, mas para a indústria como um todo.

Ao introduzir uma moderação de conteúdo mais forte, isenções de responsabilidade mais claras e lembretes de pausa, a Character.AI visa prevenir danos futuros, ao mesmo tempo que mantém a experiência envolvente que seus usuários desfrutam.