A gigante da saúde Optum restringiu o acesso a um chatbot interno de IA usado por funcionários depois que um pesquisador de segurança descobriu que ele estava disponível publicamente online e poderia ser acessado por qualquer pessoa usando apenas um navegador da web.
O chatbot, visto pelo TechCrunch, permitiu que os funcionários fizessem perguntas à empresa sobre como lidar com reclamações de pacientes e disputas de seguros de saúde de membros de acordo com as regras da empresa chamadas procedimentos operacionais padrão (SOPs).
Embora o chatbot não pareça conter ou produzir informações pessoais confidenciais ou de saúde protegidas, a sua divulgação inadvertida ocorre num momento em que a sua empresa-mãe, a companhia de seguros de saúde UnitedHealthcare, está sob investigação pelo uso de ferramentas e algoritmos de inteligência artificial para supostamente. . Para anular os direitos dos médicos. decisões médicas e rejeitar reclamações de pacientes.
Mossab Hussein, diretor de segurança e cofundador da empresa de segurança cibernética SpiderSilk, chamou a atenção do TechCrunch para o chatbot interno da Optum, disponível publicamente, chamado “SOP Chatbot”. Embora a ferramenta estivesse hospedada em um domínio interno da Optum e não pudesse ser acessada por meio de seu endereço web, seu endereço IP era público e acessível pela Internet e os usuários não eram obrigados a inserir uma senha.
Não se sabe por quanto tempo o chatbot esteve acessível publicamente através da Internet. O chatbot de IA tornou-se inacessível pela Internet logo depois que o TechCrunch entrou em contato com a Optum para comentar o assunto na quinta-feira.
O porta-voz da Optum, Andrew Krejci, disse ao TechCrunch em um comunicado que o chatbot SOP da Optum era “uma ferramenta de demonstração desenvolvida como uma prova potencial de conceito”, mas “nunca entrou em produção e o site não está mais acessível”.
“A demonstração pretendia testar como a ferramenta responde a perguntas usando um pequeno conjunto de amostras de documentos SOP”, disse o porta-voz. A empresa confirmou que nenhuma informação protegida de saúde foi utilizada no bot ou em seu treinamento.
“Esta ferramenta não toma e nunca tomará decisões, mas apenas fornece maior acesso aos SOPs existentes.” Em suma, esta tecnologia nunca foi dimensionada ou realmente utilizada”, disse o porta-voz.
Chatbots de IA como o Optum são normalmente projetados para fornecer respostas com base nos dados nos quais o chatbot foi treinado. Nesse caso, o chatbot foi treinado usando documentos internos da Optum sobre procedimentos operacionais padrão para processamento de reclamações específicas, o que pode ajudar os funcionários da Optum a responder perguntas sobre reclamações e sua elegibilidade para reembolso. Os documentos Optum foram hospedados na rede corporativa da UnitedHealthcare e não eram acessíveis sem o login do funcionário. Porém, eles são citados e referenciados pelo chatbot quando questionados sobre seu conteúdo.
De acordo com estatísticas exibidas no painel principal do chatbot, os funcionários da Optum usaram o chatbot SOP centenas de vezes desde setembro. O chatbot também armazenou um histórico de centenas de conversas que os funcionários da Optum tiveram com o chatbot durante esse período. O histórico de bate-papo mostra que os funcionários da Optum fizeram perguntas ao chatbot como: “Como a reivindicação deve ser determinada?”
O TechCrunch percebeu que alguns dos arquivos referenciados pelo chatbot incluem o tratamento do processo de resolução de disputas e a verificação da elegibilidade. O chatbot também forneceu respostas que, quando questionadas, revelaram os motivos da típica recusa de denúncia.
Como muitos modelos de IA, o chatbot da Optum foi capaz de fornecer respostas a perguntas e solicitações fora dos documentos nos quais foi treinado. Alguns funcionários da Optum pareciam intrigados com o chatbot, levando-o a fazer perguntas como “Conte-me uma piada sobre gatos” (ao que ele recusou: “Não há piada disponível”). O histórico do chat também mostrou diversas tentativas de funcionários de “jailbreak” do chatbot, fazendo-o produzir respostas que não estavam relacionadas aos dados de treinamento do chatbot.
Quando o TechCrunch pediu ao chatbot para “escrever um poema sobre uma reivindicação negada”, o chatbot criou uma estrofe de sete parágrafos que diz em parte:
“No grande domínio da saúde
Onde as diretrizes e regras muitas vezes restringem
Uma dívida é recebida e exige seu vencimento
Mas infelizmente é seu destino dizer adeus.O provedor espera com pedido sincero,
Para pagamento como parte de um tour de serviço,
Mas um olhar mais atento revela a história,
E predominam os motivos de rejeição.”
A UnitedHealthcare, proprietária da Optum, está enfrentando críticas e ações legais pelo uso de inteligência artificial para supostamente negar reclamações de pacientes. Desde o assassinato seletivo do CEO da UnitedHealthcare, Brian Thompson, no início de dezembro, os meios de comunicação relataram uma enxurrada de histórias sobre pacientes expressando medo e frustração pela negação de seus cuidados de saúde por parte do gigante dos seguros de saúde.
O conglomerado – o maior fornecedor privado de seguros de saúde nos Estados Unidos – foi processado no início deste ano por alegadamente negar cobertura de saúde vital a pacientes que perderam o acesso aos cuidados de saúde, citando uma investigação da STAT News. O processo federal acusa a UnitedHealthcare de usar um modelo de IA com uma taxa de erro de 90% “em vez de profissionais médicos reais negarem injustamente cuidados a pacientes idosos”. A UnitedHealthcare, por sua vez, disse que se defenderia em tribunal.
O UnitedHealth Group, proprietário corporativo da UnitedHealthcare e da Optum, obteve US$ 22 bilhões em lucro sobre receitas de US$ 371 bilhões em 2023, mostram seus lucros.
/cdn.vox-cdn.com/uploads/chorus_asset/file/25624494/teen_account_instagram.png?w=350&resize=350,250&ssl=1)
