ChatGPT é fundamentalmente ruim no diagnóstico de pacientes

ChatGPT pode ser bom para aconselhar seus treinos, Mas ainda há um longo caminho a percorrer antes que possa substituir um médico. Um experimento recente descobriu que o popular chatbot de inteligência artificial costuma tomar decisões médicas incorretas.

“O ChatGPT em sua forma atual não é uma ferramenta de diagnóstico confiável”, disseram os pesquisadores por trás do estudarpublicado hoje na revista PLOS ONE, escreveu: “ChatGPT não fornece necessariamente precisão factual, apesar da enorme quantidade de informações nas quais foi treinado.”

Em fevereiro de 2023, ChatGPT mal consigo passar o exame de licenciamento médico dos EUA sem informações especializadas adicionais de treinadores humanos. Embora o programa não tenha chegado perto de passar no teste, os pesquisadores por trás do experimento saudaram o resultado como um “marco notável” para a IA.

No entanto, os cientistas por trás do novo estudo observaram que, embora a aprovação no teste regulatório tenha demonstrado a capacidade do ChatGPT de responder a perguntas médicas precisas, “a qualidade de suas respostas a casos médicos complexos permanece obscura”.

Para determinar o desempenho do ChatGPT 3.5 nesses casos mais complicados, os pesquisadores apresentaram ao programa 150 casos projetados para testar as habilidades de diagnóstico de profissionais médicos. As informações submetidas ao ChatGPT incluíam o histórico médico do paciente, achados do exame físico e alguns resultados laboratoriais ou de imagem. ChatGPT foi então solicitado a fazer um diagnóstico ou desenvolver um plano de tratamento apropriado. Os pesquisadores avaliaram as respostas do bot com base no fato de ele ter dado a resposta correta. Também avaliaram o ChatGPT com base na forma como demonstrou o seu trabalho, avaliando a clareza da justificação de um diagnóstico ou tratamento prescrito, bem como a relevância das informações médicas citadas.

Durante o ChatGPT treinado Com centenas de terabytes de dados provenientes da Internet, ele retornou a resposta correta apenas 49% das vezes. Teve um desempenho ligeiramente melhor na relevância das suas explicações, fornecendo explicações completas e relevantes em 52% das vezes. Os pesquisadores descobriram que embora a IA fosse muito boa em descartar respostas erradas, isso não é o mesmo que tomar a decisão certa em um ambiente clínico. “A precisão e a sensibilidade são críticas para uma ferramenta de diagnóstico porque o diagnóstico errado pode ter consequências significativas para os pacientes, como a falta de tratamentos necessários ou de testes de diagnóstico adicionais, levando a piores resultados de saúde”, escreveram.

No geral, foi dito que o chatbot tinha uma “capacidade moderada de distinguir entre diagnósticos corretos e incorretos” e um desempenho geral “medíocre” no teste. Embora não se deva confiar no ChatGPT para diagnosticar pacientes com precisão, os pesquisadores dizem que o aplicativo ainda pode ser útil para aspirantes a médicos porque fornece acesso a grandes quantidades de dados médicos.

“Em conjunto com os métodos de ensino tradicionais, o ChatGPT pode ajudar os alunos a preencher lacunas de conhecimento e simplificar conceitos complexos, fornecendo respostas imediatas e personalizadas a questões clínicas”, escreveram.

Ainda assim, a IA pode ser superior aos médicos humanos numa área: um estudo de abril de 2023 descobriu que o ChatGPT era capaz de escrever e-mails mais empáticos aos pacientes do que médicos reais.

ChatGPT pode ser bom para aconselhar seus treinos, Mas ainda há um longo caminho a percorrer antes que possa substituir um médico. Um experimento recente descobriu que o popular chatbot de inteligência artificial costuma tomar decisões médicas incorretas.

“O ChatGPT em sua forma atual não é uma ferramenta de diagnóstico confiável”, disseram os pesquisadores por trás do estudarpublicado hoje na revista PLOS ONE, escreveu: “ChatGPT não fornece necessariamente precisão factual, apesar da enorme quantidade de informações nas quais foi treinado.”

Em fevereiro de 2023, ChatGPT mal consigo passar o exame de licenciamento médico dos EUA sem informações especializadas adicionais de treinadores humanos. Embora o programa não tenha chegado perto de passar no teste, os pesquisadores por trás do experimento saudaram o resultado como um “marco notável” para a IA.

No entanto, os cientistas por trás do novo estudo observaram que, embora a aprovação no teste regulatório tenha demonstrado a capacidade do ChatGPT de responder a perguntas médicas precisas, “a qualidade de suas respostas a casos médicos complexos permanece obscura”.

Para determinar o desempenho do ChatGPT 3.5 nesses casos mais complicados, os pesquisadores apresentaram ao programa 150 casos projetados para testar as habilidades de diagnóstico de profissionais médicos. As informações submetidas ao ChatGPT incluíam o histórico médico do paciente, achados do exame físico e alguns resultados laboratoriais ou de imagem. ChatGPT foi então solicitado a fazer um diagnóstico ou desenvolver um plano de tratamento apropriado. Os pesquisadores avaliaram as respostas do bot com base no fato de ele ter dado a resposta correta. Também avaliaram o ChatGPT com base na forma como demonstrou o seu trabalho, avaliando a clareza da justificação de um diagnóstico ou tratamento prescrito, bem como a relevância das informações médicas citadas.

Durante o ChatGPT treinado Com centenas de terabytes de dados provenientes da Internet, ele retornou a resposta correta apenas 49% das vezes. Teve um desempenho ligeiramente melhor na relevância das suas explicações, fornecendo explicações completas e relevantes em 52% das vezes. Os pesquisadores descobriram que embora a IA fosse muito boa em descartar respostas erradas, isso não é o mesmo que tomar a decisão certa em um ambiente clínico. “A precisão e a sensibilidade são críticas para uma ferramenta de diagnóstico porque o diagnóstico errado pode ter consequências significativas para os pacientes, como a falta de tratamentos necessários ou de testes de diagnóstico adicionais, levando a piores resultados de saúde”, escreveram.

No geral, foi dito que o chatbot tinha uma “capacidade moderada de distinguir entre diagnósticos corretos e incorretos” e um desempenho geral “medíocre” no teste. Embora não se deva confiar no ChatGPT para diagnosticar pacientes com precisão, os pesquisadores dizem que o aplicativo ainda pode ser útil para aspirantes a médicos porque fornece acesso a grandes quantidades de dados médicos.

“Em conjunto com os métodos de ensino tradicionais, o ChatGPT pode ajudar os alunos a preencher lacunas de conhecimento e simplificar conceitos complexos, fornecendo respostas imediatas e personalizadas a questões clínicas”, escreveram.

Ainda assim, a IA pode ser superior aos médicos humanos numa área: um estudo de abril de 2023 descobriu que o ChatGPT era capaz de escrever e-mails mais empáticos aos pacientes do que médicos reais.