Dados do Trabalho

Título

ACURACIA DO CHATGPT COM RELAÇAO AS RECOMENDAÇOES PARA AVALIAÇAO E TRATAMENTO DA INCONTINENCIA URINARIA APOS PROSTATECTOMIA

Introdução e Objetivo

O sistema de inteligência artificial ChatGPT vem revolucionando a forma como se realiza pesquisas e tem sido cada vez mais utilizado como fonte de informação por profissionais de saúde. Neste estudo, avaliamos a precisão das informações geradas pelo ChatGPT 3.5 (gratuito) e pelo ChatGPT 4 (por assinatura) em relação à avaliação e tratamento da incontinência urinária após prostatectomia (IUPP).

Método

Criamos 20 questões sobre avaliação e tratamento da IUPP baseadas no guideline da AUA/SUFU (Sandhu J et al, Incontinence after prostate treatment: AUA/SUFU guideline; 2019). Dez questões foram conceituais, testando o conhecimento do ChatGPT sobre as melhores práticas neste tema e dez foram baseadas em casos clínicos reais ou hipotéticos, requerendo a aplicação do conhecimento e habilidades de interpretação de cenários clínicos. As questões foram submetidas em inglês, de forma anônima (sem identificação do IP), separadamente, às versões 3.5 e 4 do ChatGPT, com instrução para respostas limitadas a 200 palavras para maior objetividade. Três especialistas em disfunções miccionais avaliaram as respostas geradas, classificando-as como incorretas (0,0 pontos), parcialmente corretas (0,5) ou corretas (1,0 ponto), com base no guideline AUA/SUFU.

Resultados

Das 10 questões conceituais, o ChatGPT 3.5 acertou 5, teve três questões parcialmente corretas e 2 incorretas (nota 6,5; acurácia de 65.0%); o ChatGPT 4 acertou 8 questões e teve duas parcialmente corretas (nota 9,0; acurácia de 90.0%). Das 10 questões baseadas em casos clínicos, o ChatGPT 3.5 acertou 5 e teve 5 erradas (nota 5,0; acurácia de 50.0%); o ChatGPT 4 acertou 9 questões e teve 1 incorreta (nota 9,0; acurácia de 90.0%). A tabela demonstra exemplos de diferença de performance entre as duas versões do ChatGPT.      

Conclusão

O ChatGPT tem grande potencial de gerar informações na área de saúde, mas a avaliação crítica das respostas é necessária já que o índice de erros foi significativo. A versão 4 tem acurácia superior e teve bom desempenho mesmo em questões baseadas em casos clínicos. Novos estudos devem avaliar o papel destas tecnologias em evolução na melhoria do ensino e práticas na área de saúde.