39° Congresso Brasileiro de Urologia

Dados do Trabalho


Título

ACURACIA DO CHATGPT COM RELAÇAO AS RECOMENDAÇOES PARA AVALIAÇAO E TRATAMENTO DA INCONTINENCIA URINARIA APOS PROSTATECTOMIA

Introdução e Objetivo

O sistema de inteligência artificial ChatGPT vem revolucionando a forma como se realiza pesquisas e tem sido cada vez mais utilizado como fonte de informação por profissionais de saúde. Neste estudo, avaliamos a precisão das informações geradas pelo ChatGPT 3.5 (gratuito) e pelo ChatGPT 4 (por assinatura) em relação à avaliação e tratamento da incontinência urinária após prostatectomia (IUPP).

Método

Criamos 20 questões sobre avaliação e tratamento da IUPP baseadas no guideline da AUA/SUFU (Sandhu J et al, Incontinence after prostate treatment: AUA/SUFU guideline; 2019). Dez questões foram conceituais, testando o conhecimento do ChatGPT sobre as melhores práticas neste tema e dez foram baseadas em casos clínicos reais ou hipotéticos, requerendo a aplicação do conhecimento e habilidades de interpretação de cenários clínicos. As questões foram submetidas em inglês, de forma anônima (sem identificação do IP), separadamente, às versões 3.5 e 4 do ChatGPT, com instrução para respostas limitadas a 200 palavras para maior objetividade. Três especialistas em disfunções miccionais avaliaram as respostas geradas, classificando-as como incorretas (0,0 pontos), parcialmente corretas (0,5) ou corretas (1,0 ponto), com base no guideline AUA/SUFU.

Resultados

Das 10 questões conceituais, o ChatGPT 3.5 acertou 5, teve três questões parcialmente corretas e 2 incorretas (nota 6,5; acurácia de 65.0%); o ChatGPT 4 acertou 8 questões e teve duas parcialmente corretas (nota 9,0; acurácia de 90.0%). Das 10 questões baseadas em casos clínicos, o ChatGPT 3.5 acertou 5 e teve 5 erradas (nota 5,0; acurácia de 50.0%); o ChatGPT 4 acertou 9 questões e teve 1 incorreta (nota 9,0; acurácia de 90.0%). A tabela demonstra exemplos de diferença de performance entre as duas versões do ChatGPT.      

Conclusão

O ChatGPT tem grande potencial de gerar informações na área de saúde, mas a avaliação crítica das respostas é necessária já que o índice de erros foi significativo. A versão 4 tem acurácia superior e teve bom desempenho mesmo em questões baseadas em casos clínicos. Novos estudos devem avaliar o papel destas tecnologias em evolução na melhoria do ensino e práticas na área de saúde.

Área

Disfunções Miccionais: IU / Urologia Feminina / Uroneurologia / Urodinâmica

Instituições

Universidade de São Paulo - São Paulo - Brasil

Autores

MATHEUS FAGUNDES DE AZEVEDO, MARCELO LANGER WROCLAWSKI, VICKTOR BRUNO PEREIRA PINTO, JOSE DE BESSA JUNIOR, MARCELO HISANO, ISABELA DE CARVALHO BARROS, HOMERO BRUSCHINI, WILLIAM CARLOS NAHAS, CRISTIANO MENDES GOMES