ChatGPT n’aime pas la metformine

ChatGPT est-il un bon médecin ? Si les psychiatres se sont posé la question, en diabétologie, une étude a comparé les choix de médicaments faits à l’initiation du traitement, par le modèle de langage GPT-4 et par des endocrinologues, dans des scénarios cliniques où la meilleure réponse est incertaine (1).

Résultats, avec une simple invite, ChatGPT-4 a choisi la metformine dans 12 % des cas, contre 31 % pour les endocrinologues. Après modification de l’invite pour encourager l’utilisation de la metformine, ChatGPT-4 a augmenté ce choix à 25 %. Il a rarement choisi cette molécule pour les patients avec une fonction rénale altérée ou des antécédents de troubles gastro-intestinaux.

Pour les auteurs, avant de pouvoir s’appuyer sur une telle solution d’IA, il convient de s’assurer que ses réponses démontrent une amélioration des résultats par rapport aux soins standards, et qu’elles sont en accord avec les valeurs des patients et des cliniciens. D’autant que GPT-4 a montré une faible variabilité dans ses réponses répétées, sauf à des niveaux intermédiaires de la fonction rénale.

L’humanité en moins

Les réponses de GPT-4 étaient relativement personnalisées selon certaines caractéristiques organiques mesurables (le rein d’abord) mais le logiciel a montré une réticence rigide à utiliser certains schémas, d’où une sous-utilisation de la metformine en cas d’antécédents gastro-intestinaux et un recours trop systématique aux nouveaux antidiabétiques (iSGLT2 et incrétines), coûteux, quand les diabétologues prennent en compte la personnalité des patients leurs choix préférences et les coûts.

Professeur Émérite, Université Grenoble-Alpes
(1) Flory JH et al. The large language model gpt-4 compared to endocrinologist responses on initial choice of antidiabetic medication under conditions of clinical uncertainty. Diabetes Care. 2024 Sep 9:dc241067