Vers un outil capable de répondre à des questions médicales

- Posted by

Comme je suis une personne "senior" j'ai fréquenté plusieurs médecins généralistes au cours de ma vie. Bien que les membres de cette profession déclarent souvent être formés à bac+9 ou plus, je n'ai pas été impressioné par les capacités de certains médecins que j'ai rencontré. Les gouvernements successifs, eux pensent le médecin généraliste assure essentiellement un rôle d'orientation, de coordination et de suivi. C'est à dire un rôle de technicien qui délègue l'exercice de la médecine à des spécialistes.

Par ailleurs c'est une corporation qui est bien connue pour son opposition à toute innovation. Les outils d'un généraliste sont encore le tensiomètre, la balance et le stéthoscope, instrument qui n'a pas été amélioré depuis 200 ans. enter image description here Il me semble donc que cette activité commerciale se prêterait bien à une innovation disruptrice, par exemple en confiant à des infirmiers "senior" comme les infirmiers en pratique avancée, le soin d'assurer le rôle actuel de coordinateur des médecins généralistes. A cet égard l'intelligence artificielle pourrait apporter des outils très utiles pour normaliser la pratique et la hisser à l'état de l'art.

Les grandes sociétés cherchent depuis longtemps et sans grand succès, à pénétrer le monde médical. La raison principale c'est que c'est un marché colossal et sans risque, puisque in-fine c'est l'état qui paye. Pour avoir observé certains de ces efforts, il me semble que cette difficulté à rénover la pratique médicale est due selon votre profession, soit à l'arrogance des impétrants, soit à la très forte capacité de résistance à l'innovation du monde médical.

Ainsi on sait depuis les années 70 faire des systèmes experts qui seraient capable de diagnostiquer avec une bonne précision la plupart des malades, mais cela n'a jamais été mis en oeuvre ainsi, alors que l'on sait pertinemment qu'il y a des mauvais médeçins (comme d'excellents).

En France il existe quelques acteurs offrant ces outils pour la médecine ambulatoire, mais les obstacles à la mise en oeuvre sont nombreux et probablement délibérés. Il n'existe aucun outil certifié de ce type pour les médecins généralistes.

IBM s'est aussi frotté à ce problème avec son système Watson dans les années 2010, pour abandonner devant l'absence du succès commercial et aussi probablement parce que Watson est une usine à gaz permettant de vendre du temps de consultants informatiques.

L'arrivée de ChatGPT en fin 2022, est une révolution pour les grandes entreprises, voilà un outil qui est facile à utiliser et qui donne des réponses particulièrement intelligentes dans un langage très clair. De plus la technologie à la base de ChatGPT (les modèles de langages) est susceptible d'améliorations très importantes. enter image description here Parmi ces sociétés on trouve Google qui depuis longtemps cible le monde médical. Leur Med-PaLM 2, un modèle de langage d'IA spécifiquement formé aux connaissances médicales, a a obtenu un score étonnant de 86,5 % sur un ensemble de questions inspiré de l'USMLE (US Medical Licensing Examination), dépassant largement les 60 % typiques. seuil de réussite pour les candidats humains. Cet examen est similaire aux épreuves classantes nationales en France.

Med-PaLM 2 a été construit à partir du modèle de langage fondamental de Google, PaLM 2, puis affiné avec des données de domaine médical spécifiques. C'est donc un outil encore très perfectible.

Le modèle a été mis à l'épreuve par rapport aux questions à choix multiples et au formulaire long de l'ensemble d'évaluation MultiMedQA, une base de données de milliers de questions, dont beaucoup sont calquées sur l'USMLE officiel.

Les chercheurs ont également soumis Med-PaLM 2 à un panel de 15 médecins dans deux expériences supplémentaires :

  • Une équipe de médecins a évalué des paires de réponses générées par l'IA et écrites par un médecin. Cette évaluation a porté sur neuf aspects, dont le raisonnement, le consensus et le rappel des connaissances.

  • Deux ensembles de données contradictoires ont été utilisés pour produire des réponses sondant les limites du modèle d'IA. Les réponses ont été évaluées par des médecins.

Les performances de Med-PaLM 2 sur les benchmarks MedQA ont affiché un bond de performance impressionant. On pourrait en extrapolant dire que dans deux ans, un outil de ce type sera capable d'obtenir 100% de réponses justes à ce test. Bien sûr ce test est informel, ce n'est pas l'examen officiel, mais il donne une idée des capacitées de l'outil. Et même si l'outil passait l'examen officiel, on voit mal comment il pourrait passer l'internat, à moins de réintroduire un nouveau test de sortie de l'internat. Ce qui ne serait d'ailleurs pas forcément une mauvaise idée y compris pour tester le savoir-faire des humains pour qui aujourd'hui celà se limite à une "thèse" qui ne permet pas de tester l'étendue du savoir acquis en cours d'internat.



Please, help us continue to provide valuable information: