Chatbots en santé : le Comité d’éthique veut poser un cadre de la conception à l'utilisation

Confusion entre machine et être humain, capacité de manipulation, perte d’autonomie, contrôle des données personnelles, etc. : le recours croissant aux agents conversationnels, ou chatbots, pose des questions éthiques qu'explore un premier avis sur le sujet du Comité national pilote d’éthique du numérique, rendu public ce 9 novembre.

En santé, ces systèmes capables d’interagir avec leurs utilisateurs en langage naturel, à l’écrit comme à l’oral, sont utilisés pour le suivi et la surveillance des patients, pour l’éducation thérapeutique et le conseil médical ou encore pour accompagner le sevrage, tabagique notamment. Ils « font partie des outils numériques qui contribuent à répondre aux problèmes récurrents de ce secteur : accès aux soins, pénurie de médecins, déserts médicaux, exécution de tâches répétitives autrement confiées au personnel soignant », rappelle l’avis.

Vers des « médecins virtuels » ?

Des agents conversationnels peuvent également être connectés à des outils de recueil d’indices physiologiques (rythme cardiaque, température, niveau d’oxygène, etc.). « La prise en compte de ces informations par un agent conversationnel, qui les énonce explicitement à la personne, amplifie son engagement ou son désengagement auprès de l’agent conversationnel », indique l’avis, soulignant l’influence et le risque de dépendance que ces outils peuvent entraîner : « plus la personne est vulnérable, plus l’effet est susceptible d’être important », avertit l’avis.

En psychiatrie, les chatbots permettent notamment de réaliser des entretiens de prévention, de diagnostic et de suivi, mais l’arrivée de ces outils qui « imitent le comportement des psychiatres peut être source de nouvelles tensions éthiques », estime l’avis, alors que certains patients peuvent accorder « plus aisément leur confiance en dialoguant avec un chatbot » perçu comme neutre et sans jugement moral.

Au CHU de Bordeaux, une psychiatre-addictologue virtuelle, imaginée par le Pr Auriacombe, chef du service addictologie du centre hospitalier Charles-Perrens, réalise depuis 2019 des entretiens de prévention et de diagnostic sur le thème des addictions.

En matière de diagnostic également, le recours aux chatbots est également envisagé. Mais, pour cet usage, la start-up française Nabla en a montré les limites. À partir du modèle de traitement de langage naturel GPT-3, développé par la société OpenAI et considéré le plus avancé (avec 175 milliards de paramètres), Nabla a élaboré en 2020, contre l’avis d’OpenAI, un chatbot médical, qui lors des phases de test, a conseillé à un patient simulé de se suicider et à un autre décrivant les signes d’une embolie pulmonaire de regarder une vidéo sur les étirements.

Pour l’heure, en santé, les échanges avec un chatbot « reposent sur un arbre décisionnel, explique le physicien et philosophe Alexei Grinbaum, chercheur au CEA et co-rapporteur de l’avis. Le modèle reste déterministe ». Ce secteur spécifique requiert selon lui une « garantie humaine », mais également une attention particulière aux biais de ces outils qui portent un « risque d’amplification des discriminations », complète la co-rapporteure Laurence Devillers, professeure en informatique appliquée aux sciences sociales.

Leurs préconisations, qui s'adressent aussi bien aux pouvoirs publics et aux industriels qu’aux chercheurs et aux usagers, prennent la forme de 10 principes de conception pour les industriels, de 13 recommandations pour les autorités publiques (formation, éducation, expérimentation) et de 11 questions pour la recherche.

Un appel à la déontologie

Il s’agit de proposer un cadre éthique au développement et à l’utilisation de ces agents conversationnels, avec la volonté de « créer un standard », explique Claude Kirchner, directeur de recherche émérite à l’Inria et directeur du Comité national pilote d’éthique du numérique, s'inspirant du rôle moteur de l’Europe sur la protection des données avec le RGPD (Règlement général sur la protection des données) qui s’impose désormais en dehors de l’espace européen.

En matière de conception, les préconisations relèvent de la « déontologie des développeurs », de la « réduction des biais de langage », de la transparence et de la traçabilité des décisions du chatbot, de l’information « claire et compréhensible » de ses capacités, énumère Laurence Devillers. Selon elle, l’utilisateur doit « toujours avoir le choix, la capacité de comprendre et de changer certains paramètres ».

Dans le domaine de la santé, il s’agit de « veiller à respecter la dignité et l’autonomie » des personnes vulnérables et « dès l’étape de conception des agents conversationnels, d’éviter la confiance excessive en ces systèmes de la part du patient et de veiller à lever la confusion entre l’agent conversationnel et le médecin qualifié », précise l’avis.

Dans les cas d'agents conversationnels recueillant des mesures physiologiques de l'utilisateur, les concepteurs « doivent mener des analyses portant sur les risques de dépendance » et les autorités publiques « encadrer l’utilisation de ces systèmes au regard de leur impact sur l’autonomie de la personne », est-il préconisé.

Concernant les « deadbots », qui imitent une personne décédée auprès de ses proches, ils peuvent entraîner une émotion forte et entretenir l'illusion d'une relation, avec le risque d’une altération du jugement. Le Comité juge nécessaire l’adoption d’une réglementation spécifique : consentement de la personne décédée, recueil et réutilisation de ses données, temps de fonctionnement d’un tel chatbot, etc. Les concepteurs sont invités à « respecter la dignité de la personne humaine qui ne s’éteint pas avec la mort, tout en veillant à préserver la santé mentale des utilisateurs de tels agents conversationnels ».