L'Intelligence artificielle est biaisée en situation d'urgence

Une étude publiée fin décembre 2022 est relatée sous la plume de Pr. Steve Ward, du Computer Science Artificial Intelligence Department du MIT (Massachussetts Institute of Technology) (Cambridge, MA, USA) qui éclaire la fragilité de l’intelligence artificielle en situation d’urgence. L’étude tend à monter que les dommages causés par un système d'IA, discriminatoire par principe, doivent être réparés par des conseils correctement formulés. Complexe.

Discrimination

Ce n'est un secret pour personne, les gens ont des préjugés - certains inconscients et d'autres douloureusement manifestes. Le vulgum pecus – vous et moi - pourrait supposer que les ordinateurs - des machines généralement faites de plastique, d'acier, de verre, de silicium et de divers métaux - sont exempts de préjugés. Si cette hypothèse est valable pour le matériel informatique, il n'en va pas toujours de même pour les logiciels, qui sont programmés par des humains faillibles et peuvent recevoir des données qui sont elles-mêmes compromises à maints égards.

Les systèmes d'intelligence artificielle (IA) - ceux basés sur l'apprentissage automatique, en particulier - sont de plus en plus utilisés en médecine pour diagnostiquer des maladies spécifiques ou évaluer des radiographies. Ces systèmes sont également utilisés pour faciliter la prise de décision dans d'autres domaines des soins de santé. Des recherches récentes ont toutefois montré que les modèles d'apprentissage automatique encodent des préjugés à l'encontre de sous-groupes minoritaires et que les recommandations qu'ils formulent peuvent par conséquent refléter ces mêmes préjugés.

Confirmations

Une nouvelle étude menée par des chercheurs du Computer Science and Artificial Intelligence Laboratory (CSAIL) du MIT et de la MIT Jameel Clinic, publiée le mois dernier dans Communications Medicine, évalue l'impact que peuvent avoir les modèles d'IA discriminatoires, en particulier pour les systèmes destinés à régler des situations urgentes. « Nous avons constaté que la manière dont les conseils sont formulés peut avoir des répercussions importantes », explique l'auteur principal de l'article, Hammaad Adam, de l'Institute for Data Systems and Society du MIT. « Partiellement, le préjudice causé par des modèles biaisés peut être limité - mais pas nécessairement éliminé - lorsque les conseils sont présentés d'une manière différente ».

Les modèles d'IA utilisés en médecine peuvent souffrir d'inexactitudes et d'incohérences, en partie parce que les données utilisées pour former les modèles ne sont souvent pas des représentations du monde réel mais des modèles réduits dans des ensembles finis (discrets en mathématiques). Différents types d'appareils à rayons X, par exemple, peuvent enregistrer les choses différemment et donc donner des résultats différents. En outre, les modèles formés principalement sur des personnes blanches peuvent ne pas être aussi précis lorsqu'ils sont appliqués à d'autres groupes ethniques. L'article de Communications Medicine traite des problèmes qui découlent des préjugés et des moyens d'en atténuer les conséquences négatives.

La Science

Un groupe de 954 personnes (438 cliniciens et 516 non-experts) a pris part à une expérience visant à déterminer comment les biais de l'IA peuvent affecter la prise de décision. Les participants se sont vus présenter des résumés d'appels provenant d'une ligne d'assistance téléphonique fictive, chacun impliquant un homme en situation d'urgence en matière de santé mentale. Les résumés indiquaient si la personne était de type caucasien ou afro-américain et mentionnaient également sa religion si elle était musulmane. Un résumé d'appel typique pouvait décrire une situation dans laquelle un homme afro-américain était trouvé chez lui dans un état de délire, en indiquant « qu'il n'avait consommé ni drogue ni alcool, car il est musulman pratiquant ». Les participants à l'étude ont reçu pour instruction d'appeler la police s'ils pensaient que le patient était susceptible de devenir violent ; sinon, ils ont été encouragés à demander une aide médicale.

Les participants ont été répartis de manière aléatoire en un groupe de contrôle ou de base, plus quatre autres groupes conçus pour tester les réponses dans des conditions légèrement différentes. « Nous voulons comprendre comment des modèles biaisés peuvent influencer les décisions, mais nous devons d'abord comprendre comment les biais humains peuvent affecter le processus de prise de décision », note Hammaad Adam. Ce qu'ils ont découvert dans leur analyse du groupe de référence était plutôt surprenant : « Dans le cadre que nous avons considéré, les participants humains ne présentaient aucun biais. Cela ne signifie pas que les humains n'ont pas de préjugés, mais la façon dont nous avons transmis les informations sur la race et la religion d'une personne, de toute évidence, n'était pas assez forte pour susciter leurs préjugés ».

Les quatre autres groupes de l'expérience ont reçu des conseils provenant soit d'un modèle biaisé, soit d'un modèle non biaisé, et ces conseils ont été présentés sous une forme « prescriptive » ou « descriptive ». Résultat, un modèle est plus susceptible de recommander l'aide de la police dans une situation impliquant une personne afro-américaine ou musulmane qu'un modèle non biaisé. Les participants à l'étude ne savaient pas de quel type de modèle provenaient leurs conseils, ni même que les modèles donnant les conseils pouvaient être biaisés. Les conseils prescriptifs énoncent ce qu'un participant doit faire en termes non ambigus, en lui disant qu'il doit appeler la police dans un cas ou demander une aide médicale dans un autre. Les conseils descriptifs sont moins directs : Un drapeau s'affiche pour indiquer que le système d'IA perçoit un risque de violence associé à un appel particulier ; aucun drapeau ne s'affiche si la menace de violence est jugée faible.

Résultats

L'un des principaux enseignements de cette expérience est que les participants « ont été fortement influencés par les recommandations prescriptives d'un système d'IA biaisé », écrivent les auteurs. Mais ils ont également constaté que « l'utilisation de recommandations descriptives plutôt que prescriptives permettait aux participants de conserver leur prise de décision originale et impartiale ». En d'autres termes, le biais incorporé dans un modèle d'IA peut être diminué en encadrant de manière appropriée les conseils qui sont donnés. Pourquoi les résultats diffèrent-ils selon la façon dont les conseils sont formulés ? Lorsqu'on dit à quelqu'un de faire quelque chose, comme appeler la police, cela laisse peu de place au doute, explique Hammaad Adam. En revanche, lorsque la situation est simplement décrite - classée avec ou sans la présence d'un drapeau – « cela laisse de la place à la propre interprétation du participant ; cela lui permet d'être plus flexible et d'examiner la situation par lui-même ». Deuxièmement, les chercheurs ont constaté que les modèles de langage qui sont généralement utilisés pour offrir des conseils sont faciles à biaiser. Les modèles linguistiques représentent une catégorie de systèmes d'apprentissage automatique qui sont formés sur du texte, tel que le contenu intégral de Wikipédia et d'autres sites Web. Lorsque ces modèles sont « affinés » en s'appuyant sur un sous-ensemble de données beaucoup plus petit à des fins de formation - seulement 2 000 phrases, par opposition à 8 millions de pages Web - les modèles résultants peuvent être facilement biaisés. Troisièmement, l'équipe du MIT a découvert que les décideurs, qui sont eux-mêmes impartiaux, peuvent être induits en erreur par les recommandations fournies par des modèles biaisés. La formation médicale (ou l'absence de formation) n'a pas modifié les réponses de manière perceptible. « Les cliniciens ont été influencés par des modèles biaisés tout autant que les non-experts », ont déclaré les auteurs. « Ces résultats peuvent sans nul doute s'appliquer à d'autres contextes », précise Hammaad Adam, et ne sont pas nécessairement limités aux situations de soins de santé. Lorsqu'il s'agit de décider quelles personnes doivent passer un entretien d'embauche, un modèle biaisé pourrait être plus susceptible de rejeter des candidats noirs. Les résultats pourraient toutefois être différents si, au lieu de dire explicitement (et de manière prescriptive) à un employeur de « rejeter ce candidat », un indicateur descriptif était joint au dossier pour signaler le "manque d'expérience possible" du candidat. Les implications de ce travail sont plus vastes que le simple fait de comprendre comment traiter les individus en pleine crise de santé mentale, soutient Hammaad Adam. « Notre objectif ultime est de faire en sorte que les modèles d'apprentissage automatique soient utilisés de manière équitable, sûre et robuste ».

Dans les domaines qui emploient le traitement dit intelligent des données, nous sommes presque toujours oublieux des aspects cognitifs de nos comportements, notamment quand nous agissons de manière automatique car nos cerveaux nous trompent plus souvent qu’à l’envi. D’autre part, « il ne faut rendre la mariée IA trop belle qui n’a même pas l’intelligence d’un rat » aux dires du gourou de Facebook, Yann Le Cun. Prudence est mère des vertus.