Les échecs épiques de l’IA : ce que nous pouvons apprendre d’erreurs coûteuses
Je suis le développement de l'IA depuis des années, et même si nous célébrons les avancées, il y a un autre aspect : des échecs spectaculaires qui coûtent des milliards d'investissements. Examinons les échecs des projets d'IA les plus instructifs et ce qu'ils nous enseignent.
L'incident de la voiture autonome Uber (2018)
En mars 2018, un véhicule autonome Uber a été impliqué dans un grave incident à Tempe, en Arizona, entraînant la suspension de leur programme de conduite autonome. L'enquête a révélé plusieurs pannes du système.
Les capteurs de la voiture ont détecté un obstacle 5,6 secondes avant l'impact, mais le système de classification AI n'a pas réussi à l'identifier et à réagir correctement. Le système a parcouru plusieurs classifications sans prendre les mesures appropriées.
Des fonctions de sécurité critiques avaient été désactivées, créant ainsi une dépendance dangereuse à la surveillance humaine. L'incident a mis en évidence des failles fondamentales dans les protocoles de test et les systèmes de sécurité, mettant finalement fin aux ambitions d'Uber en matière de véhicules autonomes.
IBM Watson pour l'oncologie : le mirage médical à 62 millions de dollars
IBM a présenté Watson comme un conseiller révolutionnaire en matière de traitement du cancer, affirmant qu'il pouvait analyser la littérature médicale pour recommander des traitements. Les hôpitaux ont payé des millions, et Memorial Sloan Kettering a investi plus de 62 millions de dollars.
La réalité était dévastatrice. Watson a donné des recommandations dangereuses et incorrectes. Dans un cas, il a suggéré l’administration d’un médicament provoquant des saignements à un patient déjà en train de saigner. Le système n’analysait pas la littérature – il régurgitait les préjugés d’un petit groupe de médecins.
L’échec était conceptuel. IBM a mal compris l'oncologie. Le traitement du cancer ne consiste pas à traiter des données : il nécessite un jugement humain que l’IA ne peut pas reproduire.
Tay de Microsoft : quand l'IA apprend de mauvaises leçons
En 2016, Microsoft a lancé Tay, un chatbot Twitter conçu pour apprendre des conversations des utilisateurs. En 24 heures, des trolls coordonnés l’ont transformé en un robot raciste et sexiste déversant des discours de haine et des théories du complot.
Cela a révélé des failles fondamentales dans les hypothèses d’apprentissage de l’IA. L’idée selon laquelle l’IA apprend naturellement les « bons » comportements ignore le fait que les humains se comportent souvent mal en ligne. Il a mis en évidence la vulnérabilité de l’IA aux manipulations coordonnées.
L'algorithme d'embauche biaisé d'Amazon
Amazon a secrètement utilisé l'IA pour sélectionner les candidats, en la formant sur 10 ans de CV. Le système a appris à discriminer les femmes, en dévalorisant les curriculum vitae mentionnant des activités « féminines » ou des collèges réservés aux femmes.
L'entreprise avait appris que les modèles d'embauche historiques d'Amazon favorisaient les hommes et perpétuaient ce préjugé. Les ingénieurs ne pouvaient pas garantir qu'il ne trouverait pas d'autres méthodes de discrimination, ils ont donc abandonné le projet en 2018.
Les leçons plus profondes
Ces échecs révèlent des problèmes systémiques :
Problèmes de données d'entraînement : Chaque IA est aussi bonne que ses données. Watson a appris d'échantillons biaisés, l'IA d'Amazon de modèles de recrutement biaisés, Tay d'un comportement toxique.
Dilemme de la boîte noire : Les systèmes ont pris des décisions inexplicables. Lorsque la voiture d'Uber ne pouvait pas classer les piétons ou que Watson faisait des recommandations dangereuses, les créateurs ne comprenaient pas pourquoi.
Piège de l'excès de confiance : Les entreprises ont survendu leurs capacités. IBM a affirmé que Watson révolutionnerait la médecine, Uber a suggéré que les voitures étaient plus sûres que les humains. Cela a conduit à un déploiement prématuré.
Facteur humain : Presque tous les échecs impliquaient de mauvaises décisions humaines concernant le déploiement ou la surveillance. Les humains ont désactivé les systèmes de sécurité, ignoré les signaux biaisés ou n’ont pas réussi à anticiper les problèmes.
Ce que cela signifie pour l'avenir
Ces échecs offrent des leçons cruciales :
Meilleurs tests : les systèmes d'IA nécessitent des tests contrôlés plus longs avant leur déploiement dans le monde réel. La pression de la vitesse peut entraîner de graves problèmes de sécurité.
IA explicable : Si nous ne pouvons pas comprendre les décisions prises par l'IA, nous ne devrions pas lui confier des choix critiques. Le problème de la boîte noire constitue un problème de sécurité fondamental.
Équipes et données diversifiées : Des équipes homogènes créent des systèmes biaisés. Nous avons besoin de perspectives diverses dans les données de construction et de formation.
Cadres réglementaires : "Agir rapidement et casser les choses" ne fonctionne pas pour les systèmes vitaux. Nous avons besoin d’une réglementation réfléchie qui équilibre l’innovation et la sécurité.
Humilité : Les plus gros échecs sont venus d'entreprises qui croyaient à leur propre battage médiatique. L’IA a des limites, et les ignorer a de réelles conséquences.
Le chemin à parcourir
Je ne m’oppose pas au développement de l’IA : ces technologies ont un énorme potentiel. Mais nous devons tirer les leçons des échecs coûteux.
Les entreprises qui réussissent aborderont l’IA avec la prudence appropriée, investiront dans la sécurité et les tests et maintiendront des attentes réalistes concernant les capacités du système.
Les enjeux sont élevés pour y parvenir. En étudiant ces échecs de projets, nous pourrons, espérons-le, éviter de les répéter à mesure que l’IA devient plus centrale dans nos opérations.
L’avenir de l’IA ne consiste pas seulement à créer des systèmes plus intelligents, il s’agit également d’en créer des plus intelligents. La sagesse vient souvent de la compréhension de l’échec autant que de la célébration du succès.
Que pensez-vous de ces échecs de l’IA ? Partagez vos réflexions dans les commentaires ci-dessous.