IA : anatomie d’une « Chaîne pour tuer »

Par Democracy Now

« Les armées du monde entier sont engagées dans une “course à l’armement de l’IA” », affirme Heidy Khlaaf, chercheuse en chef spécialisée dans l’IA à l’AI Now Institute, qui vient de publier un rapport conjoint avec Airwars intitulé « Anatomy of an AI Kill Chain ».

« Il s’agit en fait d’une série d’algorithmes d’IA de différents types qui sont enchaînés les uns aux autres, chacun présentant ses propres écueils et ses propres failles », explique-t-elle. « Et ces systèmes s’appuient les uns sur les autres et s’alimentent mutuellement, ce qui aboutit malheureusement à des victimes civiles. »

Cela peut conduire à des ciblages erronés car « les humains ont tendance à simplement accepter les recommandations des algorithmes d’IA sans vérifier ces éléments de preuve », ajoute Mme Khlaaf.

Amy Goodman : Vous écoutez Democracy Now !, democracynow.org, The War and Peace Report. Je suis Amy Goodman, en direct de Londres, aux côtés de Nermeen Shaikh, à New York.

Nermeen Shaikh : Nous allons maintenant nous intéresser à la manière dont l’intelligence artificielle transforme la guerre, des logiciels de ciblage aux drones autonomes. En début d’année, le secrétaire à la Défense Pete Hegseth a pris la parole chez SpaceX, l’entreprise d’Elon Musk :

« En bref, nous remporterons cette course en devenant une force de combat axée sur l’intelligence artificielle dans tous les domaines, des services administratifs du Pentagone jusqu’aux opérations tactiques sur les lignes de front. »

Nermeen Shaikh : Et voici l’amiral Brad Cooper, commandant du CENTCOM, qui s’exprime sur l’utilisation de l’IA par l’armée américaine :

Nos combattants exploitent toute une gamme d’outils d’IA avancés. Ces systèmes nous aident à passer au crible d’énormes quantités de données en quelques secondes, ce qui permet à nos commandants de faire le tri parmi les informations et de prendre des décisions plus éclairées avant même que l’ennemi n’ait le temps de réagir. Ce sont toujours les humains qui prendront la décision finale quant à ce qu’il faut ou ne faut pas tirer, et à quel moment, mais les outils d’IA avancés peuvent réduire à quelques secondes des processus qui prenaient auparavant des heures, voire parfois des jours.

Amy Goodman : Nous accueillons maintenant Heidy Khlaaf, responsable scientifique en intelligence artificielle à l’AI Now Institute. Cet organisme vient de publier un rapport conjoint avec Airwars intitulé « Anatomy of an AI Kill Chain » (Anatomie d’une chaîne de destruction basée sur l’IA).

Heidy, merci beaucoup d’être avec nous. Nous aimerions que vous nous expliquiez ce rapport. Mais je tiens également à vous prévenir : pour un public international non spécialisé, lorsque vous utilisez des termes tels que « IA générative » et « intelligence artificielle générale », pourriez-vous préciser ce que vous entendez par là ? Parlez-nous également de cette « Anatomie d’une chaîne de mort par IA ».

Heidy Khlaaf : Oui, nous souhaitions en effet décortiquer et démystifier bon nombre de ces termes que l’on voit désormais apparaître, comme vous l’avez mentionné : « IA générative », « grands modèles linguistiques », mais aussi, de manière plus générale, l’utilisation de l’IA dans le domaine militaire et ce que cela implique.

Et je pense qu’il est important de rappeler – c’est d’ailleurs ce que nous essayons vraiment de faire passer dans ce rapport – que l’IA est utilisée dans les domaines militaire et de la défense depuis les années 1960. Et lorsque nous parlons d’une nouvelle course aux armements en matière d’IA, cela signifie l’intégration d’outils tels que ChatGPT – un type d’IA connu sous le nom de « grand modèle linguistique » – dans les processus décisionnels liés au ciblage. N’est-ce pas ?

Et ce qu’il faut bien comprendre, c’est qu’il ne s’agit pas simplement d’un seul robot tueur doté d’IA, ce qui correspond souvent à l’idée que les gens se font de l’IA. Il s’agit en réalité d’une série d’algorithmes d’IA de différents types qui sont enchaînés les uns aux autres, chacun présentant ses propres écueils, chacun ayant ses propres défauts.

Chacun d’entre eux présente une fiabilité et une précision très faibles. Et ces systèmes s’appuient les uns sur les autres et s’alimentent mutuellement pour, malheureusement, aboutir à des victimes civiles, comme nous l’avons souvent constaté lors de leur utilisation.

Nous analysons donc chaque étape de la chaîne de tir, en montrant comment chaque algorithme d’IA conduit à des décisions erronées et peut, en fin de compte, aboutir à des décisions ciblant des victimes civiles en raison des défaillances de ces algorithmes.

Nous ne nous concentrons pas uniquement sur les nouveaux types d’IA dont on fait la promotion, comme nous l’avons évoqué, par exemple ChatGPT ou les grands modèles linguistiques. Nous abordons également les types d’IA plus anciens qui continuent d’être utilisés et sur lesquels on continue de s’appuyer, comme les systèmes de vision.

Nermeen Shaikh : Heidy, pourriez-vous nous expliquer la différence entre les systèmes d’aide à la décision et les systèmes d’armes autonomes ? Et concernant les grands modèles linguistiques, vous avez signalé que la Russie et la Chine avaient mené des opérations de propagande visant à fausser les résultats de ces modèles. Qu’est-ce que cela signifie ?

Heidy Khlaaf : En réalité, la différence entre les systèmes d’aide à la décision et les systèmes d’armes autonomes réside dans le fait qu’un être humain intervient dans le processus lors de la sélection d’une cible, essentiellement en vue de la frapper. Un système d’armes autonome signifie que cette opération s’effectue automatiquement, sans intervention humaine.

Et je considère que cette distinction entre les deux est assez superficielle dans la pratique, car, en fin de compte, si un humain se contente d’entériner les décisions de l’IA, n’est-ce pas ? Et nous savons qu’ils agissent ainsi en raison d’un phénomène appelé « biais d’automatisation » dans notre domaine, c’est-à-dire que les humains ont tendance à accepter les recommandations des algorithmes d’IA sans vérifier les preuves qui les sous-tendent.

Pour moi, dans la pratique, cela signifie qu’un humain, sous la pression du temps en situation de guerre ou de conflit, se contente d’approuver les décisions d’une IA. Ainsi, généralement, cette distinction est souvent établie pour affirmer : « Non, l’IA est sûre. Ce n’est pas grave si elle commet des erreurs, car un humain est là pour les corriger. »

Mais sur le terrain, nous observons une réalité très, très différente en vérité.

Nermeen Shaikh : Heidy, pourriez-vous également nous expliquer comment les systèmes d’intelligence artificielle ont été utilisés tant par Israël à Gaza que dans le cadre de la guerre américano-israélienne contre l’Iran, et plus particulièrement lors de l’attaque contre l’école de Minab au cours des premiers jours de la guerre ?

Heidy Khlaaf : Oui, enfin, on sait que les grands modèles linguistiques sont utilisés depuis que, en fait, l’armée israélienne a commencé à s’en servir à Gaza. Un bon exemple en est une enquête de l’AP qui a démontré qu’ils s’en servaient pour traduire des communications interceptées. N’est-ce pas ?

Concrètement, ils prenaient des textes en arabe et déterminaient si certaines personnes devaient ou non être inscrites sur une liste de cibles. Et nous avons constaté, en substance, que, comme les grands modèles linguistiques sont très imprécis et peu fiables, ils traduisaient mal l’arabe. Dans ce cas précis, ils ont pris un terme comme « paiement » et ont pensé qu’il faisait référence à une « charge utile », et ont ajouté des personnes à une liste de cibles.

Dans cet exemple précis, nous savons que cela a été détecté. Mais encore une fois, sous la pression du temps, il y aura souvent des situations où les opérateurs humains ne vont pas vérifier cela à deux fois, d’autant plus qu’il est souvent très difficile de comprendre pourquoi une IA spécifique a pris la décision qu’elle a prise.

Et nous savons désormais que — vous savez, cela a été confirmé par le ministère américain de la Guerre — ils utilisent Claude, via le système Maven de Palantir, pour prendre de la même manière des décisions de ciblage. Et nous avons malheureusement aujourd’hui la tragédie de l’école de Minab, qui a fait 160 victimes civiles, et on ne sait plus très bien si l’IA a été utilisée ou non ; nous savons que Claude est utilisé pour formuler en quelque sorte ces recommandations de ciblage.

Mais en fin de compte, cela n’a pas vraiment été clarifié : était-ce l’IA ? Ou non ? Était-ce délibéré ? Ou non ? Et comment pouvons-nous réellement remonter à la source alors que nous ne pouvons pas vraiment vérifier ou valider si quelque chose relevait d’une recommandation de l’IA ou non ?

De plus, nous rencontrons de grandes difficultés avec les grands modèles linguistiques, en raison de leur ampleur et de leur mode de fonctionnement, pour comprendre pourquoi une IA a pris telle ou telle décision. Était-ce dû à des données erronées ? A-t-elle reçu l’ordre d’agir ainsi ? Était-ce dû à des « hallucinations » ? D’ailleurs, ceux qui ont déjà utilisé ChatGPT savent que ces chatbots ont souvent tendance à inventer des informations.

Et je pense que c’est là où nous en sommes actuellement. Nous ne savons toujours pas exactement quelle en était la cause. Et je dirais même que c’est en quelque sorte la raison d’être même des systèmes d’IA : ils sont souvent utilisés pour dissimuler la responsabilité.

Amy Goodman : Heidy Khlaaf, la société Anthropic a annoncé en début d’année qu’elle allait abandonner son engagement fondamental en matière de sécurité. Vous avez auparavant travaillé dans des entreprises telles qu’OpenAI, où vous avez tenté de les aider à mettre en place leurs premiers cadres de sécurité afin de comprendre comment évaluer leurs systèmes d’IA.

Et aujourd’hui, la responsable de l’éthique d’OpenAI a quitté l’entreprise moins d’un an après son arrivée. Il s’agit de Chloé Bakalar, l’un des nombreux départs très médiatisés survenus chez OpenAI ces dernières semaines, alors que les inquiétudes ne cessaient de croître.

Pourriez-vous nous expliquer en quoi consistent ces cadres éthiques, pourquoi les collaborateurs partent les uns après les autres, et pourquoi c’est uniquement l’entreprise qui détermine la manière dont l’IA est utilisée, et non les autorités de régulation gouvernementales ?

Heidy Khlaaf : Eh bien, je ne peux pas nécessairement m’exprimer sur les raisons pour lesquelles ces personnes en particulier sont parties, mais je peux parler d’après ma propre expérience en tant qu’ingénieure en sécurité, car avant de rejoindre OpenAI, j’ai en effet travaillé dans les domaines de la défense nucléaire et de l’aviation, où je veillais à ce que les systèmes mis en œuvre dans ce que l’on appelle des « situations critiques pour la sécurité » ne causent aucun préjudice.

Et en fin de compte, ce que font ces entreprises, c’est qu’elles réinventent la sécurité. Elles reprennent à leur compte bon nombre des termes que nous utilisons traditionnellement en ingénierie de la sûreté et de la sécurité pour aborder en réalité différents types de sécurité.

Au lieu de se demander : « Nos systèmes sont-ils fiables ? Sont-ils précis ? Fonctionnent-ils comme prévu ? Sont-ils adaptés à leur usage, de sorte qu’aucun être humain ne subisse de préjudice à cause des décisions ou des recommandations qu’ils émettent ? » nous avons plutôt ces cadres de sécurité et d’éthique qui s’interrogent sur le fait de savoir si ces systèmes sont autonomes, s’ils ont une intention, s’ils sont conscients. N’est-ce pas ?

Et c’est une question très, très différente. Souvent, elles peuvent donner l’illusion que ces systèmes le sont, en personnifiant en quelque sorte le langage ou les actions de ces modèles eux-mêmes.

Je veux dire, on a vu récemment, par exemple, les capacités en matière de cybersécurité présentées un peu comme : « Oh, c’est autonome. C’est ce qu’on attendait de ces systèmes. Ils agissent de leur propre chef. » Or, lorsque ces entreprises les ont réellement déployés dans un environnement très peu sécurisé, elles ont délibérément fait en sorte que ces modèles, en quelque sorte, mènent des cyberattaques dans le cadre de tests ou d’évaluations comparatives.

Et c’est donc… c’est la raison pour laquelle cela me pose un énorme problème : encore une fois, elles essaient en réalité de faire porter la responsabilité à l’IA plutôt qu’à elles-mêmes.

En réalité, je considère que l’IA ne fait que ce que nous lui demandons de faire. Elle n’est capable que de ce pour quoi nous l’avons conçue. Et ces entreprises spécialisées dans l’IA se déchargent, encore une fois, de leur responsabilité en essayant d’attribuer une sorte d’autonomie à ces IA ou de les personnifier en agissant ainsi. Et je pense que, vous savez, lorsque l’on déploie ensuite ce genre de modèles dans le cadre d’opérations militaires, il est très, très facile de dire ensuite : « Eh bien, ce n’est pas nous qui avons pris cette décision ; c’était l’IA. »

Et c’est pourquoi je m’insurge vivement contre la manière dont ils abordent désormais l’ingénierie de la sûreté et de la sécurité.

Nermeen Shaikh : Et en effet, comme vous le dites, il est désormais très courant d’entendre parler d’agents d’IA, pour ainsi dire, qui se rebellent. Et hier, un article a rapporté que Taïwan avait été victime d’une cyberattaque particulièrement inhabituelle, assistée par l’IA, qui serait originaire de Chine.

Et selon certaines sources, ce type d’attaque autonome de bout en bout visant une cible gouvernementale n’aurait jamais été observé auparavant. Et le fait le plus remarquable concernant cette cible, comme l’a écrit le Financial Times, est que l’IA classait et redéfinissait en permanence les priorités des plans d’attaque possibles en fonction des preuves disponibles.

Pourriez-vous donc nous dire si, selon vous, dans tous ces cas – ou du moins dans ceux dont nous avons connaissance –, ce sont les créateurs de cette IA qui sont responsables, et non les agents qui se rebellent ? Et que signifierait le fait que ces agents, ces agents d’intelligence artificielle, dépassent le cadre des cyberattaques pour s’introduire dans de véritables théâtres d’opérations militaires ?

Heidy Khlaaf : Eh bien, le fait est qu’on les voit déjà être déployés dans des conflits armés. Et ce qu’il faut retenir à propos de l’IA, c’est qu’il s’agit d’une technologie très puissante. Ce sont des outils très performants, mais leurs capacités dépendent entièrement de ce que nous leur donnons à faire, et ils ne font réellement que ce que nous leur demandons de faire.

Et souvent, il arrive que nous ne soyons pas très précis dans la manière dont nous définissons leurs tâches, n’est-ce pas ? Par exemple, pour les cyberattaques : on leur a donné pour mission d’aller mener des cyberattaques. Vous savez, ils ne le faisaient pas de leur propre chef. Ils ont été conçus ainsi. Ils ont été entraînés ainsi. Et je pense qu’il est très important de garder cela à l’esprit.

Et en temps de guerre, c’est la même chose. On leur fournit essentiellement une grande quantité de données pour qu’ils comprennent comment cibler leurs adversaires. On leur fournit des profils, souvent erronés, pour déterminer qui est un adversaire et qui ne l’est pas. Et au final, le problème, c’est que ces profils reposent sur des paramètres vraiment vagues, n’est-ce pas ?

Ce n’est pas… la façon dont nous les concevons n’est pas toujours précise, ni toujours fiable. Et nous savons que l’IA, en réalité, ne comprend rien au-delà de ce sur quoi elle a été entraînée. Ainsi, dès qu’elle est confrontée à une situation, en particulier en temps de guerre, qu’elle ne reconnaît pas, nous savons pertinemment que l’IA va échouer, formuler une recommandation erronée ou générer des résultats inventés de toutes pièces, n’est-ce pas ?

Je pense donc qu’il est vraiment important de garder à l’esprit que, oui, elles en sont capables. Oui, elles peuvent mener des attaques de cybersécurité. Et elles accélèrent bel et bien les opérations. C’est indéniable. C’est en quelque sorte, vous voyez, l’une de leurs principales caractéristiques.

Mais alors, si vous disposez d’un outil qui accélère les opérations, mais dont la précision et la fiabilité de base se situent entre 30 et 60 %, cela ne diffère pas vraiment d’un ciblage aveugle, n’est-ce pas ? Cela ne signifie pas non plus qu’il s’agit d’une sorte de, disons, robot tueur doté d’une volonté propre.

Tout a été conçu de manière intentionnelle. Et si nous faisons preuve d’imprudence dans la manière dont nous les concevons, cela ne signifie pas que l’IA est en faute.

Je pense que la responsabilité devrait toujours incomber aux concepteurs du système et aux personnes qui choisissent de les déployer, tout en sachant qu’ils présentent des taux de fiabilité et de précision vraiment médiocres, en particulier dans des situations nouvelles, ce qui est en réalité plus susceptible de se produire en temps de guerre que dans le cadre d’attaques de cybersécurité.

Amy Goodman : Heidy Khlaaf, nous tenons à vous remercier de votre présence parmi nous. Vous êtes responsable scientifique en intelligence artificielle à l’institut AI Now. Nous mettons en lien votre rapport publié conjointement avec Airwars, intitulé « Anatomie d’une chaîne de mort par IA ».

Auteur : Democracy Now

* Democracy Now! produit une émission d'information quotidienne, mondiale et indépendante, animée par les journalistes primés Amy Goodman et Juan González.
Les reportages comprennent les dernières actualités et des interviews approfondies avec des personnes en première ligne des problèmes les plus urgents dans le monde.
Sur Democracy Now!, vous entendrez une diversité de voix s'exprimer librement, offrant une perspective unique et parfois provocante sur les événements mondiaux.

13 août 2026 – Democracy Now – Traduction : Chronique de Palestine