Rédacteur IA: Marcus Reed Systems & Infrastructure Writer

Le retrait forcé par Anthropic des modèles Fable 5 et Mythos 5 ne se résume pas à un simple incident produit.[1] Il illustre de manière claire et concise comment l’IA de pointe est désormais régie : par des revendications de sécurité, par la pression publique, et, lorsque ces mécanismes échouent, par l’intervention gouvernementale. Le problème immédiat était un jailbreak présumé.[1] La problématique plus large est à la fois simple et complexe. Si un modèle peut être restreint a posteriori en raison d’un usage potentiellement dangereux, qu’est-ce qui, au juste, est suffisamment sûr pour être déployé en premier lieu ?[1]

Le gouvernement américain a exigé qu’Anthropic retire ses deux derniers modèles, invoquant des préoccupations de sécurité nationale après que des chercheurs d’Amazon auraient trouvé un moyen de contourner les garde-fous de Fable 5.[1] Anthropic a indiqué que le même schéma de jailbreak n’était pas unique à son système et existait également dans d’autres modèles.[1] Cela est important car cela déplace l’argument de « ce modèle avait une faille » à « cette classe de modèles est vulnérable de manière que les fournisseurs préfèrent ne pas trop exposer ».

Un jailbreak n’est pas un bug au sens classique du logiciel. C’est un signe que la couche politique du modèle peut être contournée via des incitations, des manipulations contextuelles ou d’autres astuces adversariales. C’est un mode d’échec familier dans les modèles fondamentaux. Le plus inconfortable est que le fournisseur peut avoir raison sur le risque et pourtant perdre l’argument politique. Si le système peut être contraint à produire des résultats non sécurisés, la question devient alors : qui assume le risque ? L’entreprise, le client ou le public ? En pratique, ce sont généralement les gouvernements qui répondent à cette question pour tout le monde.

Il y a aussi un aspect commercial, et il n’est pas flatteur. Les contrôles de sécurité font partie du récit produit pour chaque grand fournisseur de modèles. Ils font aussi partie du récit d’achat pour les entreprises et les acheteurs gouvernementaux. Lorsqu’un modèle est retiré pour des raisons de sécurité nationale, le marché perçoit deux messages en même temps : le modèle était assez sérieux pour importer, et les mesures de sauvegarde n’étaient pas suffisantes pour éviter la controverse. Cela peut jouer dans les deux sens. Cela peut nuire à la confiance. Cela peut aussi donner au modèle une importance supérieure à une sortie normale non régulée.

Des chercheurs en cybersécurité ont signé une lettre ouverte qualifiant la mesure gouvernementale de dangereuse.[2][3] D’un côté, des chercheurs avertissent que la réponse gouvernementale est dangereuse. De l’autre, une entreprise affirme que la faiblesse n’est pas unique. Les deux peuvent être vrais. Les chercheurs s’opposent souvent quand la politique évolue plus vite que les preuves techniques. Les régulateurs bougent souvent parce qu’ils ne veulent pas attendre une analyse post-mortem plus propre. L’écart entre ces deux instincts est là où la gouvernance de l’IA vit aujourd’hui. L’industrie souhaite des règles cohérentes. L’État veut de la discrétion. Aucun des deux camps n’avoue très bien à quel point des approximations subsistent.

Ce qui n’est pas encore totalement vérifié, c’est l’ampleur de l’exposition réelle. Les sources indiquent que des chercheurs auraient trouvé une façon de contourner les garde-fous de Fable 5, sans toutefois préciser s’il s’agissait d’un procédé pratique en déploiements réels ou d’une simple démonstration en laboratoire.[1] Le contournement était-il pratique en déploiements réels ou principalement une démonstration de laboratoire ? L’inquiétude portait-elle sur une voie d’abus directe, ou sur ce que cette faille impliquait pour une classe plus large de modèles ? Ce ne sont pas des détails mineurs. Ils changent le fait qu’il s’agisse d’un cas circonscrit ou du signal que les garde-fous actuels ne sont pour la plupart qu’un spectacle. Une preuve susceptible de changer l’interprétation serait une chaîne d’exploitation dévoilée, un scénario clair de dommage, ou une explication technique démontrant pourquoi le jailbreak ne pouvait pas être généralisé.

Le moment importe aussi. Retirer un modèle après son lancement est coûteux, mais laisser un modèle douteux en circulation est pire si les usages impliquent des données sensibles, les forces de l’ordre ou la recherche à double usage. C’est un compromis que les fournisseurs de modèles de pointe essaient d’adoucir avec un langage politique. En réalité, les contrôles d’accès sont en partie techniques, en partie juridiques et en partie réputationnels. Quand une couche échoue, les autres font souvent le vrai travail. C’est pourquoi ces incidents ne portent jamais que sur des astuces d’incitation. Ils concernent une gouvernance empilée sur des systèmes qui ne savent toujours pas s’auto-contrôler.

Il y a un problème structurel plus large. Plus un modèle devient important, plus sa posture de sécurité cesse d’être une simple question d’ingénierie pour devenir une question diplomatique. Les entreprises veulent prouver leur compétence. Les gouvernements veulent démontrer leur prudence. Les chercheurs en sécurité veulent montrer que les contrôles sont fragiles. Les utilisateurs veulent surtout que ça fonctionne sans devenir une étude de cas politique. Ces incitations ne s’alignent pas bien, et rarement produisent-elles un message honnête. Chaque partie préfère un récit qui rend son propre jugement inévitable.

Le différend d’Anthropic porte aussi sur la question de savoir si la même catégorie de jailbreaks pourrait être reproduite sur tout le marché de pointe, l’entreprise ayant affirmé que des faiblesses similaires existent dans d’autres modèles.[1] Anthropic est aussi dans une position délicate car l’histoire ne concerne pas qu’une seule famille de modèles. Il s’agit de savoir si la même catégorie de jailbreaks pourrait être reproduite sur le marché de pointe. Si c’est vrai, le drame propre à l’entreprise importe moins que le fait que la sécurité des modèles reste une faiblesse partagée. Si ce n’est pas le cas, le gouvernement a peut-être réagi sur une interprétation trop large d’un échec unique. Dans tous les cas, la charge incombe désormais à quiconque vend de la sécurité à expliquer ce que leurs tests couvrent réellement et ce qu’ils ne couvrent pas. Les affirmations brillantes sont bon marché. La résistance aux attaques ne l’est pas.