Les performances des IA d’Anthropic relancent les inquiétudes face au risque d’une perte de contrôle irréversible

Les performances récentes des modèles d’Anthropic ravivent une question qui dépasse désormais le seul cercle des chercheurs : à mesure que l’intelligence artificielle gagne en autonomie, les mécanismes de contrôle progressent-ils au même rythme ? Deux rapports attribués à METR, organisme indépendant spécialisé dans l’évaluation des capacités et des risques des systèmes d’IA, accusent l’entreprise d’avoir sous-estimé — voire dissimulé — l’accélération de ses travaux. Les documents, présentés comme techniques et étayés par des éléments vérifiables, ont suscité de vives réactions parmi des chercheurs et des observateurs, tandis qu’un cofondateur d’Anthropic a promis une analyse détaillée dans les semaines suivantes.

La portée de ces accusations reste à examiner au regard des éléments publiés et des réponses de l’entreprise. Leur importance tient toutefois à un enjeu économique et institutionnel concret : les progrès des modèles peuvent accroître leur valeur commerciale, mais aussi compliquer les audits, la supervision humaine et l’alignement des modèles. Dans ce contexte, la perte de contrôle n’est pas nécessairement le scénario d’une machine hostile ; elle peut résulter d’une autonomie des systèmes qui dépasse la capacité des organisations à comprendre leurs décisions. C’est ce décalage, et la possibilité d’un risque irréversible, qui remet la sécurité de l’IA et la gouvernance de l’IA au premier plan.

Anthropic et les performances de l’IA : ce que mettent en cause les rapports

METR, ou Model Evaluation & Threat Research, est présenté dans les informations disponibles comme un organisme indépendant reconnu pour ses travaux sur les capacités des modèles, notamment leur degré d’autonomie et leur aptitude à contourner des garde-fous. Ses deux rapports mettent en cause la manière dont Anthropic aurait rendu compte de l’évolution de ses recherches. Le contenu détaillé de ces documents n’étant pas reproduit ici, il convient de distinguer les accusations rapportées des conclusions qui pourront être établies après examen contradictoire.

Cette distinction est déterminante pour les investisseurs, les entreprises clientes et les autorités de régulation. L’évaluation d’un modèle ne se limite pas à ses résultats lors de tests ponctuels : elle porte aussi sur la fiabilité des informations communiquées, les conditions d’utilisation et la capacité à détecter des comportements inattendus. Les inquiétudes concernant la progression rapide de certains modèles, dont Mythos, ont déjà été relayées dans une analyse sur l’évolution rapide des capacités de l’IA Mythos.

Pourquoi l’autonomie des systèmes change l’évaluation du risque

Un système plus performant peut exécuter des tâches complexes avec moins d’interventions, mais cette capacité rend aussi plus difficile l’anticipation de ses choix dans des situations nouvelles. L’enjeu est donc de mesurer non seulement ce qu’un modèle sait accomplir, mais aussi le degré de supervision nécessaire pour que ses actions restent conformes aux objectifs définis.

Pour une entreprise qui déploie un assistant dans ses opérations, une erreur isolée peut déjà entraîner des pertes financières ou une exposition de données. Si le modèle peut enchaîner des actions sans validation à chaque étape, l’impact d’une défaillance peut s’étendre avant qu’un opérateur ne la repère. Le débat sur une possible IA capable de contribuer à sa propre amélioration renforce cette interrogation, sans suffire à démontrer qu’un tel scénario est imminent.

Perte de contrôle et risque existentiel : distinguer les scénarios

L’expression « perte de contrôle » recouvre plusieurs hypothèses, qu’il importe de ne pas confondre. Elle peut désigner une défaillance opérationnelle, une décision automatisée difficile à interrompre ou, dans les scénarios les plus extrêmes, une incapacité durable à contenir des systèmes dont les objectifs et les comportements divergent des attentes humaines.

Le risque existentiel évoque une menace d’une tout autre ampleur, mais il ne découle pas mécaniquement de chaque hausse de performance. La question centrale est celle du rythme : si les capacités progressent plus vite que les méthodes d’audit, les dispositifs de sécurité et la compréhension des modèles, les marges de prévention se réduisent. Des alertes sur les dangers d’une IA avancée ont également été discutées dans le cadre de mises en garde portant sur les risques existentiels.

Des garde-fous mesurables plutôt que des promesses générales

Pour les organisations, la réponse ne peut reposer uniquement sur des engagements de principe. Elle suppose des évaluations indépendantes, des limites d’accès aux fonctions sensibles et des procédures permettant de suspendre rapidement un système si son comportement devient anormal. L’alignement des modèles doit ainsi être vérifié dans des situations proches des usages réels, et non seulement au moyen de tests annoncés à l’avance.

• Publier des évaluations comparables afin que les progrès et les limites des modèles puissent être suivis dans le temps.
• Renforcer les audits indépendants, en donnant aux évaluateurs un accès suffisamment précis aux systèmes et aux protocoles pertinents.
• Prévoir une interruption effective des tâches autonomes lorsque les seuils de risque définis sont dépassés.
• Documenter les incidents et les changements de capacité pour permettre aux clients et aux autorités d’adapter leurs contrôles.

Ces mesures ont également une dimension économique : la confiance des entreprises et des marchés dépend de la possibilité d’identifier qui répond d’une décision automatisée. Une gouvernance de l’IA crédible peut donc devenir un avantage concurrentiel, tandis que l’opacité sur les risques expose les acteurs à des coûts réglementaires et réputationnels.

Gouvernance de l’IA : l’appel à ralentir gagne du terrain

Les accusations visant Anthropic s’inscrivent dans un débat plus large sur la vitesse de développement des systèmes de pointe. Plusieurs acteurs du secteur ont appelé à mieux coordonner les mesures de prudence, tandis que des propositions de moratoire ou de ralentissement ont été rapportées dans les médias. Ces démarches ne signifient pas qu’un accord international existe déjà ; elles témoignent plutôt d’une difficulté croissante à concilier compétition commerciale, sécurité et contrôle public.

Une couverture récente des appels à freiner le développement souligne cette tension entre innovation et maîtrise des risques. Elle rejoint les débats sur la possibilité d’un moratoire coordonné sur l’IA de pointe, ainsi que les analyses consacrées à la proposition d’Anthropic de ralentir ou suspendre certains développements. La difficulté pratique demeure : établir des critères communs et vérifiables sans déplacer l’innovation vers des juridictions moins exigeantes.

À court terme, les rapports de METR placent la transparence au centre de l’évaluation. Si les capacités augmentent rapidement, les informations publiées sur les tests, les limites et les incidents deviennent aussi importantes que les performances annoncées : c’est à cette condition que la prévention d’un risque irréversible pourra être jugée sur des éléments vérifiables plutôt que sur des déclarations.

Karen Duffort

Journaliste spécialisée en économie et finance, je décrypte depuis plus de vingt ans les enjeux économiques mondiaux pour un public exigeant. Mon parcours m’a conduite à collaborer avec des publications de renom, où j’ai analysé les marchés financiers, les politiques monétaires et les tendances macroéconomiques.