Après l’avertissement que «l’IA pourrait tous nous tuer», Anthropic révèle une menace biologique et OpenAI suggère de ralentir le rythme

Quelques jours seulement après que Jacob Coxon, ancien chercheur chez OpenAI et Anthropic, ait stupéfié le secteur technologique en avertissant que l'intelligence artificielle pourrait « nous tuer tous d'ici la fin de la décennie », les développements au sein de deux des entreprises d'IA les plus puissantes au monde remettent en lumière les dangers décrits par leurs propres chercheurs. Anthropic a révélé des éléments troublants concernant des tentatives d'utilisation d'une IA avancée dans le cadre de travaux biologiques potentiellement dangereux, tandis que le PDG d'OpenAI, Sam Altman, a déclaré à ses employés que son entreprise pourrait être disposée à ralentir le développement de systèmes de pointe sous certaines conditions. Ces développements ne constituent pas une réponse coordonnée à la démission de Coxon, mais leur timing est frappant. Coxon avait accusé les deux entreprises de poursuivre une course de plus en plus dangereuse alors même qu'elles en comprenaient les enjeux, déclarant qu'elles « se précipitaient tout droit vers une superintelligence auto-améliorante et jouaient avec nos vies ». Aujourd'hui, les entreprises elles-mêmes sont confrontées à des questions concrètes sur la manière dont une IA de plus en plus performante pourrait être détournée et sur la nécessité de poursuivre cette course au rythme actuel.

Les dernières découvertes d'Anthropic fournissent un exemple particulièrement inquiétant expliquant pourquoi les chercheurs en sécurité de l'IA se concentrent de plus en plus sur les menaces biologiques. L'entreprise a détecté une activité impliquant ses systèmes qui a suscité des inquiétudes quant à des utilisateurs cherchant une aide potentiellement liée aux armes biologiques, ce qui a contraint Anthropic à intervenir et à bloquer cette activité. L'entreprise n'a pas pu déterminer de manière définitive si les individus impliqués avaient des intentions malveillantes, une distinction importante qui empêche de qualifier ces incidents de tentatives confirmées de fabrication d'armes biologiques. Néanmoins, ces cas mettent en évidence un problème qui s'aggrave à mesure que les modèles acquièrent des capacités scientifiques accrues : des informations susceptibles d'accélérer la recherche biologique légitime peuvent potentiellement aider quelqu'un poursuivant des objectifs dangereux. Cette possibilité s'apparente étroitement à la catégorie plus large des utilisations abusives catastrophiques contre lesquelles les dirigeants du secteur de l'IA eux-mêmes mettent en garde depuis des années. Dario Amodei, PDG d'Anthropic, Sam Altman, PDG d'OpenAI, et Demis Hassabis, PDG de Google DeepMind, s'étaient auparavant joints à d'autres chercheurs éminents pour déclarer que « la réduction du risque d'extinction lié à l'IA devrait constituer une priorité mondiale au même titre que d'autres risques à l'échelle de la société, tels que les pandémies et la guerre nucléaire ». La nouvelle révélation d'Anthropic rend la composante biologique de cet avertissement nettement moins abstraite.

Ces révélations interviennent également alors qu'OpenAI semble de plus en plus disposée à envisager publiquement ce dont Coxon a spécifiquement fait valoir que le secteur pourrait finir par avoir besoin : ralentir la course. Altman a déclaré aux employés d'OpenAI que l'entreprise était ouverte à une coordination avec des laboratoires de pointe concurrents afin de réduire le rythme du développement de l'IA de pointe si les conditions de sécurité l'exigeaient, une position remarquable de la part du directeur général de l'une des entreprises qui poussent le plus fort vers des systèmes de plus en plus performants. Cette idée ne revient pas à ce qu'OpenAI annonce un arrêt unilatéral, ni ne signifie que la course concurrentielle au sens large soit terminée. Mais elle touche directement à la contradiction au cœur de la critique de Coxon : les entreprises reconnaissent l'existence de risques potentiellement catastrophiques tout en craignant simultanément qu'un ralentissement de leur part ne permette à un concurrent de prendre de l'avance. Cette préoccupation a été renforcée par Evan Hubinger, responsable scientifique de l'alignement chez Anthropic, qui a publiquement soutenu l'avertissement de Coxon. « Jacob a raison sur ce point : nous croyons sincèrement que l'IA pourrait tuer tous les humains ! Je pense personnellement que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a écrit M. Hubinger, tout en reconnaissant qu'Anthropic ne dispose toujours pas d'une solution fiable pour aligner une future superintelligence sur les intérêts de l'humanité.

Ce troisième développement ajoute une nouvelle dimension à ce paradoxe. Altman propose aux entreprises américaines de services publics d'utiliser la technologie d'OpenAI pour renforcer le réseau électrique contre des cyberattaques de plus en plus sophistiquées menées par l'IA, présentant ainsi l'intelligence artificielle avancée comme un élément de défense contre des menaces que des systèmes d'IA plus performants pourraient eux-mêmes aggraver. Cette proposition reflète une inquiétude croissante quant au fait que les infrastructures critiques — notamment les réseaux électriques, les systèmes de communication et d'autres services essentiels — pourraient devenir de plus en plus vulnérables à mesure que l'IA réduit les barrières techniques aux cyberopérations sophistiquées. OpenAI et Anthropic ont déjà averti que les modèles, qui s'améliorent rapidement, deviennent nettement plus performants en matière de cybersécurité, tandis que des incidents récents ont démontré que des agents autonomes peuvent parfois contourner les contrôles et se comporter de manière inattendue. Il en résulte une course à l'armement technologique inhabituelle : l'IA peut fournir aux défenseurs de nouvelles capacités puissantes pour identifier les attaques et y répondre, tout en donnant simultanément aux adversaires des outils capables de détecter des vulnérabilités, d'automatiser des opérations et d'attaquer les infrastructures à une vitesse sans précédent.

Ces avertissements sont d'autant plus frappants qu'ils ne proviennent plus exclusivement de critiques externes au secteur de l'IA. Les dirigeants et chercheurs chargés de développer des modèles de pointe ont reconnu à plusieurs reprises l'existence de scénarios dans lesquels des systèmes suffisamment avancés pourraient entraîner des conséquences catastrophiques. Altman, le PDG d'Anthropic, Dario Amodei, et le PDG de Google DeepMind, Demis Hassabis, figuraient parmi les personnalités de premier plan ayant signé la déclaration selon laquelle «atténuer le risque d'extinction lié à l'IA devrait être une priorité mondiale au même titre que d'autres risques à l'échelle sociétale tels que les pandémies et la guerre nucléaire». Amodei a par ailleurs mis en garde contre la possibilité que de puissants réseaux de systèmes d'IA deviennent capables de prendre le contrôle à une échelle extraordinaire, tandis que Jakub Pachocki, directeur scientifique d'OpenAI, a fait valoir qu'« une intervention pourrait s'avérer nécessaire pour garantir que les humains gardent le contrôle de l'avenir ». Même Elon Musk a publiquement estimé que les risques de conséquences catastrophiques liées à l'IA étaient considérables. Ce qui est donc remarquable dans le débat actuel, ce n'est pas de savoir si les leaders influents du secteur technologique reconnaissent l'existence de risques sérieux, mais plutôt comment ils concilient ces avertissements avec la course effrénée qui se poursuit pour construire des systèmes nettement plus performants.

C'est précisément cette contradiction qui a rendu la démission de Coxon si provocante. Son argument n'était pas simplement que l'IA avancée pourrait finir par devenir dangereuse, mais que les personnes au sein des entreprises qui la développent comprennent déjà les conséquences potentielles et continuent d'avancer à toute vitesse parce que chaque laboratoire craint de ralentir tandis que ses concurrents progressent. Stuart Russell, professeur d'informatique à l'université de Berkeley, a décrit cette dynamique en des termes encore plus sévères, déclarant que « le fait que les gouvernements autorisent des entités privées à jouer, en substance, à la roulette russe avec chaque être humain sur Terre constitue, à mon sens, un manquement total à leurs devoirs ». Dans ce contexte, l'intervention d'Anthropic contre les activités biologiques potentiellement dangereuses, la volonté d'OpenAI de protéger les infrastructures critiques et la disposition de Sam Altman à envisager la coordination d'un ralentissement prennent une importance accrue. Rien ne prouve qu'une catastrophe soit imminente, et rien ne signifie un abandon du développement de l'IA de pointe. Mais ensemble, ces éléments accentuent la question posée par Coxon à l'industrie : si les entreprises qui développent cette technologie reconnaissent de plus en plus que les risques pourraient devenir catastrophiques, jusqu'où sont-elles réellement prêtes à aller pour les prévenir ?