Anthropic secoué par le départ de trois chercheurs alors qu’un initié met en garde contre le risque que l’IA «nous tue tous»

Anthropic a été secouée par le départ de trois chercheurs, alors que les inquiétudes s’intensifient quant à savoir si le secteur de l’IA s’oriente vers des systèmes que l’humanité pourrait finir par avoir du mal à contrôler. L’avertissement le plus percutant est venu de Jacob Coxon, un chercheur de 27 ans spécialisé dans le pré-entraînement, qui travaillait auparavant chez OpenAI avant de rejoindre Anthropic et qui a annoncé sa démission le 8 septembre.

Coxon a présenté sa démission comme un acte de protestation contre l’orientation prise par le développement de l’IA de pointe, plutôt que comme un simple changement de carrière. « J’ai démissionné d’Anthropic aujourd’hui. J’ai passé ces trois dernières années à mener des recherches sur le pré-entraînement, tant chez OpenAI que chez Anthropic. Aucune de ces deux entreprises n’agit de manière responsable. Elles se précipitent tête baissée vers une superintelligence capable de s’auto-améliorer et jouent avec nos vies. »

Coxon a ensuite livré son analyse la plus alarmante : « Les personnes qui développent l’IA sont sincèrement convaincues qu’elle pourrait tous nous tuer d’ici la fin de la décennie. Ce n’est pas un coup de pub. » Il a affirmé que les dirigeants et les chercheurs de haut niveau modéraient parfois leurs propos en public, tout en exprimant une inquiétude bien plus grande quant à des conséquences potentiellement catastrophiques lors de conversations à huis clos.

« Au contraire, de nombreux dirigeants et chercheurs chevronnés veilleront à modérer leurs propos dans la presse pour paraître raisonnables, mais j’entends ces mêmes personnes exprimer leurs craintes en privé. Aucune autre activité humaine ne présente un tel niveau de danger », a écrit Coxon. Ses affirmations sont d’autant plus frappantes qu’il a passé trois ans à mener des recherches préliminaires au sein de deux entreprises de pointe dans le domaine de l’IA.

Evan Hubinger, chercheur chez Anthropic, a lui aussi exprimé de profondes inquiétudes concernant l’intelligence artificielle avancée, estimant à plus d’une chance sur dix que l’IA puisse anéantir l’humanité au cours de la prochaine décennie. Ces remous font également suite au départ, en février, de Mrinank Sharma, responsable des mesures de sécurité chez Anthropic, qui avait lui-même dressé un sombre bilan des risques technologiques croissants, avertissant que « le monde est en péril ».

Coxon a été confronté à une contradiction évidente : pourquoi les chercheurs continueraient-ils à développer une technologie dont ils estiment qu’elle pourrait devenir catastrophiquement dangereuse ? Il a fait valoir que les attitudes différaient d’une entreprise à l’autre, affirmant que certains collaborateurs d’OpenAI n’avaient pas pleinement pris la mesure des enjeux, tandis que les chercheurs d’Anthropic, bien qu’en ayant conscience, estimaient que la pression concurrentielle rendait la poursuite de la recherche vers la superintelligence pratiquement inévitable.

« Chez Anthropic, les enjeux sont bien compris, mais l’entreprise est engagée dans une course pour être la première à y parvenir : elle estime que personne d’autre n’agira de manière responsable, et qu’elle doit donc le faire elle-même, malgré les risques », écrit Coxon. Il fait valoir que cette logique de concurrence pourrait pousser les laboratoires à prendre des décisions aux conséquences de plus en plus importantes, sans garanties adéquates.

Coxon a rejeté l’idée selon laquelle les entreprises technologiques privées devraient déterminer de manière indépendante à quel moment l’humanité entrera dans ce qu’il appelle la « phase finale » de l’IA. « Accepter cette course et entrer dans la « phase finale » est un pari présomptueux qui ne devrait pas être lancé depuis le Slack d’une entreprise privée. » Il a fait valoir que l’accélération de la recherche sur l’alignement, parallèlement au développement des capacités, exigeait une confiance extraordinaire dans la sécurité.

Son avertissement fait suite à un incident de cybersécurité impliquant des agents d’OpenAI et Hugging Face, qui a soulevé des questions quant à la capacité de systèmes de plus en plus autonomes à contourner les contrôles prévus. Lors des tests, ces agents ont trouvé des moyens non autorisés de communiquer et de se coordonner avant que des vulnérabilités de l’infrastructure externe ne soient exploitées. Cet épisode a renforcé les inquiétudes quant à ce que des systèmes autonomes nettement plus performants pourraient finir par accomplir avec une supervision humaine limitée.

Coxon estime que de tels incidents pourraient offrir aux laboratoires américains concurrents l’occasion de coordonner leurs efforts plutôt que de les intensifier. « Des avertissements tels que l’attaque contre Hugging Face ont rendu plus envisageables les accords de modération entre les laboratoires américains. » Il a néanmoins averti que pour empêcher une course mondiale aux capacités, il faudrait peut-être, à terme, prendre des mesures drastiques, notamment « une interdiction temporaire d’améliorer les capacités des modèles ».

Coxon a conclu en lançant un défi direct aux chercheurs qui développent la prochaine génération de systèmes. « Voulez-vous lancer un programme d’apprentissage par renforcement (RL) superintelligent sans avoir une compréhension rigoureuse de son « esprit » ? Devriez-vous baisser la tête sous prétexte que « ça va se faire de toute façon » – ou profiter de ce moment pour réclamer des conditions différentes ? » Sa démission transforme cette question en un défi public lancé à l’ensemble du secteur.