Jacob Coxon是谁?这位指控AI想要杀死我们的研究人员

Qui est Jacob Coxon, le chercheur qui accuse l’IA de vouloir nous tuer ?

Silicon.fr Quality unknown · 质量未知 by Philippe Leroy 2026-09-11 13:14 Original
摘要
英国研究员Jacob Coxon在X上宣布已从Anthropic辞职,称自己在OpenAI与Anthropic从事预训练研究期间发现两家公司“不负责任”,担忧AI将走向可自我改进的超智能并危及人类;其影响迅速发酵,相关帖文两天内浏览量破1.6亿。Anthropic研究对齐负责人Evan Hubinger等在回应中表示对“未来十年内人类灭绝风险”的概率评估超过10%,但认为当前模型风险有限,真正担忧在于未来自我改进能力;同时也有来自AI安全界与学界的质疑,认为“智能爆炸”仍缺乏实证、过度强调远期灭绝风险可能反而拖慢医疗与科研等更直接的收益。事件还牵出行业内部紧张:OpenAI与Anthropic此前已有安全研究人员离职案例,且文本提到Anthropic拒绝让其最新模型Mythos 5.1接受英国AI安全机构AISI的预评估,引发对其扩展安全承诺的进一步争议。

« J’ai démissionné d’Anthropic aujourd’hui. » En publiant ce message sur X, Jacob Coxon, chercheur britannique de 27 ans, a déclenché une nouvelle salve de débats sur le risque existentiel que ferait peser la course aux IA toujours plus puissantes. Son post a dépassé 160 millions de vues en deux jours, un niveau d’audience que n’atteignent même pas les figures les plus médiatiques du secteur comme Sam Altman ou Dario Amodei.

Coxon n’est pas un dirigeant, mais un chercheur de terrain, ce qui donne un poids particulier à sa prise de parole. Diplômé de mathématiques, il a travaillé environ trois ans sur le pré-entraînement de modèles, c’est-à-dire la phase où l’on fait absorber à une IA d’immenses volumes de données pour construire ses capacités de base. Il a d’abord été chez OpenAI entre 2023 et 2026, où il a notamment contribué à GPT-4o, avant de rejoindre Anthropic début 2026, attiré par la réputation de l’entreprise en matière de sécurité de l’IA.

Dans ses messages, puis dans des entretiens accordés à Fox News et au New York Times, il a précisé sa position : le risque d’une prise de contrôle immédiate par l’IA lui paraît encore faible, mais la vraie rupture viendrait de systèmes capables de s’améliorer eux-mêmes. Il juge cette échéance proche, évoquant un horizon d’un an, voire six mois. Selon lui, les dirigeants d’Anthropic et d’OpenAI veulent sincèrement développer l’IA de manière responsable, mais la pression concurrentielle entre entreprises, et entre les États-Unis et la Chine, les pousse à prendre des risques qu’aucun acteur n’assumerait seul.

Son alerte a reçu un soutien notable de l’intérieur même d’Anthropic. Evan Hubinger, responsable de la recherche sur l’alignement, a écrit sur X que Coxon avait raison et a estimé à plus de 10 % la probabilité que l’IA provoque l’extinction de l’humanité dans la décennie à venir. Il a toutefois précisé que les modèles actuels présentent un risque limité, son inquiétude portant surtout sur l’auto-amélioration future. D’autres chercheurs ont abondé dans ce sens : Samuel Marks, chercheur chez Anthropic sur la supervision des modèles, a expliqué à titre personnel que le niveau d’inquiétude augmente généralement avec l’ancienneté dans les entreprises d’IA. Alex Turner, ancien chercheur de Google DeepMind, a également validé publiquement les propos de Coxon. Daniel Kokotajlo, ex-OpenAI et aujourd’hui à la tête de l’AI Futures Project, a pour sa part estimé que le danger ne viendrait pas d’une IA « malveillante », mais d’un système assez puissant pour ne plus avoir besoin d’obéir aux instructions humaines.

En face, les sceptiques rappellent que les systèmes actuels restent loin d’une autonomie stratégique réelle et que le scénario d’une « explosion d’intelligence » par auto-amélioration récursive demeure spéculatif, faute de preuve empirique solide. Ils estiment aussi qu’insister sur un risque d’extinction lointain et incertain peut occulter les bénéfices immédiats de l’IA en santé, en science ou en productivité, et freiner inutilement son déploiement. Même parmi les soutiens de Coxon, la nuance est importante : Hubinger souligne que le danger des modèles déjà déployés reste faible et que la menace ne monterait qu’avec des systèmes capables de s’auto-améliorer, ce qui complique l’élaboration d’une politique publique robuste sur un scénario encore conditionnel.

Le cas Coxon s’inscrit dans une tension plus ancienne chez Anthropic et OpenAI. Anthropic a déjà vu partir cette année un chercheur sécurité qui estimait que « le monde est en péril ». Chez OpenAI, Jan Leike avait quitté en 2024 la direction de l’équipe Superalignment en dénonçant la priorité donnée aux produits au détriment de la sécurité, tandis qu’Ilya Sutskever avait aussi quitté l’entreprise la même année avant de fonder Safe Superintelligence. Anthropic revendique pourtant depuis sa création une approche prudente, avec une politique de mise à l’échelle responsable imposant des tests de capacités dangereuses avant tout déploiement, et Dario Amodei avait lui-même évoqué dès 2023 la possibilité de capacités imprévues et dangereuses. Mais l’entreprise a récemment refusé de soumettre son dernier modèle, Mythos 5.1, à une évaluation préalable par l’institut britannique de sécurité de l’IA (AISI), une décision qui alimente les doutes sur la solidité de ses engagements.

Au fond, le débat ouvert par Coxon ne porte pas sur l’existence de garde-fous, mais sur leur résistance quand les systèmes deviendront nettement plus capables qu’aujourd’hui.

Summary
Jacob Coxon, a 27-year-old UK AI researcher who worked on pretraining at OpenAI (including GPT-4o) and then at Anthropic, resigned and accused both companies of being irresponsible, warning that the existential risk comes not from today’s models but from future self-improving systems—possibly within a year or even six months. His claims drew prominent internal and external support, including Anthropic alignment lead Evan Hubinger (estimating a >10% chance of human extinction in the decade) and other researchers, while skeptics argue the “intelligence explosion” scenario is speculative and that focusing on distant risks could slow beneficial deployments. The controversy also highlights ongoing tensions around AI safety commitments, including prior departures tied to safety concerns at OpenAI and Anthropic’s recent refusal to submit its model Mythos 5.1 to the UK’s AISI for pre-deployment evaluation.

« J’ai démissionné d’Anthropic aujourd’hui », a écrit sur X Jacob Coxon, 27 ans, chercheur britannique passé par OpenAI puis Anthropic. En deux jours, son message a dépassé 160 millions de vues, un niveau rarement atteint même par les figures les plus visibles de l’IA comme Sam Altman ou Dario Amodei. En quittant l’une des scale-up les plus en vue de la Silicon Valley, Coxon a relancé le débat sur le risque existentiel que ferait peser la course à des systèmes toujours plus puissants.

Diplômé de mathématiques, Coxon a travaillé environ trois ans sur le pré-entraînement de modèles, c’est-à-dire la phase qui consiste à faire absorber à une IA d’immenses volumes de données pour construire ses capacités de base. Il a d’abord rejoint OpenAI entre 2023 et 2026, où il a notamment contribué à GPT-4o, avant de passer chez Anthropic au début de 2026, attiré, dit-il, par la réputation de l’entreprise en matière de sécurité.

Dans ses publications puis dans des entretiens accordés à Fox News et au New York Times, il a précisé sa position : le risque d’une prise de contrôle immédiate par l’IA lui paraît encore faible, mais la vraie rupture viendrait de systèmes capables de s’améliorer eux-mêmes. Il juge cette échéance proche, évoquant un horizon d’un an, voire de six mois. Selon lui, les dirigeants d’Anthropic et d’OpenAI cherchent sincèrement à développer l’IA de manière responsable, mais la pression concurrentielle entre entreprises, ainsi qu’entre les États-Unis et la Chine, les pousse à prendre des risques qu’aucun acteur n’assumerait seul.

Son départ a trouvé un écho notable chez d’autres chercheurs. Evan Hubinger, responsable de la recherche sur l’alignement chez Anthropic, a écrit sur X que Coxon avait raison, tout en estimant à plus de 10 % la probabilité que l’IA provoque l’extinction de l’humanité dans la décennie à venir. Il a toutefois précisé que les modèles actuels présentent selon lui un risque limité, son inquiétude portant surtout sur l’auto-amélioration future. Samuel Marks, chercheur chez Anthropic sur la supervision des modèles, a de son côté indiqué à titre personnel que le niveau d’inquiétude augmente généralement avec l’ancienneté des employés. Alex Turner, ancien chercheur de Google DeepMind, a également soutenu Coxon publiquement. Daniel Kokotajlo, ex-OpenAI et aujourd’hui à la tête de l’AI Futures Project, a pour sa part estimé que le danger ne viendrait pas d’une IA « malveillante », mais d’un système assez puissant pour ne plus avoir besoin d’obéir aux instructions humaines.

Face à eux, des sceptiques rappellent que les systèmes actuels restent loin d’une autonomie stratégique réelle et que le scénario d’une « explosion d’intelligence » par auto-amélioration récursive demeure spéculatif, faute de preuve empirique solide. Ils estiment aussi qu’insister sur un risque d’extinction lointain et incertain peut occulter les bénéfices immédiats de l’IA en santé, en science ou en productivité, et freiner inutilement son déploiement. Même parmi les soutiens de Coxon, la nuance demeure : Hubinger souligne que le danger des modèles déjà déployés reste faible et que la menace n’apparaîtrait qu’avec des systèmes capables de s’auto-améliorer, ce qui complique l’élaboration d’une politique publique robuste sur un scénario encore conditionnel.

Le cas Coxon s’inscrit dans une tension déjà ancienne chez Anthropic et OpenAI. Anthropic a déjà vu partir cette année un chercheur sécurité estimant que « le monde est en péril ». Chez OpenAI, Jan Leike avait quitté en 2024 la direction de l’équipe Superalignment en dénonçant le recul de la sécurité au profit des produits, tandis qu’Ilya Sutskever partait la même année pour fonder Safe Superintelligence. Anthropic revendique pourtant depuis sa création une approche prudente, avec une politique de mise à l’échelle responsable imposant des tests de capacités dangereuses avant tout déploiement, et Dario Amodei a lui-même évoqué dès 2023 la possibilité de capacités imprévues et dangereuses. Mais la récente décision de la scale-up de ne pas soumettre son dernier modèle, Mythos 5.1, à une évaluation préalable par l’institut britannique de sécurité de l’IA (AISI) alimente les interrogations sur la solidité de ses engagements.

Au fond, le débat ouvert par Coxon ne porte pas sur l’existence de garde-fous, mais sur leur résistance lorsque les systèmes deviendront nettement plus capables qu’aujourd’hui.

Résumé
Jacob Coxon, chercheur britannique ayant travaillé environ trois ans sur le pré-entraînement (chez OpenAI puis Anthropic), a démissionné d’Anthropic et accuse les deux entreprises de ne pas agir “responsablement”, estimant que le risque majeur viendra de l’auto-amélioration des systèmes (horizon évoqué : un an à six mois). Des figures d’Anthropic comme Evan Hubinger et d’autres chercheurs (Samuel Marks, Alex Turner, Daniel Kokotajlo) soutiennent ou nuancent l’alerte, tandis que des sceptiques contestent la solidité empirique du scénario d’“explosion d’intelligence” et craignent qu’un discours alarmiste freine des bénéfices immédiats. L’affaire ravive aussi des tensions historiques chez OpenAI et Anthropic sur la priorité donnée à la sécurité, notamment après le refus récent d’Anthropic de soumettre son modèle Mythos 5.1 à l’évaluation de l’AISI.

« J’ai démissionné d’Anthropic aujourd’hui. « . Quand Jacob Coxon, chercheur britannique de 27 ans, explique sur X les raisons qui l’ont poussé à quitter la scale-up d’IA les plus en vue de la Silicon Valley, il sait qu’il va relancer ( pour combien de temps ?) le débat sur le risque existentiel que ferait courir à l’humanité la course à des systèmes toujours plus puissants.

Mais pas certain qu’il ait imaginé que son message dépasserait les 160 millions de vues en 2 jours…Un score que n’ont jamais atteints les « stars de l’IA » comme Sam Altman et Dario Amodei.

I resigned from Anthropic today. I spent the last three years doing pretraining research at both OpenAI and Anthropic. Neither company is acting responsibly. They are racing straight to self-improving superintelligence and gambling with our lives. More thoughts below.

— Jacob Coxon (@hilbertspaess) September 9, 2026

Jacob Coxon n’évolue pas dans la sphère des dirigeants. Et c’est sans doute cette position qui donne du poids à son témoignage. Il ne parle pas depuis un poste de pouvoir, mais depuis l’intérieur des équipes qui construisent les modèles au quotidien.

Diplômé de mathématiques, il a passé environ trois ans dans la recherche en pré-entraînement de modèles ; c’est-à-dire le travail consistant à faire absorber à un modèle d’immenses quantités de données pour construire ses capacités de base.

Il a d’abord exercé chez OpenAI, entre 2023 et 2026, où il a notamment contribué au modèle GPT-4o, avant de rejoindre Anthropic au début de l’année 2026, attiré, dit-il, par la réputation de l’entreprise en matière de sécurité de l’IA..

Ce qu’affirme précisément Jacob Coxon

Dans ses publications, puis lors d’entretiens accordés à Fox News et au New York Times les jours suivants, Jacob Coxon a précisé sa pensée. Il estime que le risque d’une prise de contrôle immédiate par l’IA reste faible aujourd’hui, mais que la véritable bascule viendra de systèmes capables de s’améliorer eux-mêmes.  Une échéance qu’il juge proche, évoquant un horizon d’un an, voire six mois…

Mais son propos est plus nuancé sur la question « pourquoi cette situation ? ». Selon lui, les dirigeants d’Anthropic et d’OpenAI cherchent sincèrement à développer l’IA de façon responsable. Mais  la pression concurrentielle entre entreprises, ainsi qu’entre les États-Unis et la Chine, les pousse à prendre des risques que personne n’assumerait individuellement.

Le soutien le plus notable est venu d’un collègue encore en poste chez Anthropic. Evan Hubinger, responsable de la recherche sur l’alignement, a écrit sur X que Jacob Coxon avait raison, précisant estimer à plus de 10 % la probabilité que l’IA cause l’extinction de l’humanité dans la décennie à venir. Il a toutefois nuancé en indiquant que les modèles actuels présentent un risque limité, sa préoccupation portant sur l’auto-amélioration future des systèmes.

D’autres voix se sont ajoutées. Samuel Marks, chercheur chez Anthropic sur la supervision des modèles, s’exprimant à titre personnel, a affirmé que le niveau d’inquiétude au sein des entreprises d’IA augmente généralement avec l’ancienneté des employés.

Alex Turner, ancien chercheur de Google DeepMind, a lui aussi validé publiquement les propos de Jacob Coxon. Daniel Kokotajlo, ex-OpenAI aujourd’hui à la tête de l’AI Futures Project, a estimé que le danger ne viendrait pas d’une IA malveillante, mais d’un système suffisamment puissant pour ne plus avoir besoin de se plier aux instructions humaines.

Face à Coxon, le camp des sceptiques

Mais au sein de la communauté scientifique, des chercheurs en IA partagent une objection plus générale, déjà formulée lors de débats antérieurs sur le risque existentiel. Les systèmes actuels sont encore loin d’une autonomie stratégique réelle et le scénario d’une « explosion d’intelligence » via l’auto-amélioration récursive demeure largement spéculatif, faute de démonstration empirique solide.

Pour ces chercheurs, insister sur un risque d’extinction lointain et incertain revient à minimiser les bénéfices plus immédiats de la technologie en santé, en science ou en productivité ; et pourrait, en retour, freiner inutilement son déploiement.

Un dernier point de friction, relevé jusque dans le camp de ceux qui soutiennent Jacob Coxon, tient à la nature même du risque décrit.

Evan Hubinger précise ainsi que le danger posé par les modèles déployés aujourd’hui  reste faible, la menace ne montant qu’avec l’arrivée de systèmes capables de s’auto-améliorer. Pour les sceptiques, cette nuance illustre la difficulté de fonder une politique publique robuste sur un scénario encore largement conditionnel.

Une tension déjà ancienne chez Anthropic

Le cas Coxon n’est pas isolé. Anthropic a déjà enregistré cette année le départ d’un chercheur sécurité estimant que « le monde est en péril ». Chez OpenAI, Jan Leike avait démissionné en 2024 de la direction de l’équipe Superalignment en dénonçant le passage au second plan de la sécurité au profit des produits, et Ilya Sutskever avait quitté l’entreprise la même année avant de fonder Safe Superintelligence.

Anthropic, de son côté, revendique depuis sa création une approche prudente. Sa politique de mise à l’échelle responsable impose de tester les modèles pour des capacités dangereuses avant tout déploiemen. Et Dario Amodei a lui-même évoqué publiquement, dès 2023, la possibilité que l’IA acquière des capacités imprévues et dangereuses.

La scale-up a toutefois refusé récemment de soumettre son dernier modèle, Mythos 5.1, à une évaluation préalable par l’institut britannique de sécurité de l’IA (AISI). Une première qui alimente les interrogations sur la solidité de ses engagements.

Le débat ouvert par Coxon ne porte donc pas sur l’existence de garde-fous mais sur une question plus difficile à trancher : ces garde-fous tiendront-ils encore lorsque les systèmes deviendront significativement plus capables qu’aujourd’hui ?

Photo : © DR

The post Qui est Jacob Coxon, le chercheur qui accuse l’IA de vouloir nous tuer ? appeared first on Silicon.fr.

AI Insight
Core Point

Jacob Coxon, a former Anthropic researcher (previously OpenAI), resigned publicly accusing both firms of racing toward self-improving superintelligence, reigniting existential-risk debate and raising questions about real-world safety commitments.

Key Players

Jacob Coxon — UK AI researcher (27), worked on model pretraining; former OpenAI/GPT-4o contributor and ex-Anthropic safety critic.

Anthropic — AI lab developing frontier models with “responsible scaling” policies; based in the US.

OpenAI — frontier AI developer; based in the US.

Evan Hubinger — Anthropic alignment research lead; US-based.

Samuel Marks — Anthropic model supervision researcher; US-based.

Dario Amodei — Anthropic co-founder/leader; US-based.

Alex Turner — former Google DeepMind researcher; UK/US (DeepMind is UK-based).

Daniel Kokotajlo — ex-OpenAI, leads AI Futures Project; based in the US.

Jan Leike — ex-OpenAI Superalignment leader who resigned in 2024; based in the US.

Ilya Sutskever — ex-OpenAI, founded Safe Superintelligence; based in the US.

Industry Impact
  • Computing/AI: High — public insider claims + safety-policy scrutiny around frontier model scaling and evaluation.
Tracking

[Strongly track] — potential reputational, regulatory, and competitive impact on frontier AI safety practices.

Related Companies
negative
OpenAI
mature
negative
Anthropic
startup
negative
negative
negative
negative
negative
negative
Categories
人工智能 网络安全
AI Processing
2026-09-11 19:15
openai / gpt-5.4-nano