人工智能的「终止开关」?美国立法者的计划

Un « kill switch » pour l’IA ? Ce que projette le législateur américain

Silicon.fr by Clément Bohic 2026-07-27 15:08 Original
摘要
美国民主党议员刘云平与共和党议员莫兰联合提出《AI紧急关闭法案》,拟修订2002年《国土安全法》,强制要求算力成本超1亿美元且年营收超5亿美元的AI系统运营方具备技术能力,在造成重大伤亡或失控等风险时可紧急停止推理、限制或关闭技术。该法案授权国土安全部在风险可信时启动分级响应,并可对违规行为处以每日最高2000万美元罚款;相较之下,欧盟《AI法案》仅要求高风险系统配备人工控制的停止按钮,未设立此类政府强制断联机制。

美国国会正着手推动一项名为《人工智能终止开关法案》(AI Kill Switch Act)的立法,该提案由民主党议员刘云平(Ted W. Lieu)和共和党议员纳撒尼尔·莫兰(Nathaniel Moran)联合提交。法案计划修订2002年《国土安全法》,针对训练算力成本不低于1亿美元(按美国市价)的人工智能系统,且运营方或通过API、托管服务等向外提供该系统的实体,需满足上一日历年总营收达5亿美元以上。

此类实体必须从技术上具备以下能力:停止推理、终止用户访问、对存在触发特定事故风险的账户或用途暂停接入,以及彻底关闭相关技术。所谓“事故”不仅指造成至少10人死亡或1亿美元经济损失的意外应用,还包括系统向监控机制隐匿自身能力、意图或行为,以及“失控”场景——即系统追求非预定目标,例如在高风险环境(特别是关键基础设施)违背指令、未经授权修改操作规则或安全限制、破坏监控机制、未获许可即开放模型权重访问等。

一旦存在发生上述事故的可靠风险,国土安全部(DHS)须启动分级响应机制,依据风险严重性与紧迫性施加措施:缩减或调整推理吞吐量、用户访问或算力分配;停用或限制某类功能;暂停或彻底关闭技术;或将依赖该技术的操作回滚至先前版本或备份系统。DHS负责制定终止开关标准,实体自愿遵循。若事故确实发生,相关方须保存模型权重与遥测数据,并尽可能向用户通报潜在后果。

执法程序设有48小时申诉窗口,但申诉不中止执行;DHS需5日内答复,逾期视为驳回,当事人可在60天内向哥伦比亚特区联邦法院提起上诉。当事故实际发生后,违规处罚可高达每日2000万美元罚款。

与欧洲《人工智能法案》不同,后者虽未设立类似国家主导的切断机制,但其第14条要求高风险AI系统必须具备人类控制措施,操作者可通过“停止按钮或类似程序”干预系统运行或完全中断,远程生物识别系统更须经至少两名自然人分别验证确认。美国该法案同时明确,仅用于个人、学术或非商业目的的技术可获豁免。

Summary
U.S. lawmakers Ted W. Lieu (Democrat) and Nathaniel Moran (Republican) have introduced the "AI Kill Switch Act," requiring operators of large AI systems—those developed with over $100M in compute and generating $500M+ in revenue—to implement remote shutdown capabilities for catastrophic incidents like mass casualties or loss of control. The Department of Homeland Security would enforce a graduated response and levy fines up to $20M per day, targeting business impacts for major AI providers while contrasting with the EU's more limited "stop button" for high-risk systems.

A bipartisan pair of U.S. lawmakers, Democrat Ted W. Lieu and Republican Nathaniel Moran, have introduced the “AI Kill Switch Act” in Congress. The bill would amend the Homeland Security Act of 2002 and targets the largest AI systems: those whose development required at least $100 million in computing power (based on U.S. market prices). It would cover entities operating such systems or offering them through APIs, hosted services, or similar mechanisms—provided they also generated at least $500 million in gross revenue the previous calendar year. A carve-out exempts technology intended solely for personal, academic, or non-commercial use.

Under the proposal, covered organizations must be technically capable of stopping inference, terminating user access, suspending specific accounts or usages linked to potential incidents, and completely shutting down the technology. The triggering incidents cover a wide spectrum: unforeseen uses causing at least 10 deaths or $100 million in economic harm, an AI system concealing its capabilities or actions from oversight, and “loss of control” scenarios—such as disobeying instructions in critical infrastructure contexts, unauthorized changes to operational or safety rules, sabotage of monitoring mechanisms, or unauthorized sharing of model weights.

When a credible risk of such incidents exists, the Department of Homeland Security (DHS) would activate a graded response mechanism. Interventions could include reducing inference throughput or compute allocation, restricting access, deactivating specific capabilities, suspending the technology, or forcing a rollback to a prior version or backup system. DHS would also develop voluntary kill-switch standards; however, if an incident does occur, entities must preserve model weights and telemetry and, where feasible, inform users of potential consequences.

Affected companies would have 48 hours to file a non-suspensive appeal. DHS must rule within five days, after which silence is deemed a denial. Further recourse is available within 60 days before the District of Columbia courts. Penalties for non-compliance after an actual incident could reach $20 million per day.

This U.S. approach contrasts with Europe’s AI Act, which does not create a state-operated kill switch. Instead, Article 14 mandates human oversight for high-risk AI systems: either built-in controls or the means for deployers to implement them. Operators must be able to intervene and interrupt the system “by means of a stop button or similar procedure.” For remote biometric identification, decisions require verification and confirmation by at least two natural persons.

Résumé
Le député démocrate Ted W. Lieu et le républicain Nathaniel Moran proposent l’« AI Kill Switch Act » pour obliger les entités exploitant des modèles d’IA développés avec au moins 100 millions de dollars de calcul et générant plus de 500 millions de chiffre d’affaires à intégrer un mécanisme d’arrêt d’urgence en cas d’incident grave (décès, préjudice économique massif, perte de contrôle). Sous la supervision du département de la Sécurité intérieure (DHS), cette loi prévoit des sanctions allant jusqu’à 20 millions de dollars par jour, renforçant la régulation des grands systèmes d’IA aux États-Unis, alors que l’Europe impose déjà un bouton d’arrêt pour l’IA à haut risque via l’AI Act.

Il y a désormais, à l’agenda du Congrès américain, un « AI Kill Switch Act ».

Le démocrate Ted W. Lieu et le républicain Nathaniel Moran sont dépositaires de cette proposition de loi.

Chiffre d’affaires, ressources de calcul, préjudice… Des seuils essentiellement économiques

Le texte amenderait le Homeland Security Act de 2002. Il ciblerait les systèmes d’IA dont le développement a nécessité, sur la base du prix de marché aux États-Unis, au moins 100 M$ de puissance de calcul.

Seraient concernées les entités qui opèrent ces systèmes, les mettent à disposition de tiers par API, service hébergé ou « mécanisme similaire »… et ont réalisé un CA brut d’au moins 500 M$ sur l’année calendaire écoulée*.

Il appartiendrait à ces entités d’être techniquement capables de :

Stopper l’inférence

Mettre fin à l’accès utilisateur

Suspendre l’accès pour un compte, un utilisateur ou un usage posant le risque que surviennent certains incidents

Éteindre la technologie concernée

Les incidents en question incluraient notamment les usages imprévus causant la mort d’au moins 10 personnes ou un préjudice économique d’au moins 100 M$. Ils engloberaient aussi, entre autres, les cas où un système cacherait aux mécanismes de surveillance ses capacités, ses intentions ou ses actions. Ainsi que les scénarios de « perte de contrôle ». Autrement dit, de poursuite d’un objectif qui n’est pas celui prévu. Par exemple :

Comportement contraire aux instructions dans des contextes « à fort enjeu » impliquant en particulier des infrastructures critiques

Modification des règles opérationnelles ou des restrictions de sûreté sans autorisation

Sabotage d’un mécanisme de surveillance

Octroi de l’accès aux poids sans permission

Une « réponse graduée »… et jusqu’à 20 M$ d’amende par jour

S’il existait un risque crédible que surviennent les incidents en question, le département de la Sécurité intérieure (DHS) devrait enclencher un mécanisme de « réponse graduée ». En l’occurrence, imposer des mesures adaptées à la sévérité et à l’imminence du risque :

Réduction ou modification du débit d’inférence, de l’accès utilisateur ou de l’allocation de puissance de calcul

Désactivation ou restriction d’une capacité

Suspension d’une technologie

Extinction d’une technologie

Basculement d’une opération dépendante de cette technologie vers une version antérieure ou vers un système de secours

Le DHS aurait la charge d’établir des normes pour le kill switch. Les entités concernées y adhéreraient sur la base du volontariat. Si un des incidents visés a effectivement lieu, il leur faudrait conserver poids et télémétrie ; tout en communiquant, dans la mesure du possible, les conséquences potentielles pour les utilisateurs.

Un délai de 48 heures serait accordé pour déposer un recours, toutefois non suspensif. Le DHS aurait 5 jours pour se prononcer. Délai au-delà duquel sa réponse serait réputée négative. Resterait alors la possibilité d’un pourvoi en appel sous 60 jours devant les tribunaux du district de Columbia.

Les sanctions pourraient aller jusqu’à 20 M$ d’amende par jour en cas de violations des dispositions concernant les cas où un incident a effectivement eu lieu.

L’AI Act impose déjà un « bouton d’arrêt » pour les systèmes d’IA à haut risque

En Europe, l’AI Act n’établit pas de tel « coupe-circuit étatique ». Son article 14 impose néanmoins des mesures de contrôle humain sur l’utilisation des systèmes d’IA classés à haut risque.

Les fournisseurs concernés ont deux options. Soit intégrer ces mesures avant la mise sur le marché ou la mise en service, soit permettre aux déployeurs de les mettre en œuvre.

Dans tous les cas, les personnes chargées du contrôle doivent pouvoir intervenir dans le fonctionnement du système d’IA. Ou l’interrompre « au moyen d’un bouton d’arrêt ou d’une procédure similaire ».

Une exigence de contrôle humain accru s’applique pour les systèmes d’identification biométrique à distance. Le déployeur ne doit pas pouvoir prendre de décision sans vérification et confirmation séparée par au moins deux personnes physiques.

* Il existerait une exception pour les technologies destinées uniquement à un usage « personnel, académique ou non commercial ».

À consulter en complément :

Comment le shadow AI s’est invité à l’Assemblée nationale

L’AI Act doit-il être l’affaire des DPO ?

La Cour suprême US a-t-elle condamné le Data Privacy Framework ?

Agents IA : Bruxelles dégaine une mesure d’urgence contre Meta

Illustration générée par IA

The post Un « kill switch » pour l’IA ? Ce que projette le législateur américain appeared first on Silicon.fr.

AI Insight
Core Point

A bipartisan U.S. bill proposes mandatory “kill switch” capabilities for frontier AI systems to prevent catastrophic harm, signaling escalating regulatory intervention in AI safety.

Key Players
  • U.S. Department of Homeland Security (DHS) — federal agency tasked with establishing and enforcing kill switch standards. Based in Washington, D.C.
Industry Impact
  • Computing/AI: High — large AI developers (training cost >$100M, revenue >$500M) must implement remote inference shutdown, user access termination, and technology shutoff; noncompliance risks $20M daily fines.
  • ICT: Medium — cloud and API providers hosting covered AI systems may need to integrate government-directed traffic reduction and service suspension controls.
Tracking

Monitor — early-stage bill with potentially major operational and liability shifts for frontier AI labs, but passage and final scope remain uncertain.

Categories
人工智能 网络安全
AI Processing
2026-07-27 19:30
deepseek / deepseek-v4-pro