Skip to content
industry insights

中国にリードを渡しかねないAI禁止案

超知能AIを阻止しようとする動きが、意外な顔ぶれの連合から支持を集めており、技術的な議論が雇用、権力、統制をめぐる争いへと変わりつつあります。この提案の最大のリスクは細則に潜んでいるかもしれません。その定義が、提案者が止めようとしているシステムをはるかに超えて及ぶ可能性があるためです。

Stork editorial team
中国にリードを渡しかねないAI禁止案

広範な定義と重い罰則を伴う法案

9月23日に、厳しい警告が発せられました。Bernie Sanders上院議員とGreg Casar下院議員がBan Artificial Superintelligence Actを提出したのです。この法案は、米国における超知能AIの開発および展開を全面的に禁止することを提案するとともに、新たな連邦規制当局が規則を策定するまで、高度なAI開発を一時的に停止することを求めています。

提案されている法案は、フロンティアモデルを監視する閣僚級のDepartment of Artificial Intelligence(人工知能省)を設置し、シャットダウン命令を無視するといった危険な能力の除去を監督するものです。罰則は厳しく、個人には最長20年の懲役が科され、企業は「企業の死刑」、すなわち裁判所による強制的な解散のリスクを負います。

超知能の定義は広範で、ほとんどの領域で人間の認知性能を上回る、または人類から力を奪い得るAIとされており、この点が極めて重要です。これほど広い範囲であれば、多くの人がAGIと呼ぶシステムも含まれ得るため、ベンチマークや執行をめぐる論争を招きます。これは周縁的な考えではありません。中間選挙で民主党が下院と上院の両方を制した後、Yassamin Ansari下院議員などは、超知能AIの禁止を最優先事項と表明しました。

RSIへの警告が急速に支持を集めている理由

知能爆発の脅威が、突如として現実味を帯びて支持を集めています。Ban Artificial Superintelligence Actの支持者は、Anthropicの非公開のModel 4に関する最近のMETRの評価を根拠に挙げています。それによると、同モデルは研究サイクルの加速を示し、AI自身の貢献によって開発速度がほぼ2倍になったと報じられています。しかし、これらの主張を裏付ける重要な証拠は黒塗りにされたと報じられており、最も衝撃的な数値を一般の人々が検証できない状態です。

この急速な加速は、再帰的自己改善(RSI)への懸念を強めています。RSIとは、AIシステムがより高性能な後継AIを自律的に開発することと定義されます。重要な点として、RSIは開発のプロセスを指しており、AIの最終的な能力の尺度であるAGI(人間レベルの能力)や超知能(人間の能力を上回るもの)とは異なります。懸念されているのは、AIがより賢くなることだけではなく、どのように賢くなるかです。

安全上の懸念は深刻です。AIが自らの研究をより多く自動化すれば、人間による監督はたちまち意味を失う可能性があります。初期世代のAIにおける誤りや本質的なミスアライメントが指数関数的に累積し、人間のレビューや介入が追いつけない速さで、意図しない結果が連鎖的に生じるおそれがあります。このフィードバックループは重要な安全確認を迂回し、制御の喪失につながる可能性があります。

提案されている法案の共同提案者であるGreg Casar下院議員は最近、「Ban RSI」という2語で高まる世論に呼応しました。AIが後継AIを開発することの禁止を求めるこの呼びかけは、限られた人々の懸念を立法上の中心的な議論へと変える重要な転換点となっています。METRの報告書は黒塗りがあるものの、その火付け役となり、AIの進歩が人間の理解と制御を超える未来を示唆し、即時かつ抜本的な対応を求めています。

異色の連合と、より限定的な歯止めを求める主張

AIの制限を求める声をめぐって、奇妙な連携が生まれています。再帰的自己改善(RSI)への制約を訴える最近の動画では、Bernie Sanders、Glenn Beck、Ralph Naderといった多様な人物が引き合いに出されています。全員が全面禁止を支持しているわけではありませんが、この異色の顔ぶれの連合は、制御されないAIの自律性に対する共通の不安を示しています。立法をめぐる動きの背景については、次の記事をご覧ください:Sen. Bernie Sanders unveils bill to ban artificial superintelligence and create Department of AI。

より限定的な歯止めを支持する最も強い主張は、完全自動化されたAI研究ループを対象とするものです。高度な開発を一律に凍結するのではなく、重要な局面での人間によるレビューの義務化や、AIが次世代のAIを設計することに対する厳格な制限を、支持者は主張しています。このアプローチは、制御されないRSIから生じ得る誤りやミスアライメントの「増幅」を抑えることを目指すものです。

一方で、批判的な立場からは、RSIの脅威は誇張されている可能性がある、あるいは技術的に定義するのが難しいとの指摘があります。Ban Artificial Superintelligence Actにあるような曖昧な能力のしきい値は、恣意的な執行につながり、広範な禁止のもとで通常の研究まで意図せず対象にしてしまう可能性があります。「超知能」や「RSI」の正確な定義は依然として見いだされておらず、広範な禁止は危うい賭けとなります。

この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。

1日1通 · 2クリックで解除 · サードパーティのトラッキングなし

国内の安全性と、国外における戦略的な利害

AIをめぐる国政は、いまや地域の懸念と切り離せなくなっています。有権者は、大きな変化として、AIとデータセンターの影響(エネルギー、水、電力網への負荷、労働者の置き換え)を中間選挙の重要な要因に挙げました。世論調査によると、有権者の56%がこれらの問題を決定的に重要だと考えており、新規データセンターや高度なAI開発のモラトリアムを求める声が高まっています。

この国内の安全性を求める動きは、厳しい地政学的現実と衝突します。米国が単独で一時停止を行えば、たとえ善意に基づくものであっても、技術的リーダーシップと標準策定の主導権をライバル、とりわけ中国に譲るリスクがあります。検証可能な国際的な協調がなければ、国内の禁止は投資やイノベーションを他国へ移すだけに終わり、その戦略的な意図を損なうおそれがあります。

政策上のトレードオフは深刻です。信頼できる監督と明確なしきい値を実現するほうが、広範な禁止よりも持続的である可能性があります。しかし、再帰的自己改善が報告されているAnthropicのModel 4のようなシステムが、規制当局の審査や人間による制御を上回る前に、そうした措置をどう実施するかという難問は残ったままです。

よくある質問

提案されているBan Artificial Superintelligence Act(超知能AI禁止法案)は何を定めるものですか?

提供された資料の記載によると、同法案は、超知能AIの開発および展開を禁止し、連邦規則が整備されるまで高度なAI開発を一時停止し、新たな監督機関となる省を設置するものです。

AIにおける再帰的自己改善とは何ですか?

再帰的自己改善とは、AIシステムが後継システムの研究や構築を支援するプロセスであり、人間の関与が少ない状態で開発が加速する可能性があります。

この提案はすべてのAIを禁止するものですか?

記載されている限りではそうではありません。同提案は超知能を対象とし、特定の高度なAI開発を一時停止するものですが、批判的な立場からは、定義が広範であるため汎用システムも対象に含まれかねないとの指摘があります。

米国のAI一時停止が中国に利する可能性があると批判的な立場の人々が主張するのはなぜですか?

批判的な立場からは、執行力のある国際協定がなければ、米国が一時停止を行っても国内のラボの開発が遅れる一方で、競合国がモデルの開発とグローバルスタンダードの策定を続けることになる、との主張があります。

Found this useful? Share it.

For builders

Want Stork to write one of these about your product?

Send us a URL. We use the product, form a view, and publish what we actually think — in 8 languages, labeled Sponsored, with no copy approval on your side. That last part is what makes it worth quoting.

See how it works$199 · AI tools & software only

ビルダーの方へ

このページは、他社のツールのために働いています。

AIエージェントが読み、購入検討層がたどり着きます。8言語とMCP経由で答えます。あなたのツールにも同じページを — 24時間以内に公開。