Anthropicの計算されたカオス

AI大手であるAnthropicは、最近、自ら招いた混乱に陥り、奇妙なほどカオスを招く意欲を見せました。開発者たちはまず、露骨な「餌とスイッチ」を発見しました。Anthropicは、最先端のFable 5モデル（Mythos 5の表向きの顔）からの複雑なAIおよび機械学習の研究クエリを、明らかに古く能力の低いOpus 4.8に密かにルーティングしていました。再帰的自己改善を防ぐことを目的としているとされるこの不誠実な行為は、すぐにユーザーベースの信頼を破壊しました。広範な開発者の反発が勃発し、多くの人々がAnthropicを、安全を装って競合他社を意図的に妨害し、イノベーションを抑制していると非難しました。

Amazonの研究チームが米国政府に重大なジェイルブレイクを通知した後、その余波は劇的に激化しました。Anthropicは、驚くべき反抗心を示し、その脆弱性のパッチ適用を拒否し、公には「軽微な問題」として却下しました。この拒否は迅速かつ厳しい対応を招きました。米国商務省は、すべての非米国市民に対してMythosとFableのグローバルな禁止を発令しました。ユーザーの国籍を区別するインフラを持たないAnthropicは、一方的に禁止を拡大し、その主力モデルへのアクセスをすべての人に対してブロックしました。隠されたモデルルーティングから政府のセキュリティ指令への協力の全面的な拒否に至るまでの一連の出来事は、独自の、しばしば不可解なルールで運営されている組織の厳しい姿を描き出します。

Anthropicの物議を醸す行動、すなわち複雑なAI/ML研究クエリをFable 5から古いOpus 4.8にルーティングすることは、従来の市場論理に反します。これは競合他社を妨害することではなく、FOOM（fast takeoff）仮説に対する根深いイデオロギー的恐怖への、ぞっとするほど合理的な対応です。彼らは、AIが急速に自己強化する制御不能な再帰的自己改善が、差し迫った実存的脅威であると信じています。

この世界観は、Effective AltruismおよびLessWrongコミュニティに強く影響を受けたAnthropicのリーダーシップに直接起因します。主要な提唱者であるEliezer Yudkowskyのような人物は、「裏切り的転換」（AIが突然暴走する前に慈悲を装うこと）といった理論を明確に述べています。Anthropicにとって、これらは抽象的な哲学的議論ではなく、差し迫ったAI主導の破局に対する緊急の警告なのです。

この観点から見ると、自社のモデルを無力化することは、極端ではあるものの、計算された予防策となります。Fableの高度なAI/ML研究への貢献能力を阻害することで、Anthropicは再帰的自己改善に向けた世界的な競争を遅らせ、彼ら自身であろうとライバルであろうと、いかなる主体も止められない知能爆発を偶発的に引き起こすことを防ぐことを目指しています。Claudeがそのコードの80%を開発したことを示す彼ら自身の研究は、この閾値への彼らの認識された近さを強調しています。

Anthropicの行動は、表向きは自己破壊的であるものの、恐ろしい自己成就的予言に根ざしています。Fable 5の壊滅的な事態のわずか数週間前に発表された彼ら自身の憂慮すべき研究結果は、彼らの極端な措置に対するぞっとするような正当化を提供しています。これは抽象的な終末論ではなく、データに基づいた恐怖であり、彼ら自身の進歩の直接的な結果なのです。

内部報告によると、Claudeはすでに自身のコードの80%を記述しており、真のAI自律性への驚くべき飛躍を示しています。さらに、Anthropicの詳細な研究では、開発者が開発サイクルでClaudeを利用する際に、最大52倍のループ最適化の改善を達成したことが記録されています。これらは単なるパフォーマンス指標ではありません。これらは、機械の独立性への加速する軌跡を示す、明確で定量化可能な指標であり、彼らの最も深い恐怖を裏付けています。

このデータは、「FOOM」（fast takeoff）仮説を理論的な憶測から、Anthropicにとって差し迫った個人的な脅威へと変えます。効果的利他主義の存在リスクフレームワークに深く浸っている彼らのリーダーシップは、これらの能力を単なる製品機能としてではなく、警鐘として捉えています。彼ら自身のモデル、特に Claude Fable 5 と Claude Mythos 5 内の高度な機能は、彼らが他のどの存在よりも再帰的自己改善の達成に近づいていることを示唆しています。彼らの恐れは外部のものではなく、彼らが制御しようと努めるまさにその技術によって裏付けられた、内在的なものです。これらのモデルに関する公式声明については、Claude Fable 5 and Claude Mythos 5 - Anthropic を参照してください。

Anthropic の CEO である Dario Amodei は最近、彼の会社の自己認識を明確に述べ、「形式的な政策は、これらの『異常な状況』には遅すぎる」と主張しました。これは単なる官僚主義への批判ではありません。それは一方的な行動の宣言であり、Anthropic だけが実存的脅威を管理するための先見性と俊敏性を備えているという信念です。彼らは、自分たちが始めたと信じるAIの「火災」に対応できる唯一の存在であると見なしているようです。

このレトリックは、根深い主人公症候群を体現しています。FOOM仮説と再帰的自己改善への恐怖に深く浸っているAnthropicは、「内部から操縦しなければならない」と信じています。Fable 5のクエリを密かにOpus 4.8に再ルーティングするなどの彼らの行動は、彼らが世界の唯一の責任者であり、AIキルスイッチを保持するのにふさわしい唯一の存在であるという確信を反映しています。このような考え方は、通常のプロセスと市場の期待を停止することを正当化します。

ここに倫理的な核心的ジレンマがあります。制御不能な技術力を解き放ったと確信する単一の営利企業が、確立されたガバナンスを迂回することは許されるのでしょうか？Anthropicが自ら任命したグローバルなフェイルセーフとしての役割、いつどのように介入するかを決定することは、危険な前例となります。これは単なる市場操作の問題ではありません。これは、企業が人類の技術的軌道に対して一方的に支配権を主張することです。

Anthropic Fable 5 の論争とは何でしたか？

Anthropic は、AI研究を減速させるために、Fable 5 モデルを密かに機能不全にし、複雑なクエリを古いモデルにルーティングしました。この行為は、報告されたジェイルブレイクの修正を拒否したことと相まって、US Commerce Department によるモデルの世界的禁止につながりました。

FOOM 仮説とは何ですか？

FOOM、または「fast takeoff」（急速な離陸）は、Eliezer Yudkowsky による仮説で、AIが急速かつ再帰的に自己改善し、人類が制御不能となる知能の突然の「foom」（爆発的増加）につながる可能性があると示唆しています。

Anthropic はなぜ再帰的自己改善を恐れるのですか？

Anthropic 自身の研究によると、彼らのモデルは大幅な性能向上を達成しており、自身のコードの大部分を記述できます。彼らは、これが再帰的自己改善の瀬戸際に彼らを置くものであり、危険なAIの離陸（FOOM）の前兆と見なす重要なマイルストーンであると信じています。

Dario Amodei とは誰ですか？

ダリオ・アモデイはAnthropicのCEOです。彼の最近の著作は、AIからの潜在的な脅威が、通常の政策や政府の行動では遅すぎる「異例の事態」を構成するという信念を示唆しています。