議論の焦点は、一つの曖昧な言葉にある
AIの「理解」能力をめぐる議論は、一つの曖昧な言葉にかかっています。10月15日、CentOSおよびRocky Linuxの共同創設者であるGregory Kurtzer氏はTwitterで、LLMは「トークンを吐き出す統計モデルであり、主題を理解しているわけではない」と述べました。これに対しDavid Shapiro氏は、LLMの証明可能な能力こそが「理解」を構成していると反論しました。
Lawrence Berkeley National Laboratoryで長年ハイパフォーマンスコンピューティングソフトウェアを開発してきたKurtzer氏の輝かしい経歴は、この論争の本質的な重要性を裏付けています。核心的な曖昧さは「理解」という言葉そのものにあります。それは個人的で意識的な経験を指すこともあれば、情報を解釈し、説明し、活用する証明可能な能力を指すこともあります。これらの定義は、根本的に異なる問いに対する答えとなっています。
本記事では、観察可能な行動を通じて機能的コンピテンシーを評価する、検証可能なアプローチを採用します。AIモデルの内部状態を推測するのではなく、AIモデルが「何ができるか」を検証します。意識や主観的な経験は、理解の客観的な評価とは切り離された、未解決の別の問題として扱います。
AIをBloomの6段階の学習目標に当てはめる
「理解」を客観的に測定するにはどうすればよいでしょうか？教育者は何十年にもわたってこの問いを洗練させてきました。Bloomの改訂版「Taxonomy（タキソノミー）」は、理解を曖昧な内部状態としてではなく、解釈、要約、推論、比較、説明といった観察可能な行動を通じて定義する6段階の階段を提供しています。その階段は、「記憶する」「理解する」「応用する」から、「分析する」「評価する」「創造する」へと昇っていきます。
AIモデルは現在、これらの段階全体で能力を発揮しています。「記憶する」という点では、Humanity’s Last Exam（2,500問のベンチマーク）に取り組むフロンティアモデルは、独立したテストにおいて10%未満から約61%へと向上しました。「理解する」という点では、AIの指導を受けたHarvardの物理学の学生は、アクティブラーニングのクラスの学生よりも2倍以上多くを学びました。Gregory Kurtzer氏でさえ、LLMが「難しい概念を説明できる」ことは認めています。
階段を上がって「応用する」という点では、Google DeepMindのAIシステムが国際数学オリンピックで42点満点中35点という金メダル相当のスコアを記録し、その解答はオリンピックのコーディネーターによって採点されました。「分析する」という点では、DARPAのAI Cyber Challengeにおいて、AIシステムは仕込まれた63のソフトウェア脆弱性のうち54を発見し、さらに仕込まれていない18の脆弱性も発見しました。
より高い段階でも進歩が見られます。「評価する」という点では、GPT-4の採点は、専門の人間による評価者と80%以上の確率で一致しました。「創造する」という点では、AI研究システムが新しい数学的アルゴリズムを生成しており、Bloomの最高レベルの定義を満たす能力を示しています。これらのベンチマークは、普遍的あるいは人間と同等の理解ではなく、特定の能力を証明するものです。
なぜ「単にトークンを予測しているだけ」では結論が出ないのか
大規模言語モデル（LLM）を単に「トークンを予測しているだけ」と説明することは、それらが「どのように」動作するかを説明するものであっても、その「能力」を定義するものではありません。メカニズムが機能を本質的に制限するわけではありません。結局のところ、脳もニューロンを発火させているだけですが、深い理解に到達しています。この区別は、AIの真の能力を評価する上で極めて重要です。
「効果的な制御装置は、制御対象のシステムと同等以上の多様性を備えていなければならない」とするAshby’s Law of Requisite Variety（アシュビーの必要多様性の法則）を考えてみましょう。さらにConant–Ashby theorem（コナント・アシュビーの定理）は、「システムの優れた制御装置はすべて、そのシステムのモデルでなければならない」と提唱しています。これは、制御の成功には、明示的か創発的かを問わず、十分に類似した内部モデルの構築が必要であることを意味します。新しい状況や目標に適応するAIエージェントは、しばしばこのような内部モデリングを実証しています。
このような学習済みモデルの証拠は説得力があります。ゲームの動きのみで訓練されたOthelloモデルは、ボードの内部表現を発達させました。この内部イメージを操作することで、モデルのゲームプレイが直接変化したのです。同様に、AIモデルが不慣れな産業用ロボットアームを使って洗濯物を畳むことに成功し、初めて同じ機器を使用した熟練の人間オペレーターと同等のパフォーマンスを発揮しました。これらの例はfunctional modeling（機能的モデリング）の存在を裏付けており、AIが人間のように「思考」していなくても、環境の内部表現を構築していることを示しています。教育的フレームワークの詳細については、Bloom’s Taxonomy - Vanderbilt University Center for Teachingをご覧ください。
この記事が気に入ったら、毎朝同じようなものをメールで受け取れます。
1日1通 · 2クリックで解除 · サードパーティのトラッキングなし
意識は切り離し、説明責任は近くに
外部の行動から内面的な経験を推測することは、Chinese Room（中国語の部屋）の思考実験に代表される古典的な哲学的課題です。しかし、機能テストは意識という形而上学的な問題を解決せずとも、有用な能力を確立します。私たちは、システムが何を感じているかを知らなくても、システムが「何をするか」を評価できるのです。
主観的な自信もまた、信頼できない基準であることが証明されています。人々は慣れ親しんだメカニズムに対する自分の理解を過大評価することが多く、それがエラーにつながります。同様に、AIシステムも自信満々に誤った回答を生成することがあり、内部的な確信が客観的な正確さと同義ではないことを示しています。
AIの理解力は印象的ではあるものの、特定の文脈では依然として不安定で脆いものです。この機能的な能力は、意識の証拠ではありません。AIの能力がどのように進化しようとも、人間と組織は、自らが展開するシステム、それらが情報提供する意思決定、および結果として生じるいかなる損害に対しても、完全な責任を負い続けます。
よくある質問
AIは実際に何かを理解していますか？
定義によります。説明する、適用する、分析するといった観測可能な尺度で見れば、AIは機能的な理解を示すことができますが、そのパフォーマンスにはムラがあります。
機能的な理解は、AIが意識を持っていることを意味しますか？
いいえ。有用な能力を実証したからといって、システムが主観的な経験や意識を持っているとは断定できません。
Bloom’s TaxonomyはAIの評価にどのように役立ちますか？
記憶や説明から評価や創造に至るまで、パフォーマンスを評価するために使用できる観測可能な認知的タスクを提供します。
なぜAshby’s LawはAIの議論において重要なのでしょうか？
それは、効果的な制御装置には制御対象システムのモデルが必要であることを示唆しており、適応の成功と予測モデリングを結びつけているからです。