Scribble at 2026-03-18 20:08:56 Last modified: unmodified
[Gemini による解説] この論文の出発点は、現在のAIモデル、特に大規模言語モデル（large language models）が、人間や動物とは決定的に異なる方法で構築されているという指摘にある。現在のAI開発は、膨大なテキストデータを用いたハイパースケーリング（hyperscaling）に依存しているが、これは既に「データの壁（data wall）」に突き当たりつつあり、収穫逓減の段階に入っている可能性がある。決定的な違いは、現在のAIにおいて「学習」という行為が、実は人間のエンジニアによって「アウトソーシング（outsourced）」されているという事実だ。データの選別や成形、報酬関数の設計、学習の進め方（レシピ）の調整といった、学習の本質的なプロセスは実のところすべて開発者が行っている。その結果、一度デプロイされたモデルは自律的に新しい環境に適応したり、自身の経験から学んだりすることができず、未知の状況（domain mismatch）に直面すると予測不可能な挙動を示すという弱点を抱えている。
実際には LLMs の学習を支えている主力のソースは人間であり、RAG やファインチューニング、それから業界人が夢見る自律的な improvement などではない。そこで著者らは、この限界を打破するために、発達心理学や認知科学から着想を得た新しいフレームワークを提案している。それは、大きく分けて三つのシステムが統合された「A-B-Mアーキテクチャ」だ。まず、システムAは「観察からの学習（learning from observation）」を司る 。これは、乳幼児が世界を受動的に観察することで統計的な分布を抽出したり、次の展開を予測したりする能力に相当し、AIにおける自己教師あり学習（self-supervised learning）に近い役割を担う。次に、システムBは「行動からの学習（learning from active behavior）」を担当する。これは、試行錯誤を通じて環境に介入し、特定の目標を達成するためにアクションを調整する。システムBは現実世界の物理的な制約やフィードバックに直接結びついており、強化学習（reinforcement learning）のような仕組みで最適化される。そして、この二つのシステムを動的に統制するのが、この論文の核心であるシステムM（メタ・コントロール; meta-control）だ 。システムMは、いわばオーケストラの指揮者やコンピュータの「コントロール・プレーン（control plane）」のような役割を果たす。どのデータを学習に使うべきか、いつ観察モードから行動モードに切り替えるべきか、あるいは現在の予測誤差（error）や不確実性（uncertainty）をどのように評価するかといった、従来は人間のエンジニアが行っていた判断を自動化し、自律的な学習を可能にする（ほんとかね？）。
このような複雑なシステムをどうやってゼロから構築するのかという、いわゆる「鶏と卵」の問題（chicken-and-egg problem）に対して、論文では「進化・発達（evo/devo）」という二段階の最適化を提案している。まず、進化的な時間軸（outer loop）において、システムA、B、Mの初期状態やアーキテクチャを規定するメタ・パラメータを最適化する（どうやって？ それが「最適」である保証は？）。これにより、動物が本能的に持つような、学習を加速させるための「初期バイアス」をAIに組み込みます 。その上で、個体としての発達的な時間軸（inner loop）において、モデルは自身のシステムMの導きに従い、環境との相互作用を通じて具体的な知識やスキルを習得していく。このアプローチは、数学的には二段階最適化（bilevel optimization）として定式化され、進化的なカリキュラム（evolutionary curriculum）を通じて、環境の複雑さを徐々に増していくことで、堅牢な知能を育むことを目指している。
こういう自律的学習（autonomous learning）を実現することは、単に効率的なAIを作るだけでなく、人間の知能の起源を解明するという科学的な意義も持っている。これが実現すれば、AIは家庭用ロボットのような不確実な現実環境で自ら学び、適応できるようになるかもしれない。ただし、自律性が高まることで「制御可能性（controllability）」とのトレードオフが生じることや、AIが独自の目的を持ってしまう「アライメント・ハッキング（alignment hacking）」、さらには痛みに似た信号を処理する際の倫理的地位といった、新たな課題も浮上するかもしれない。著者らは、完全に自律的な学習システムの実現にはまだ数十年かかるかもしれないと認めつつも、このA-B-Mアーキテクチャが、現在の固定的なシステムから脱却するための重要な一歩になると確信しているという。
僕は、そもそも AI について、それからロボット工学や VR などについても思うのだけれど、人が使うことを想定している場合には HCI が重要であるから、ヒトを基準に採用することはいい。でも、AI の性能や設計についてヒトを範型やモデルにしなくてはいけないという必然性はない。要するに計算機というものは正確な計算が短時間で実行できればいいのであるから、その内部においてヒトの脳神経細胞と同じ仕組みやネットワークを採用したり理想化する必要はない。したがって、この論文の前半で指摘されていることが事実だとして、その限界を破るために発達心理学などのヒトに関わるプロセスを真似たり実現するというのは、僕には何かそれ自体がすごく窮屈な発想をしているように思えるんだよね。なんで、ヒトなんていう未熟で欠陥だらけの生物種がもつ生体機構を真似たりモデルとして採用することが（ベストでなくとも）ベターだと思えるのか、僕にはいまいち分からない。われわれにとってという人間的な条件を仮定してすら、それを達成するためにヒトという条件を最優先する必要なんてないのだ。