手足は申し分ないのに、空気が読めない。
近ごろのロボットを一文で言うと、こうなります。腕を伸ばし、物をつかみ、廊下を通り抜ける——こうした「動くための基礎体力」は膨大なデータであらかじめ身につけており(事前学習)、かなり上手にこなします。問題はその先です。目の前の光景を見ただけでは「では今、何をすべきか」が決まらないケースが少なくありません。
この「空気を読む」問題が、いま AI 分野の中心課題として浮上しているのには理由があります。大規模言語モデル(LLM)が文章の世界で成功を収めたあと、同じ問いが物理世界へと移ってきたからです。数行の文章を例として見せれば新しいタスクをこなす、あの能力を、身体をもったロボットでもよみがえらせられるのか。
最近出たあるサーベイは、まさにこの「空気を読む」問題に取り組む研究を、文脈が行動へと渡っていく「通り道」をどこに置くかによって4系統に整理しています。すでに配備済みのロボットのニューラルネットはそのままに、実演とインタラクションだけで行動を変える「インコンテキスト学習(ICL, In-Context Learning——モデルを再学習させず、その場で与えられた例を入力として差し込み、行動を変えるやり方)」の研究群です。4系統とは、方策の入力に直接差し込む方式、物体の幾何的な関係へ移す方式、未来を予測する内部モデルを経由する方式、手順ブロックに分解して実行する方式です。この記事は、論文の骨格であるこの分類体系と評価の方法論に沿って歩きます。より詳しい実験結果の比較は、原文を直接ご確認いただくことをお勧めします。
論文が挙げる例は直感的です。部品を梱包するロボットは、どの部品もつかめます。しかし
同じ光景なのに、必要な行動は異なります。運動能力がどれほど優れていても、このすき間はひとりでに埋まりません。論文はこれを「情報ギャップ(information gap)」と呼びます。
従来の解法はファインチューニング(fine-tuning——新しいデータでニューラルネットの重みを調整し直すこと)でした。しかし新しいタスクごとに学習をやり直さねばならず、そうやって入れた知識はその後の学習で書き換わったり忘れられたりしかねません。ICL の発想は逆です。新しい証拠を「学習の対象」ではなく「決める瞬間の入力」として差し込みます。人間でいえば、マニュアルを丸暗記する代わりに、必要なページを開いて手元に置いて仕事をするやり方です。
言葉だけだと似て見えるので、先ほど挙げた「部品梱包」というひとつの作業を、4つの方法がそれぞれどう受け止めるかで最後まで比べてみます。どんな情報を入力として受け取り、行動をどう変え、どこでつまずくのかを、同じ場面で見ていきます。
第一に、文脈条件づけ方策(context-conditioned policies)。 実演やインタラクションといった文脈を、状況を見て次の動作を選ぶ規則(方策)の「入力」に直接差し込む方式です。このとき差し込む文脈の形はひとつではありません——実演映像そのものかもしれませんし、物体のキーポイントや関係グラフへと絞り込んだ表現、過去にうまくいった行動を取り出して貼りつける検索結果、これまでのインタラクション履歴かもしれません。どんな形であれ「たった今受け取った文脈どおりに」部品を順に詰めていきます。だから「見たとおりにやれ」には強い。反面、受け取った文脈になかった新しい部品や、初めて見る配置が飛び出すと、参照する根拠がなくて揺らぎます。
第二に、幾何的実演転移(geometric demonstration transfer)。 同じ実演を見ても、こちらは画像ではなく部品と箱の「3D座標の関係」を抜き出します。「この部品の溝が箱の左壁を向くように」といった関係を抽出するわけです。関係だけを手元に持つので、形が多少違っても適用し直せて、初めて見る形の部品にも同じ規則を使えます。ただし「壊れやすいから一番上に」のように座標関係へ還元されない文脈は取りこぼしやすいです。
第三に、ワールドモデルに基づく制御(world-model-based control)。 「この部品を先に入れたら次の部品の場所がふさがるか」を頭の中でまず回してから動きます。順番がこじれる前に先を見通せるのが強みです。その代わり、この予測モデルが不正確だと、想像の中でだけ成功します。
第四に、スキル・エージェントに基づく実行(skill-/agent-based execution)。 作業を「つかむ → 運ぶ → 入れる」のように手順ブロックへ分解して遂行します。レゴの組立説明書のように段階がくっきりしています。逆に、説明書にない新しい部品が混じると次の枠へ進めません。
まとめると、4つの方法は同じすき間を、それぞれ別の地点で埋めます——方策の入力、幾何的関係、予測モデル、スキルの手順。だから問いはひとつに集まります。その地点が本当に必要な情報を取りこぼさず抱えているか、です。
この記事は性能表を競う実験論文ではなく、サーベイ(複数の研究を集めて整理・比較する文献レビュー)です。だから「何パーセント上がった」といった数値は参照した範囲にありません。代わりに差し出すのは、考えるための枠組みです。
このサーベイが提示する評価フレームワークは、4つの方法のどこにも共通して関わる「対応」と「記憶」という二つの軸を基準にします。
この二つの軸の上で、論文の核心的な貢献が二つ出てきます。
第一に、文脈の活用を可能にする「関係学習」の洞察。 ちょうど会話の前段を見て次の言葉を続けるように、ロボットも先立つ実演やインタラクションをもとに次の行動を定めます。論文は、ロボットで決定的なのがまさにこの「先立つ教え」と「それが変える後の行動」とのつながりだと指摘します。先の4つの方法は結局、このつながりをどこに収めるかの違いだったわけです。
第二に、評価を三つに分けよという規律。 この関係学習がうまくいったかを問うには、三つを切り分けて見る必要がある、というものです。① 文脈に反応するか、② 物体・環境が変わっても保たれるか、③ 積み重なった経験が次を助けるか。これをひとまとめにすると、ロボットが新しいタスクをこなしたとき、それがもともとの幅広い運動能力のおかげなのか、その場で与えた教えを理解したおかげなのかを切り分けられません。すると ICL が本当に働いているのか判断できないのです。
ここで論文のもっとも鋭い指摘が出てきます。目標を達成しても規則は破りうる、というものです。「物を正しい目的地に置いた」が、「取っ手をつかんで運ぶべき」という要求を破った結果かもしれません。だから評価は、意図した結果(effect)だけでなく、指定された順番・接触のしかた(order, contact)まで、実行の全過程で追跡しなければならない、というわけです。結果さえ合えばよいという評価は、まさにこの地点を取りこぼします。
このサーベイが描く絵には、まだ空白が多く残ります。先に見た4つの方法は「配備後のインタラクションで適応したり、教えから要求を推し量ったりする」段階です。論文はその上に、もっと遠い目標を置きます。経験が次の学習をより上手にする「自己改善」、そしてその学習を複数のロボットで分かち持つ段階です。論文はこの二つを、すでに成し遂げた成果ではなく「研究目標(research objective)」、つまり目指す先だとはっきり断っています。
とりわけロボット同士で知識をやり取りすることは厄介です。あるロボットの動作を、別の身体がそのまま複製できないからです。だから、そのやり取りが本当に集団全体の学習を引き上げるのかは、まだ開かれた問いです。
注目すべきは、いまの ICL 研究の最前線が「どの方式が最も優れているか」を決める方向ではない、という点です。むしろ「この作業のすき間は、どんな種類の情報を要求するのか」をまず問い、それに合う通り道を選んだり、複数の通り道を組み合わせたりする方向へ進んでいます。4系統は競い合う正解たちではなく、すき間の種類に合わせて取り出して使う道具箱に近いのです。
ロボットの評価で、最終結果ではなく「指定された過程(order, contact)」を追跡すべきだという洞察は、身体をもたないソフトウェアエージェントの世界で、むしろいっそう重要になります。
たとえば AI が月次レポートを仕上げたとしましょう。成果物だけ見れば問題ありません。しかしそのレポートが承認手続きを飛ばして外部へ先に出てしまったなら、それは成功ではなく事故です。ロボットが取っ手をつかまずにカップを運んだのとまったく同じです。だから業務自動化の検証指標は「全部できたか」ではなく「決められた順番・制約どおりにできたか」を、実行の全過程で追跡する側でなければなりません。
ONTLE が AI プロジェクトマネージャーを設計するうえで握りしめている点も、まさにここです。クライアント企業が「外部へ出すものは必ず担当者の承認から受けろ」と言えば、ONTLE はその指示をモデルに焼き直す代わりに、そのつど入力として受け取って動きます。そして、レポートが出たという「結果」ではなく、承認という「指定された順番」を通過したかどうかで成功を見極めます。ロボットのすき間を扱ったこのサーベイが、身体をもたないエージェントにもそっくり有効である理由です。
ロボットのニューラルネットはそのままに、実演映像のような「カンニングペーパー」を脇に添えて新しいタスクをさせるやり方です。マニュアルを丸暗記する代わりに、必要なページだけ開いておいて仕事をするのと同じです。
ファインチューニングは、新しいデータでロボットを教え直して知識を頭の中に「入れ込む」やり方です(だからあとの学習で上書きされ、忘れられることがあります)。ICL は頭の中には手をつけず、その知識を「必要な瞬間に脇から取り出して見られる」ように置いておくやり方です。