PhysBrain 1.5は、物理環境を理解し、行動を生み出し、次の場面を予測するという三つの仕事を一つのモデルに収めた研究だ。画像と文章をともに扱う汎用AI（ビジョン・言語モデル）から出発し、この三つをすべて同じやり方で学習させた。その結果、8B（80億個の調整値を持つ）という規模で、身体を使う状況を理解できるかを評価する28のテストにおいて平均72.5点を獲得し、オープンソース（誰でも入手して使えるよう公開された）部門で最高を記録した。トップクラスの商用モデルであるGPT-6-Astra、Gemini 3.6 Flashとも肩を並べている。
ただし、読み進める前に押さえておきたい区別が一つある。72.5点は「理解」をどれだけうまくできるかを測るスコアだ。行動能力にも定量指標はある — 付録B.3を見ると、事前学習の間に行動トークン予測のperplexity（次の断片をどれだけうまく当てられるかを測る値、低いほど良い）が、学習分布の内側で17.12から5.07へ、学習から除外したRoboDojoでも12.39から6.57へと下がっている。ただしこれは、あらかじめ録画されたデータから次の行動を当てる「オフライン」の指標にすぎず、実機ロボットがその行動を閉ループ（動いてその結果をまた見るという循環）で実行し、タスクを成功させられるかどうかは今回検証されていない。ひとことで言えば、このモデルは理解力はもちろん行動予測まで数字で示したが、実際に身体を使って仕事をやり遂げる能力はまだ追加検証を要する段階だ。この区別を手に残して残りを読めば、絵がくっきりしてくる。
これまでの大きなAIモデルは、その多くが「見て語る」ことに長けていた。写真を説明し、質問に答え、文章を要約する。だが現実の世界で何かを「する」ことは別次元だ。人は目で見て、手を伸ばして介入し、その結果変わった場面をまた見るという循環の中で生きている。コップを見て、つかみ、移された場所をまた見る、という具合に。
従来のやり方の限界は、この循環の三つの輪を別々に扱ってきたところにある。場面を理解するモデル、動作を生み出すモデル、次の場面を描くモデルがそれぞれ別々にあった。目の担当、手の担当、想像の担当が互いに言葉を交わせないようなものだ。PhysBrain 1.5は、この三つを一つの学習の枠組みにまとめようとする。
もう一つの現実的な難題はデータだ。ロボットが実際に動いた記録は集めるのに費用がかかり、量も少ない。一方、人が物を扱う映像は世の中にあふれている。この論文は、安価で豊富な人の映像を学習の主燃料とする。
もっとも重要な発想は「異なる情報をすべて同じ言語へ翻訳する」というものだ。ここで言う言語とはトークンの並びである。トークンとは情報を細かく切り分けた断片で、言語モデルが文章を単語単位に刻んで扱うように、ここでは動きや場面までを断片に刻む。
PhysBrain 1.5は、三つすべてをこの断片の列へと変える。
三つすべてを断片に変えてしまえば、言語モデルがもともと得意だった一つのやり方ですべてを学習できる。それが「前を見て次の断片を当てる」というやり方だ。文章の次の単語を当てるように、ロボットの手先の次の位置や、次の場面の次の断片を当てる。三つを一度に最適化するので、一つの頭脳が「話す・動く・想像する」を同じ文法で学ぶことになる。
学習は二段階だ。
第一は事前学習だ。本格的な訓練に先立って大きな感覚をつかむ段階で、ここでは身体を使う能力を教える信号を、もっぱら人の映像だけから取ってくる。ロボットの記録ではなく、人が物を扱う映像が教材だ。このとき「タスク中心のエピソード」という単位を使う。一つのタスクを中心に、何を・なぜ・どこでするのか、映像から復元した動き、そのあとに続く場面を一つの束にして組にしてやる。料理の映像を見ながら「あの手がこう動いて、次に鍋がああ置かれたんだな」とまるごと身につけるのに似ている。
第二は微調整だ。事前学習で大きな感覚をつかんだモデルを、三種類のデータで仕上げる。人のデモ、実機ロボットの動きの記録、仮想環境（シミュレーション）で得た経験だ。映像でつかんだ感覚を、実機ロボットと仮想環境の精密なデータで手先まで合わせていく、というわけだ。
核心となる数値を下の表にまとめた。
| 項目 | 内容 |
|---|---|
| モデルサイズ | 8B |
| テスト数 | 28（身体を使う状況の理解） |
| 平均スコア | 72.5 |
| 位置づけ | オープンソース最高、商用上位陣と対等 |
| オープンソース最高の達成 | 28中14 |
数値と同じくらい重要な点が別にある。ロボットの動作を学びながらも、もともとの汎用能力、すなわち画像理解や言語能力が崩れなかったという点だ。新しい機能を入れると既存の機能が退化するというのがこの分野のありがちな落とし穴だが、そのバランスを保った。実際の製品に載せるとき、この点はとりわけ値打ちがある。
行動と予測の能力は、オフラインの定量指標とデモ場面でともに提示される。付録B.3の行動トークン予測のperplexityが事前学習中に着実に下がり（学習分布内17.12→5.07、除外したRoboDojo 12.39→6.57）、そこに手先の軌跡を生み出し、次の場面を描くデモが加わる。ただしこの数値は、あらかじめ録画されたデータから次の行動を当てるオフライン指標であって、実機ロボットが閉ループで動いてタスクを成功させた成功率ではない。とりわけ次の場面を描くときには、同じ場面を三層で合わせて一緒に出す。色（RGB）、距離感（depth）、そしてロボット自身が画面のどこにいるか（robot-mask）だ。色だけを想像するのではなく、深度や自分の位置まで一緒に描くという意味である。
先にリードで指摘した区別が、この節の核心だ。平均72.5は「理解」テストのスコアであり、行動予測はオフラインのperplexity指標（付録B.3）までは確認された。ただし、実際にロボットが閉ループで動いてどれだけ正確につかみ、運ぶのか、つまりタスク成功率を測る数値は今回の発表の範囲外だ。
もう一つ。事前学習を人の映像だけに頼るやり方は拡張性が大きいが、人の身体とロボットの身体は違う。人の手とロボットのグリッパ（挟む手）の隔たりをどれだけ埋められたのかは、今回の発表だけでは判断しにくい。微調整で実機ロボットの記録と仮想環境を混ぜたのは、この隔たりを縮めようとする試みと読めるが、その効果がどれほど大きいのかも、やはり数値では示されていない。
まとめると、「一つの枠組みにまとめられる」という可能性と理解力の強さは説得力をもって示され、行動予測のオフライン指標も改善したが、実際の操作における閉ループの成功率と汎化の範囲は、本文と後続の検証で確かめるべき開かれた問いとして残る。
ONTLEは、顧客プロジェクトごとにAIプロジェクトマネージャーを派遣するサービスだ。ロボットの論文とは縁遠く見えるが、この研究が残した教訓の一つは、私たちの製品検証にそのまま刺さる。「理解がうまい」ことと「実際にやり遂げる」ことは別物であり、分けて評価しなければならないということだ。
PhysBrain 1.5は理解スコアを72.5とくっきり証明し、行動予測もオフライン指標で示したが、実機ロボットが閉ループで仕事をやり遂げる能力は検証前だ。AI PMもまったく同じである。顧客の要望を正確に聞き取る能力（理解）と、その要望を実際の業務完遂へと結びつける能力（行動）は、別の物差しで測らなければならない。たとえば「先週遅延したタスクを整理して」という要望をPMがなめらかに要約したからといって、担当者の再割り当てやスケジュール更新まできちんと終えたという保証はない。だからONTLEのQAは二つの軸を分けて見る。要望を正しく理解したか（理解の正確さ）と、約束した仕事が実際に処理されたか（業務の完遂率）を、それぞれ別々に測定するのだ。ベンチマークのスコア一つで「使える製品だ」と結論づけない習慣を、この論文があらためて確かめてくれる。
今回の発表時点では、行動トークン予測のオフライン定量指標（付録B.3のperplexityの低下）と、手先の軌跡・次の場面予測のデモまでは提示されましたが、実機ロボットが閉ループで操作してタスクを成功させるかどうかについての数値は提示されていません。「動かせる方向性」を示した段階と理解すればよいでしょう。
ロボットが実際に動いた記録は集めるのに費用がかかり量も少ない一方で、人が物を扱う映像は豊富だからです。安価で大量の資源で基礎的な感覚をつかんだあと、精密なロボット・仮想データで仕上げるという順序です。
この研究は、新しい能力を得ながらも既存の画像・言語理解の能力を維持したと述べています。新しい機能が古い機能を押しのけるというありがちな落とし穴を避けた点が、実用上の強みです。