ロボットが作業中に失敗すると、これまでは人が割り込み、正しい動作をもう一度デモして見せながら直してきた。この論文は別の道を提案する。基礎学習をすでに終えたロボットが、人による追加の修正デモなしで、自力で性能を引き上げる方法だ。
核心はこうだ。あるロボットが作業の途中で行き詰まると、その瞬間の状況を手がかりにする。そして同じ仕事をこなす他のロボットたちが以前に成功した記録をたどり、似た場面を見つけ出す。そのときそのロボットが取った動作をお手本にして学ぶ。人が新たにデモをする必要はない — お手本はフリート(同じ仕事を分担して担う複数のロボットの群れ)の中にすでに蓄積されているからだ。
この方式により、5種類の実機ハンド作業で、最大のフリート規模において93.3〜99.2%の成功率に到達した。清華大学(Tsinghua University)、AgiBot、Infinigence AIが共同で出した論文だ。
ロボットのファウンデーションモデル(さまざまな作業に広く使えるよう大規模に事前学習しておいた土台モデル)は、目で見たものと言葉で受けた指示を実際の動きに移す。おかげでロボットは「とりあえず試してはみる」という初期能力を手にする。しかしこの初期能力は、そのままでは信頼できる実行にはならない。物体の性質、接触する条件、ロボットごとに微妙に異なる個体差が、絶えず隙間を広げる。複数の段階が連なる作業であれば、その小さな誤差が積み重なる。スマホをつかんで充電ポートに挿し、また箱に戻す作業なら、一つの段階のぐらつきが丸ごと失敗に波及する。
この隙間を埋める最も確実な道は、人による修正だった。遠隔操作者(teleoperator、ロボットを人が代わりに動かしてやる操作者)が実行を見守り、ポリシー(ロボットが状況を見て次の動作を決める規則)が失敗する瞬間に制御を引き継いで正しい動作を見せる。効果は実証済みだ。ただしロボットが増えれば人も同じだけ増やさねばならない。数十、数百台の規模になると、すべてのロボットを見守りながら修正を供給する人手そのものがボトルネックになる。
店舗にたとえてみよう。店が一つなら、熟練の店長が新人の後ろについて、ミスするたびに手を取って教えられる。ところが店舗が全国100か所に増えたら、店長も100人新たに雇うべきだろうか? この論文の答えは「いいえ」だ。店長を増やす代わりに、全国の店舗がすでに成功させた事例を集めておき、新人が行き詰まったまさにその状況に合う事例だけを選んで見せる。従来のロボット学習がそのたびに「新たな専門家のデモ」をもっと必要としていたその場所を、フリートが蓄積した成功記録で代わりにするのだ。
著者たちはこの大きな枠組みを集団経験学習(CEL、Collective Experience Learning)と呼ぶ。散らばって働くロボットたちが、それぞれ経験した実行記録を一か所に集め、共有する一つのポリシーに手を入れる。改善されたポリシーは再びフリートに戻り、新たな経験を生む。個々のロボットの実行がフリート全体の学習になり、その学習がまたすべてのロボットの実行を引き上げる。回り続けるループだ。
一つの場面でたどってみよう。スマホ梱包をしていたロボットが、箱の角にスマホを合わせようとして何度も滑らせる — 失敗だ。この瞬間、ロボットは二つのことを分けて行う。滑ったその動作そのものは、真似すべきお手本にはならない。失敗した動作を真似れば、間違った癖だけが固まってしまうからだ。だから失敗した動作は捨て、「行き詰まる直前の状況」だけを手がかりとして残す。その手がかりを持って、フリートが共有する成功記録の倉庫へ行く。似た状況でスマホをうまく箱に合わせて入れた区間を探し出し、その動作だけを集中して学ぶ。
この仕組みを著者たちはFERT(失敗誘導型経験検索ファインチューニング)と名づけた。ファインチューニング(fine-tuning)とは、すでに学習されたモデルを特定の作業に合わせてもう少し整える過程だ。一文に縮めればこうなる。失敗は「どこを学ぶか」を指し示し、成功は「何を真似るか」を与える。専門家の追加デモは割り込まない。
全体の流れは四段階だ。
技術解説 — 二つの「なぜ」 なぜ比較のものさしを固定するのか。ポリシーは学習しながら絶えず変わる。もし「状況が似ているか」を測るものさしまでポリシーと一緒に変わってしまうと、昨日の「似ている」と今日の「似ている」が食い違い、検索結果を信じられなくなる。だから状況を数値に変える部分(VLAモデルのビジョンタワー)をコピーして固定(frozen)しておき、そこから抽出した特徴にロボットの関節状態を付け足して「状況の指紋」を作る。ポリシーがどれほど変わっても、この指紋のものさしはそのままだ。 なぜ動作速度が違っても同じ状況を見つけられるのか。ロボットごとに、試行ごとに作業速度は少しずつ違う。同じ動作でも、あるロボットは速く、あるロボットは遅くこなす。そのまま重ねて比較するとずれる。だから速度の異なる二つの時系列を伸ばしたり縮めたりして合わせる古典的な手法DTW(動的時間伸縮)を使う。ただし時間順序がひっくり返らないよう制約をかけた変種(S-DTW)を使い、ゆっくりこなした成功と速くこなした失敗直前も、同じ状況として合わせて探し出す。
補足 — 経験を途切れなく回すシステム(FATS) アルゴリズムが「経験をどうポリシー改善に変えるか」を担うなら、FATS(耐障害性非同期学習システム)は「その経験をどう途切れさせずに集め、配るか」を担う。フリートは常に一部がリセット・整備・復旧で止まっており、収集・推論・最適化がそれぞれ別の日程で回る。データ層のSwarmLinkは推論結果と軌跡を集めて学習へ送り、制御層のHotSwarmは故障したロボットをその場で再起動しながら、無事なロボットには経験を集め続けさせる。一台が止まっても、残りのフリートの学習ループは回る。
FERTはまっさらな状態から始めるわけではない。初期ポリシーには人のデモが必要だ。まず人のデモを学習する教師ありファインチューニング(SFT)、そして人の介入が混じった複数ロボットのHG-DAggerで基礎ポリシーを立てる。FERTはそのポリシーから出発する。整理すると二つの局面だ。専門家の教示で土台を敷き、それ以降はフリートが生み出した動作で学ぶ。FERTがなくすのは「配備された後も専門家の修正を供給し続けなければならない負担」であって、初期の専門家データそのものではない。
だから実行段階で人がする仕事は二つに減る。各試行の結果に成功/失敗の印をつけ、環境を元どおりに戻すこと。学習に使われる動作はすべてロボットの実行から出る。著者たちはこの結果の印づけを、人の代わりに学習された報酬モデルがつけることもできると述べているが、この論文の実験では人がつけた印と人が行ったリセットを使った。
評価対象は5種類の実機ハンド作業だ。花活け(Flower Arrangement)、洗濯物たたみ(Clothes Folding)、スマホ充電(Phone Charging)、スツール組み立て(Stool Assembly)、スマホ梱包(Phone Packaging)。よく曲がる物体、精密な位置合わせ、道具の使用、多段階の実行を満遍なく含めた。
結果は二つの問いに分けて読むとすっきりする。
どれだけ改善したか。最大のフリート規模で、5作業のポリシーは93.3〜99.2%の成功率を記録した。とりわけ段階が次々に連なるスマホ梱包が目を引く。96台で学習したところ、FERT開始時点の79.2%が98.3%まで上がった。複数の段階が連なるほど、集団経験の効果が大きく表れたわけだ。
検索のおかげか。成功記録をただ全部使うのと、失敗が指し示す地点に合う成功だけを選んで使うのとは違う。この差を見るために、同じスマホ梱包を16台で回し、失敗誘導検索だけを外してみた。成功率が86.7%から64.2%に落ちた。20ポイントを超える差だ。たくさん集めることより「合うもの」を選んで使うことが核心だという意味だ。
| 見たいこと | フリート規模 | 比較 | 成功率 |
|---|---|---|---|
| 学習効果 | 96台 | FERT前 → 後 | 79.2% → 98.3%(スマホ梱包) |
| 検索の寄与 | 16台 | 検索オン → オフ | 86.7% → 64.2%(スマホ梱包) |
| 全体の到達点 | 最大規模 | — | 93.3〜99.2%(5作業) |
二つの核心的な数値は、互いに異なる実験から出た値だ。79.2%→98.3%は96台で学習前後を測ったもので、86.7%→64.2%は16台で検索をオンオフしたものだ。フリート規模も比較対象も違うので、一つの成果としてまとめて語らない。
評価条件は5作業に共通で課した。各作業を120回の試行で測るが、その試行を、学習に参加していない同一プラットフォームのロボット2台に半分ずつ分けて回した。学習に使ったロボットが自分の見たものを繰り返すかどうかではなく、フリートの経験が初めて見るロボットにも移っていくかどうかを測るためだ。フリート規模を大きくする実験では、ロボット1台あたりの収集時間を固定した。長く回したから良くなったのではなく、同じ時間ならロボットが多いほど経験が積み重なって良くなるのかを見極めるためだ。比較のベースラインにはRECAPとRLTを使った(詳細は付録)。
成功率が測るものは明確だ。ポリシーが作業を最後までやり遂げる信頼度である。ただし120回という標本、評価ロボット2台、特定の5作業という枠内の値だ。他のプラットフォームやより広い作業への一般化を、この数字だけで断定することはできない。
なぜ効くのかは、失敗が多いほどより鮮明になる。ある状況で何度も行き詰まると、その状況に似た成功区間がそれだけ頻繁に検索され、学習に反映される。つまり学習の重みが自然と弱点のほうに傾く。よく間違える場所をより頻繁に埋める構造なので、改善が弱いところから掘り進む。(付録Bの理論分析も、一定の条件のもとで成功経験の再生がポリシーを正しい方向へ引き、検索の重みづけがそこにプラスを足すことを示している。)
ところが、まさにこの構造が限界の輪郭でもある。検索のものさしは「場面と姿勢が似ているか」だ。ならば場面と姿勢が似ていれば、必要な動作も常に同じだろうか? たいていはそうだ。しかし見た目は似ているのに、いざ取るべき動作が違う状況なら、見当違いのお手本を引っ張ってくることがある。検索の基準こそがこの方法の目であり、その目が見落とす地点が弱点になる。
より根本的な限界もある。FERTは「フリートのどこかにその状況の成功事例がすでにある」という前提に寄りかかっている。誰かが一度でも成功した失敗なら、その記録を引っ張ってきて埋められる。しかし誰も成功したことのない、まったく新しい失敗の型であれば、検索してくるお手本がない。このときは検索だけでは道がなく、結局は外から新たな成功経験を補わなければならない。「集団経験で埋められる失敗」と「集団にすら答えがない失敗」の境界が、この方法の動作範囲を定める。
転移の範囲も直接述べておくのが正確だ。評価は同一プラットフォームの別のロボットへの転移を確認した。別種のロボットや別の作業分布でも通用するかどうかは、この結果の範囲外だ。また、クエリ長、終点オフセット、ダウンサンプリング倍率、優先度の減衰といった設定値が検索に絡んでいるため、新しい作業に移すときにこれらの値を再調整するコストがどれほどかかるかは、注目に値する点だ。
残る問いも一つある。フリートが大きいほど良くなった理由が、経験の「量」のためなのか、異なるロボットが経験した状況の「多様性」のためなのかは、まだ切り分けられていない。
この論文の構造は、ONTLEの運用に一つの仮説として移してみることができる。以下はすべて仮定だ。まだ回してみたことではなく、回してみたらどうなるかを描いてみた絵である。
ONTLEのAIプロジェクトマネージャー(PM)が複数の顧客企業に入り、「税金計算書の発行 → 承認ルーティング → 会計反映」のような多段階業務を処理するとしよう。ところが、ある取引先の様式でとりわけ承認ルーティングが何度ももつれるPMがいる。人の運用者がその失敗を一つひとつ探して正しい処理の例を添えてやる方式だと、受け持つ業務が増えるほど運用者もそれだけ忙しくなる。まさにこの地点で、人件費を増やさずに繰り返しの失敗を減らせるか、という問いが立つ。
論文の枠組みをここに重ねるとこうなる。そのPMが行き詰まった瞬間の文脈をクエリとし、同じ型の承認ルーティングをきちんとやり遂げた過去の処理記録を検索する。失敗した処理を真似るのではなく、すでに蓄積された成功事例だけをお手本に使う。活用の仕方は一つに定めておこう。検索した成功事例を実行の途中でその場で参照するのではなく、一定期間ためて、そのPMの処理の仕方をあらためて学習させるほうだ(論文のファインチューニングと同じ筋)。
ただし、ロボットのプラットフォームと事務業務は前提が違う。そのまま規則として採り入れず、以下の三つを先に定めたうえで仮説として検証すべきだ。
検証の最終的な絵は明確だ。検索を適用する前と後に分けて、同じ業務の再失敗率と人の介入回数がどれだけ減ったかを測ることである。この二つの指標が有意に下がるなら、ロボットのフリートで通用した構造が事務業務でも通用するという最初の証拠になる。