AIエージェントは、大きく二つの部分に分けて見ることができます。一つは頭脳の役割を担うモデルです。人間の言葉を理解し、文章を生み出す大規模言語モデル(LLM)ですね。もう一つは、この頭脳が実際に仕事をこなせるよう支える手足です。プロンプトをどう組み立てるか、複数のステップをどんな順序で踏むか、どのツールをいつ呼び出すか、何を記憶するか。この手足のすべてをまとめて「ハーネス」と呼びます。
ここで興味深い事実が一つ。頭脳はそのままに、手足だけをうまく磨いても、同じモデルが目に見えて賢くなります。そこで最近は、この手足の扱い方そのものをエージェント自身に修正させる試みが登場しています。
問題は、こうして自由にさせるとエージェントがしばしば「賢い愚か者」になって戻ってくることです。練習問題のスコアはぐんぐん上がります。ところが練習になかった新しい問題に出くわすと、実力がガクンと落ちます。原理を身につけたのではなく、模範解答を丸ごと暗記したせいですね。機械学習では、これを過学習と呼びます。GoogleのRRSI研究は、まさにこの過学習に手綱をかけます。その結果、初見の問題でも性能が維持され、おまけに使うコストまで減りました。
手足を自分で修正するとは、具体的に何でしょうか。エージェントが自分のハーネスを少しずつ変えた候補を出し、その中から良いものを選んで反映することを繰り返します。これが再帰的自己改善、略してRSIです。頭脳(モデル)には手をつけません。頭脳を使うコツだけが自ら育っていくわけです。
過学習は、この自動進化の過程で起こります。進化に使った課題の中ではスコアが大きく跳ね上がります。このように進化に使った課題と性質が同じ領域を「分布内」、性質が異なる初見の課題を「分布外」と言います。分布内で伸びた実力が分布外へ移ると、しぼんだり消えたりします。どこでも通用する基礎ではなく、この試験でだけ効くコツを身につけたことになるのです。
RRSI(Regularized Recursive Self-Improvement、正則化された再帰的自己改善)の核心は、自己改善の過程の中に「正則化」を組み込んだ点にあります。モデルが訓練データを丸暗記しないよう正則化をかける機械学習の古くからの手法を、今回はハーネスが進化する過程にそのまま持ち込んだのです。
進化は二つの役割がやり取りしながら回ります。新しい変更を持ち込む提案者、その中から何を残すかを選ぶ選択者。RRSIは、この両方に正則化をかけます。
まず提案者から見てみましょう。最も重要な仕組みが、時間とともに減っていく修正予算です。一度に変えられる修正の数に上限を設けつつ、進化が進むほどこの上限を次第に締めていきます。金属を熱して赤く焼いてから徐々に冷やし、硬く固める焼きなまし(annealing)から取った方式です。原理はこうです。序盤は解の空間を広く探索できるよう、大きく変える余地を開けておきます(熱い状態)。そこから次第に変化の幅を狭め、良い解一つへと安定的に収束させます(徐々に冷やす状態)。最初から最後まで一度に十か所ずつ作り変えてしまうと、何が効いたのかを見分けられず、偶然に練習課題だけに当てはまった変化が紛れ込みやすくなります。後になるほど小さく慎重に手を入れさせる理由ですね。
ここにもう一つ。これまでの進化の履歴を参照し、すでに何度も試した方向は後回しにして、まだ試していない変化を優先します。同じ方向にばかり深く掘り下げて練習課題にぴったり合わさってしまうのを防ぐ仕組みです。
選択者は、上がってきた提案を複数の基準で絞り込みます。一つ目は漏れ(リーク)検査です。提案された修正コードに、課題名や正解、特定のベンチマークにだけ効く専用ロジックが紛れ込んでいないかを調べます。こうした漏れは練習課題のスコアだけを不自然に押し上げる過学習の入り口なので、ここで弾きます。ただしこれは「この修正が初見の課題で通用するか」を判定したり保証したりする装置ではなく、あくまで特化の痕跡が混ざっていないかを見るチェックです。選択ではこのほか、評価のばらつき(ノイズ)やコスト増を抑えるための別の基準も働きます。二つ目は効率性フィルターです。すでに反映された変化の中で、あまりに些末なもの、コストが大きいもの、もはや役に立たなくなったものを切り落とします。
例を挙げてみましょう。提案者が「コード課題を解くとき、ファイル全体を入れるのではなく、関連する関数だけを選んで入れよう」という修正を出したとします。漏れ検査はまず、この修正に課題名や正解、特定のベンチマーク専用のロジックが紛れていないかを見ます。そうした特化の痕跡がなければ通過します。時間が経ってその修正がコストばかり膨らませ効果が薄れてきたら、今度は効率性フィルターが取り除きます。新しい試み、漏れ検査、効率性チェックを繰り返すうちに、進化は自然と再利用可能な汎用メカニズムを試験専用のコツより好むようになります。刈り込みのおかげでハーネスが軽くなり、トークンを使わずに済むのは実用的なボーナスですね。
RRSIは、コーディング、エージェント型ワークスペース、エンジニアリング設計にまたがる八つのベンチマークで検証されました。各環境で得られた主要な成果を分けて見ると、次のとおりです。表を読む前に用語を一つだけ。トークンはAIが文章を読み書きする際に扱う最小単位(おおよそ単語の断片)ですが、そのうちポリシートークンはエージェントが実際に「何をするか」を決めるのに使うトークンを指します。
| どこで得られた成果か | 報告された数値 |
|---|---|
| 進化に使った課題(分布内) — コーディング課題系 | 最大14.1ポイント向上 |
| 分布外5つのベンチマーク — エージェント型ワークスペース(JobBench) | 最大4.7ポイント向上 |
| トークン効率 — 正則化なしの進化との比較 | ポリシートークン30%削減 |
三つの数値は、それぞれ異なる課題と設定から出たそれぞれの最高点です。ですから「これだけ守りながらあれだけ多く得た」と一列に並べて読むのは禁物です。分布内の向上と分布外の向上は、そもそも異なる課題から出た値なので、並べて比較する対象ではありません。
それでも一つにまとめると方向ははっきりします。正則化で過学習を減らしたところ、練習課題で大きく伸び、初見の課題でも向上が残り、トークンはむしろ少なく済みました。スコアの引き上げと新しい問題への汎化、コスト削減が互いに排他的ではないということ。これがこの論文のメッセージです。
ただし、分布外の向上が「最大」であっても分布内ほどではないという点は、正直に読む必要があります。正則化が過学習を減らしはしても、完全には取り除けないという兆候ですね。二つの数値が異なる課題から出たものである以上、断定することではありませんが、「正則化したから過学習が消えた」と過度に期待する根拠でもありません。
良い結果ですが、プロダクトに載せる前なら、このアイデアが現場でどんな課題に変わるのかをまず見る必要があります。
正則化の強さは、結局のところ人が合わせます。焼きなまし予算、漏れ検査の基準、刈り込みの閾値は、人が回すつまみです。強く締めれば有用な変化まで切り落とされ、緩めれば過学習が戻ってきます。バックボーン依存性も残ります。論文は進化に加わっていない別のバックボーンでも利得が転移するかを確認しましたが、一部のバックボーン間の検証にとどまります。より多様なモデルでも同じ利得が出るかは、開かれたままです。もう一つ。修正に紛れた特化の痕跡を見分ける判別そのものが、また別のバイアスになりうるということ。批評役がその線をどれだけ正確に引くかも検証の対象です。
まさにこうした限界があるからこそ、私たちONTLEのような現場では、このアイデアをそのまま移植するのではなく、手なずけて使います。ONTLEは顧客企業ごとにAIプロジェクトマネージャー(PM)エージェントを置きます。依頼を受け付け、分析、開発、納品まで引っ張っていく担当エージェントですね。私たちが売るのはモデルそのものではなく、顧客企業の反復業務を処理できるようにうまく組み上げられたエージェントのハーネスです。ですから「現場版の過学習」は他人事ではありません。
ここで重要な区別が一つあります。PMエージェントのハーネスは、二種類の機能に分かれます。一つは複数の顧客が共通で使う共通機能です。依頼を受け付け、分析してタスクに分解する流れのようなものですね。もう一つは特定の顧客にだけ合わせた機能です。二つを混ぜて見ると、判断が鈍ります。
具体的な場面をたどってみましょう。A社が「うちの様式に合わせて週次レポートを自動で書いてほしい」と依頼します。そこでA社専用のレポート作成ロジックを磨きます。これは専用機能です。ほかの顧客に通用しないという理由だけで、この修正が悪いわけではありません。そもそもA社だけのための機能ですから。問題は、このロジックがA社特有の表の書式にだけ危うく合わさっているときです。A社が次の四半期に様式を少し変えた途端にレポートが崩れるなら、それはA社の中ですら過学習しているのです。だから専用機能は、チューニングに使っていないA社の別の事例、たとえば別の週、別の部署のレポートにそのまま回して、品質とコストが維持されるかを見ます。論文が分布外で性能を確認したのと同じ発想ですね。
逆に「レポートを書くとき、関連資料だけを選んで入れよう」といった修正は共通機能の側です。これはA社の事例だけで検証してはいけません。B社、C社の業務につけても通用するかを見て、はじめて共通機能に昇格する資格が生まれます。新しい自動化をつけるたびに「これは一顧客向けなのか、みんなのための基礎なのか」をまず分け、それに合った事例で検証する関門を置くのです。
最後に、たまっていくだけで役に立たなくなったロジックと文脈は、定期的に切り落とします。トークンがそのまま運用原価になる派遣型のサービスでは、この刈り込みが品質とマージンを同時に守る仕事になります。
もちろんこれは適用の方向であって、保証ではありません。正則化の強さを人が合わせなければならず、汎用と専用を分ける判別がまた別のバイアスになりうるという限界は、現場でもそっくり残ります。どこまで自動審査に任せ、どこから人が見るかは、顧客ごとに調整する分です。
RRSIが投げかける含意は、一編の論文より大きいものです。ベンチマークのスコア競争に埋没しがちな業界に、成長の方向を定めることが成長の速さと同じくらい重要だと指摘してくれるからです。より高いスコアが、すなわちより役に立つエージェントではありません。初見の仕事を前にして崩れず、使うほど軽くなる方向へ賢くなるとき、その賢さがはじめて現場で値をします。自己改善するエージェントに必要なのは、より強いエンジンではなく、まともな手綱なのかもしれません。
いいえ。RRSIは頭脳(バックボーンモデル)を固定したまま、その上のハーネスだけを進化させる方式なので、特定のモデルに縛られません。論文は進化に使っていない別のバックボーンでも利得が転移するかを確認しています。ただし一部のバックボーン間の検証にとどまるため、どんなモデルにも同じように通用すると断定するのは早計です。
コードとプロジェクトページが公開されており、追試と再現が可能です。論文はarXivとHuggingFaceで見られます(下記の参考資料)。公開されているという点は、数値をそのまま信じる代わりに確認してみる余地があるという意味なので、信頼を高めます。
むしろコストに敏感な側に魅力があります。RRSIは刈り込みでハーネスを軽くしてポリシートークンを正則化なしの進化に比べて30%減らしましたが、トークンがそのまま運用原価になるサービスでは、これがそのままマージンに返ってきます。ただし正則化の強さ(予算、基準、閾値)を人が合わせる手間はかかるので、その調整に割く余力は計算に入れる必要があります。