NeoHorse-1 は、AI が自らの能力を観測し、その観測を次の学習素材へと変える循環ループを実際に実装したエージェントネイティブなモデル群だ。核心は、複数のモデルを集めたプールに「インテリジェントなルーティング」を取り付け、ユーザーのターンごとにどの能力が必要か・どの等級のモデルが選ばれたか・その後のやり取りがどうだったかを記録し、この記録を再び学習データとしてフィードバックするところにある。アブストラクトによれば、事後学習(post-training)は10ベンチマークのマクロ平均を、4B で 58.94 から 64.87 へ、9B で 65.60 から 69.04 へと押し上げた。
「再帰的自己改善(RSI, Recursive Self-Improvement)」は、AI が自分自身を繰り返しより良くしていくという、古くからある、そしていくぶん遠大な目標だ。問題は、この言葉がたいてい掛け声に留まってしまう点にある。「勝手に良くなる」はもっともらしいが、正確に何を観測して、その観測をどの経路で次の学習へ流し込むのか、具体的な機構が欠けていれば実体がない。
たとえるとこうだ。ジムに通う人が「私は毎週もっと強くなる」と決意するだけなのと、毎セットの重量・回数・翌日の筋肉痛を記録して来週のプログラムをそのデータで組むのとは、まったく別物だ。既存の多くの自己改善の議論は前者、つまり決意に近かった。NeoHorse-1 がやろうとしているのは後者、すなわち「計測して → 次のトレーニング表を変える」という実際の循環を作ることだ。
ここで「ハーネス(harness)」という言葉が頻繁に出てくる。ハーネスとはモデルそのものではなく、モデルを包んで動かす実行の殻(ツール呼び出し・ルーティング・コンテキスト管理といった運用装置)を指す。論文の表現を借りれば、この研究が目指すのは「ハーネスが媒介する RSI(harness-mediated RSI)」だ。つまり改善の循環はモデル内部の魔法ではなく、モデルを運用する殻が残した記録から流れ出てくる。
全体像は「異質なモデルプール + インテリジェントなルーティング」から出発する。
さまざまな能力・サイズのモデルを一か所に集めておき(異質なモデルプール)、入ってきたリクエストごとにルーターが判断する。会社に新人・中堅・専門家が混ざっていて、受付担当が仕事の難易度を見て誰に割り当てるかを決める場面を思い浮かべればいい。このときルーターは三つを残す。
この記録こそが次の学習の原材料だ。ただし会話をそのまま学習に使うわけではない。記録を学習例に変える際、途中の推論・ツール呼び出し・ハーネスのコンテキストが互いに絡み合った状態(interleaved)をそのまま保存する。エージェントが実際に働く姿は「考える → ツール呼び出し → 結果を見てまた考える → さらにツール」のように絡み合っているが、この質感を生かしてこそエージェントらしく学べる、という趣旨だ。
原材料だからといって全部受け入れるわけではない。三重の検問を通過しなければならない。
品質管理者が原材料を形・内容・細目ごとに検査し、合格品だけをラインに載せるのと同じだ。
こうしてふるいにかけたデータで学習を進めるのだが、ここでもルーティング信号が指揮棒を握る。
そして循環を閉じる最後の一片が「能力誘導配分(capability-guided allocation)」だ。評価のフィードバックを次の学習ミックス(mixture)へと変換する。つまり今どの能力が弱いかが評価で明らかになれば、その部分を次のトレーニングデータの配合に多めに盛り込む。論文はこれを「評価–選択–更新(evaluation-selection-update)ループ」と呼ぶ。システムが何をするよう学んだかが、次に何から学ぶかを決めるフィードバック構造だ。ジムのたとえに戻れば、先週の記録を見て弱い部位の運動を来週のプログラムに多く入れるコーチがモデルの中に入り込んだ格好になる。
アブストラクトが提示する数値は次のとおりだ。ハーネスベースのエージェント、ツール使用、コーディング、指示追従をまたぐ10のベンチマークで、事後学習はマクロ平均(macro-average)を次のように引き上げた。
| モデル規模 | 事後学習前 | 事後学習後 |
|---|---|---|
| 4B | 58.94 | 64.87 |
| 9B | 65.60 | 69.04 |
注目すべきは、アブストラクトが特に言及した箇所だ。事後学習を経た 4B モデルと、学習前の 9B ベースモデルとの総合的な差(aggregate gap)がかなり縮まった、という点である。平たく言えば、小さなモデルをうまく回してデータをフィードバックすれば、二倍以上大きい元のモデルに総合点基準でかなり近づけた、という話だ。パラメータを大きくすること以外に、運用記録を学習へ戻す経路にも実質的な余地があることを示すシグナルである。
ただしアブストラクトに明記された数値は、上の表と「10のベンチマーク」が全てだ。個別のベンチマークスコア、データセットの規模、ルーティング精度、反復(iteration)回数ごとの推移といった具体的な数値はアブストラクトにないため、ここでは断定しない。
論文自身も、これを完成した RSI ではなく「初期プロトタイプ(initial prototype)」であり「ハーネス媒介 RSI への経路」だと表現している。この抑制の効いた自己規定そのものが、限界を示唆している。
ONTLE は、顧客プロジェクトごとに AI PM を派遣し、要求の受付からサービス公開まで管理する構造だ。この論文が歓迎される理由は、私たちがすでにやっている、あるいはやろうとしていることと骨組みが重なるからである。
第一に、モデルルーティングがそうだ。ONTLE は全社標準のルーティングとして、チャット・受付は上位モデル、実行段階は難易度(s・m・l)に応じて、修正・デプロイは軽量モデルへと配分する。NeoHorse-1 が言う「予測された能力需要 → 等級選択」とまさに同じ発想だ。この論文の示唆は、さらに一歩進む。ルーターが下した判断とその結果を、単なるログではなく学習素材として扱え、というものだ。ONTLE のルーティングログ・作業履歴も、今は運用記録だが、今後「何がうまくいき、何が詰まったのか」をフィードバックする資産になりうる。
第二に、絡み合ったコンテキストの保存だ。NeoHorse-1 は推論・ツール呼び出し・ハーネスのコンテキストが絡み合った質感を、学習にそのまま生かす。AI PM の仕事も「顧客要求 → 分析 → ツール実行 → 中間判断 → 再実行」と絡み合っている。この流れを要約版ではなく元の構造のまま残してこそ、後でどんな改善であれ実際の業務の質感を反映できる。
第三に、評価–選択–更新ループは、プロダクト改善サイクルの理想的な形だ。ただし論文自身が戒めるように、フィードバックはバイアスを育てることもある。ONTLE の視点からの教訓は明確だ。自動改善ループを導入するとしても、品質ゲート(構造検証・意味評価)を人間が監査できるように開いておかねばならず、「得意なことだけをさらに得意に」なってしまう罠を、配分の段階で意識的に防がなければならない。RAG やエージェントパイプラインを運用するチームなら、性能指標だけでなく「何を学習から取りこぼしているのか」を併せて見るべきだ、という意味である。
いいえ。論文は NeoHorse-1 を完成した RSI ではなく「初期プロトタイプ」であり、ハーネス媒介 RSI への経路と位置づけています。反復循環の1サイクルを実際に実装して見せた段階であり、何度も繰り返しても改善が積み重なるのかは開かれた問いです。
アブストラクトによれば、10ベンチマークのマクロ平均が 4B で 58.94 から 64.87 へ、9B で 65.60 から 69.04 へ上昇しました。また、事後学習した 4B モデルと学習前の 9B ベースモデルとの総合的な差がかなり縮まったとアブストラクトは述べています。個別のベンチマークスコアなどの詳細な数値はアブストラクトにないため、ここでは扱いません。
ハーネスとはモデルそのものではなく、モデルを包んで運用する実行の殻(ルーティング・ツール呼び出し・コンテキスト管理)を指します。改善の循環がモデル内部の能力ではなく、モデルを動かすこの殻が残した記録(能力需要・等級選択・やり取り)から流れ出るように設計した、という意味です。
発想はすぐに参考にできます。ルーティングの判断と結果をログだけで終わらせず学習・改善の素材として扱い、絡み合った作業コンテキストを原形のまま保存し、評価結果を次の改善優先順位へフィードバックする方向です。ただしフィードバックループのバイアスと評価の信頼性というリスクが同時に伴うため、品質ゲートを監査可能なように開いておく設計が前提になります。