ユーザーの記録をたくさん読むAIほど、その人のことをよく分かっていると思いがちだ。ところが実際には、逆の現象が報告されている。行動履歴を長く与えるほど次の行動予測がかえって外れ、汎用能力の高いモデルが「この一人」を相手にする仕事ではむしろ劣ることもある。記録は積み上がるのに、肝心のその人の次の一手は当てられないのだ。
Velaは、この問題に真正面から挑んだフレームワークである。発想はシンプルだ。ユーザーが「次に何をするか」は、すでにデータの中に正解として入っている。過去の記録のある地点で区切り、前半だけをモデルに見せ、その後に実際に起きた行動を当てさせればいい。人間が正解を付ける必要はない。その人が実際にとった行動こそが採点表になるからだ。匿名化されたユーザー行動ログをこうした「問題-正解」のペアに変えてモデルを追加学習（ファインチューニング）したところ、ユーザー理解の能力はもちろん、数学や科学のような汎用能力まで一緒に伸びた。そして、その数字をどこまで信じていいのかも、この記事で検証していく。
LLMが個人アシスタント・推薦・広告に組み込まれると、相手が変わる。平均的な人ではなく「この一人」を相手にし（個別性）、数週間から数年にわたる行動を見なければならず（長期間）、すべての判断がその人の実際の記録に根ざしていなければならない（根拠ベース）。論文は、この三つが重なる能力を「LLM知能のユーザー次元」と呼ぶ。ある一人の選好・意図・これからの行動を、その人の過去から読み取る力である。
いまのLLMはここが弱い。その多くはウェブページ・教科書・コード、そして機械が生成した合成データで学ぶが、こうした素材には一人の個人の行動が時間とともにどう変わるかがほとんど含まれていない。その結果が、冒頭で述べた逆説だ。履歴を長く与えるほど精度が落ち、モデルが「平均的なユーザー」の方へ引き寄せられて個人化に失敗する。
著者らが注目したのは、すでにコンテンツプラットフォームや個人アシスタントに大規模に蓄積された実際の行動ログだ。人が書いた公開テキストが枯渇しつつある一方で、行動データは増え続ける。残された宿題は、このバラバラなログを「正解が明確で多様な問題」に変えることである。
これまでにもユーザーを扱う試みはあった。ただし、推薦や要約のような特定の応用一つに縛られていたり（P5・RLPF・User-LLM）、モデルがユーザーをどれだけ記憶・予測するかを測る評価（LongMemEvalなど）にとどまっていた。Velaが分かれる地点は、一つの狭い応用ではなく、91種類の課題タイプにまたがる広い集合を同じ「行動=正解」の原理で量産し、その効果がユーザー課題を越えて汎用能力まで広がるかどうかを併せて問うた点にある。
Velaの発想は、試験問題の作り方に似ている。一人の時系列の記録をある一点で区切る。前半はモデルに見せる「可視履歴」、後半は隠す「未来」だ。モデルは前だけを見て、後に実際に起きたことを当てなければならない。正解は作り出す必要がない。その人が実際にとった行動が、そのまま正解だ。
記録は六つのカテゴリに整理される。閲覧・検索・購入・投稿・フォロー、そして投稿の非表示によって現れるネガティブフィードバックだ。氏名・連絡先・アカウントのような識別情報やプロフィールは問題を作る前に消し、識別情報が混じった記録は丸ごと除外する。
質問は大きく二つに分かれる。隠した未来と直接突き合わせて採点する予測型と、正解が一つに定まらず課題ごとに作った採点基準（ルーブリック）で評価するルーブリック型だ。あるユーザーを例にとろう。過去二か月でランニングシューズ、スポーツソックス、吸汗Tシャツを順に買ったとすると、この記録一つから四つの質問が生まれる。
帰属型の質問は、「彼がランニングジャケットを買った」という未来の行動をすでに明かしている。だから同じ行動に予測型まで付けると、予測型の答えがそのまま漏れてしまう。そこで一つの未来の行動には、予測型と帰属型のどちらか一方だけをランダムに付ける。カンニングペーパーを一緒に渡さない、というわけだ。
課題は四つの段階で作られる。各段階は「何を」よりも「なぜ」が重要だ。
細かな設定は下の表にまとめておく。
| 項目 | 設定 |
|---|---|
| 分割の長さ | 7万2千〜12万トークン（Qwen3.6-35B-A3Bトークナイザー基準）、個々の行動レコードは分割しない |
| 可視履歴 : 未来 | 前のおよそ2/3 : 残り |
| 多肢選択の誤答 | 他ユーザーのプールから抽出 |
| 質問・ルーブリック作成器、採点器 | Qwen3.8-2.4T-A95B、最高の思考レベル（xhigh） |
| 難易度測定 | ベースモデルが思考を無効にした状態で問題ごとに4回応答 → 平均スコアで難易度を推定（思考を有効にするのは、後のVela-RFT学習用の軌跡生成段階） |
| 軌跡の生成・選別 | 問題ごとに4個生成 → 最高点1個、難易度平均を超えた場合のみ採択 |
| 最終規模 | ユーザー10万 → 候補課題10万 → Vela-Instruct 約7万5千（軌跡1個/課題）・Vela-RFT 9,375 |
表で分かれる二つのコーパスが核心だ。Vela-Instructの軌跡ははるかに大きいQwen3.8-2.4T-A95Bが作り、Vela-RFTの軌跡はベースモデル（Qwen3.6-35B-A3B）が自ら作る。つまり一方には、大きなモデルの解答を真似て学ぶ「蒸留」が混ざっており、もう一方は自分で作った行動ベースの解答だけを使う。この違いは、結果を読むときに決定的になる。
評価は三つの束からなる。
この設計が測れるものと測れないものを、はっきりさせておこう。VelaBenchはVelaが作った形式の中での性能なので「自己採点」の性格がある。問題を書いたモデルと採点するモデルが同じQwen3.8-2.4T-A95Bなので、採点基準を作った側の好みがスコアに反映される余地がある。だからこそ、独立に作ったユーザーOOD四つが併せてあることで初めて「Vela形式にだけ慣らされた過適合ではない」と示せる。逆にこれらのベンチマークはすべて行動記録ベースなので、「ユーザー理解」はよく測れるが、リアルタイムの対話品質や安全性のような外側は測らない。
核心のスコアを一つの表にまとめると、こうなる。
| ベンチマーク | ベース | Vela-Instruct（75K） | Vela-RFT（自己生成・9,375） |
|---|---|---|---|
| VelaBench（インドメイン） | 51.5 | 63.0 | 53.5 |
| ユーザーOOD平均 | 41.3 | 47.5 | ベース比 +1.6 |
| 汎用OOD平均 | 54.2 | 58.2 | 54.2 |
Vela-Instructで訓練したVela-35B-A3Bは、VelaBenchで11.5点（51.5→63.0）上がり、35Bパラメータだけではるかに大きいDeepSeek-V4-Flash（284B）とQwen3.8-2.4T-A95B（2.4T）を、このベンチマークで上回った。
最も大きく上がった側と、上がらなかった側が分かれる。ユーザーOODでは広告推薦が11.2点（51.1→62.3）、プロフィール要約が10.1点（20.4→30.5）跳ね上がった一方で、購入意向は43.8から44.0と事実上横ばいだった。すべてのユーザー課題が一律に良くなるわけではない。
興味深いのは、ユーザーデータだけで学んだのに、無関係に見える汎用能力まで一緒に上がった点だ。汎用OOD平均が4.0点（54.2→58.2）上がり、指示追従6.7点、文脈学習（CL-bench Life）5.6点、科学（GPQA-Diamond）4.6点が上がった。著者らはこれを、行動による教師付けが汎用知能の土台まで広げた証拠と読む。
ここで、数字をどこまで信じるかが問題になる。自分で作った解答だけを使ったVela-RFTは、VelaBenchで2.0点（51.5→53.5）、汎用OODは54.2とベースと同じだった。見出しの11.5点と、この2.0点との隔たりが重要だ。ただし二つの条件は「蒸留の有無」だけが違うのではない。Vela-Instructは約7万5千課題で、Vela-RFTは9,375個で、学習規模そのものが異なる。だから11.5点から蒸留の分だけをきっちり切り離すことも、「純粋な行動教師付けの効果は2.0点」と断定することもできない。言えるのは二つだ。見出しの数字には大きな教師モデルから下りてきた分が混ざっているということ、そして蒸留なしで自分の解答だけを使っても（RFT）汎用能力を削らずにユーザー能力が上がったということ。著者らはこの二つ目の事実をもって、「モデルが作ったデータで反復学習すると元の分布が崩れる」という知られたリスクを、実際に観測された行動に縛りつけることで避けられる根拠として言及する。ただし論文はこのリスクを議論として紹介するにとどまり、反復的な再帰学習でモデル崩壊が実際に防がれるかを実験で立証してはいない。一度のRFTで汎用スコアの平均が維持されたというだけでは、崩壊の回避とその原因を確定することはできない。ここまでは、まだ検証されていない期待に近い。
もう一歩踏み込むと、「実際にとった行動こそが正解」という前提そのものに境界がある。行動は選好の信頼できる代理指標ではあるが、同じものではない。推薦があまりに押してきたから押しただけのクリック、割引に押された衝動買い、代替がなくてした再訪は、「一つの行動」ではあっても「望んだもの」ではない。Velaが当てるのはあくまで「次にとる行動」であり、それが常に「次に望むもの」と重なるわけではない。だからこの方式は行動予測には強いが、ユーザーが言葉にしていない本音を読む問題の前では、この限界を抱えたまま臨むことになる。
規模を広げて見た実験でも、方向は一貫していた。VelaBenchは4.7Kサンプルだけで51.5から59.2へ跳ね上がり、75Kで63.0に達したが、37.5K→75Kの区間でも上がり続けているのを見ると、まだ伸ばす余地がある。ユーザーOOD平均は4.7Kで43.5、75Kで47.5、汎用OODは4.7Kで55.8、75Kで58.2と、すべての規模でベースを上回った。
最後に著者らは、行動教師付けで固めた土台の上に強化学習（より良い答えに報酬を与えてモデルをさらに押す追加学習、GSPO）を載せてみた。ベースから出発した強化学習はVelaBench 58.5だが、Vela（18.8Kチェックポイント）から出発すると66.2、プロフィール要約は29.9対37.6で、どちらも7.7点の差がついた。しかもベースから出発した側は、強化学習前のチェックポイントのスコアにすら届かなかった。行動教師付けで固めた土台が、その上の強化学習までよりよく支えるという意味だ。この7.7点は前の11.5点とは別の実験なので、混ぜて読んではいけない。
観測された変化は上で見たので、ここではその数字を解釈するときに引っかかる制約だけを挙げる。
ONTLEのAI PMが、小企業の代表一人を数週間にわたって補佐する場面を思い描いてみよう。この代表は毎週月曜に在庫レポートだけを開いてマーケティング提案は毎回スキップし、特定の取引先のメールには必ず当日返信し、請求書は締め切り直前になってやっと承認する。いまのAI PMは、このパターンを「記憶」はしても「予測」には変えられない。少なくとも、我々がまだ検証できていない領域だ。
Velaの枠組みは、ここに検証すべき仮説を一つ投げかける。代表の過去の行動を「可視履歴」、今週彼が実際に下した決定を「正解」と置けば、人間がラベルを付けなくても会社のデータの中から訓練問題が生まれる、という仮説だ。漠然とした主張のままにせず、課題一つに絞って検証の設計を書いてみよう。
ここで製品としての判断が一つ必要になる。この代表がマーケティング提案を毎回スキップするからといって、AI PMがこの先もそれを静かにしまっておくのが、果たして良い補佐だろうか？ 行動予測は「スキップする」と答えるだろうが、良い参謀なら、ときには「今回はご覧になるべきです」と押し出す側だ。行動を正解とする設計は、ユーザーの過去をよく追う代わりに、過去を繰り返させるリスクも一緒に持ち込む。ONTLEがこの方式を使うなら、「当てること」と「差し出口を利かせる参与」の間をどこで切るかが、本当の設計判断になる。
ただし規模が現実の壁だ。論文の効果は10万ユーザー級で出たものであり、小企業一社の数週間のログではその規模にならない。現実的な経路は二つだ。複数の顧客企業の匿名化された行動を共通カテゴリ（閲覧・検索・承認・却下のようなPMの文脈）にまとめて交差シグナルを増やすか、RFTのように小さな自己生成の解答で「汎用能力は削らずにユーザー適応だけを載せる」保守的なファインチューニングから検証するか、である。スケーリング実験で4.7Kの規模から利得が出たという点は、全面的な再訓練なしに小さく始める名分になる。