スマートグラスが一日じゅう目の前を録画しているとしよう。何年か積もれば、数百時間分の映像の山になる。ある日あなたが尋ねる。「パスポート、どこに置いたっけ?」答えはその中に確かに映っている。けれど数百時間を巻き戻して探すわけにはいかない。探す手間が、答えの値打ちを超えてしまうからだ。
Meta Reality Labsとバージニア大学・イリノイ大学の研究チームが打ち出したMemLifeは、この問題をこう解く。映像をまるごと探り返す代わりに、見たものをその都度、短い文章の「記憶」として書き留めておき、質問が来たらその文章の山から必要なかけらだけを取り出して答える。そこに乗せたMemOptはさらに一歩進む。「何を、どう書き留めておけば後でうまく探せるか」を、機械が自分で練習して身につけるようにしたのだ。
肝心なところから言うとこうだ。記憶を書く側だけを別に鍛えたら精度が上がった(あるベンチマークで56.5 → 60.4)。ところが記憶を読んで答える側がすでに十分に賢いと、その上乗せ分は目に見えて縮んだ。 ここがこの研究のいちばん面白いところだ。
なぜなら、このシステムには二人の選手がいるからだ。記憶をうまく書く側(以下、記録者)と、その記憶を読んで答えを引き出す側(以下、読解者)。二人は互いを部分的に肩代わりできる、綱引きの関係にある。記録が粗くても賢い読解者が隙間を埋め、読解者が平凡でもうまく書かれた記憶が仕事を楽にする。この論文は、そのうち「記録者を訓練する方法」を掘り下げた試みだ。以下で、それがどこまで通用するかを追っていこう。
一人称映像(自分の視点から撮られた映像)から答えを探すのは、三つのことが同時に足を引っ張る。
第一に、大きすぎる。 LLMが一度に読める分量、つまりコンテキストウィンドウには限りがある。数百時間分の映像フレームをそこにすべて押し込むことはできない。質問のたびに元の映像を処理し直すには、時間も計算量も手に負えない。
第二に、曖昧すぎる。 そこで映像を文章に圧縮して保存する。ところが減らしすぎると肝心の質問が尋ねる情報が飛んでしまい、全部書くと些細なディテールが検索を濁らせる。ひどい場合は、書く側が映像にない内容をでっち上げ(ハルシネーション)、偽の証拠を仕込んでしまうこともある。
第三に、似すぎている。 昨日の台所と今日の台所はほとんど同じだ。似た記憶が積もるほど、どれが正しい回なのかを見分けるのが難しくなり、正解が埋もれる。論文はこれを検索競合と呼ぶ。保存量が大きくなって初めて姿を現す、もっとも陰険な壁だ。
結局、戦いは二つに分かれる。書くときに肝心の証拠を取りこぼすか(書き込みの失敗)、探すときに正しい項目を取り出せないか(検索の失敗)。両方に勝たないと答えは当たらない。ところが現場で「精度」ひとつだけで成績をつけると、直すべきは書く側なのか探す側なのか、最後まで見分けられない。この記事の主役たちがなぜ二つを切り分けて扱うのか、その理由がここから出てくる。
MemLifeはまず、人が規則を組んで「うまく書く記録者」を作る。三つの原則だ。
もう一つ、賢い選択がある。記録者は映像クリップごとに説明を別々に作る。前の区間の結果に頼らないので、一度間違えたものが後ろに波及せず、作業量と保存量が映像の長さにぴったり比例して増える(二倍長ければきっかり二倍)。前の文脈を参照させることも試したが、精度は良くならなかった。
取り出す側は読解者だ。読解者は質問一回につき検索一回で終わらせず、自ら段階を踏んで答えを探すエージェントである(エージェントとは、次の行動を自分で選びながら仕事を片づけるプログラムのことだ)。「パスポートどこに置いたっけ?」が入ってくると、だいたいこう動く。まず質問を検索に合うように整えて「パスポート」という手がかりと、それらしい時間帯を絞る。その区間で似た記憶を見渡し、有力な箇所をまるごと引っ張ってきて読む。元の映像が残っていればその場面のフレームをいくつか直接確認し、最後に答える。取り出した記憶は時間順に並べて渡す。長い物語をたどり直すときは、順序そのものが手がかりになるからだ。
ここまでは人が組んだ規則だ。MemOptはここから枝分かれする。
ふつう強化学習(うまくやった行動には賞を、まずい行動には罰を与えて癖をつける学習)は「最終的な答えが当たったか」で賞を与える。ところが最終的な答えに賞を懸けると、読解者が道具をどう使い回したかまでが信号に混ざり込む。記録を整えたいのに、読解者の実行過程というノイズがくっついてくるのだ。模倣や蒸留(うまいモデルの行動をまねて学ぶこと)の系統は適応力に欠け、最終答え報酬の系統はこのノイズを避けきれない。
MemOptは読解者を固定しておき、ひたすら「記憶をどう書くか」だけに賞罰を懸ける。原理はこう描いてみられる。記録者が記憶を一語ずつ書き進めるとき、隣に座ったAI批評家(これ以上学習させず固定しておいた同じモデル)が一語ごとに採点する。「自分ならこの状況でその単語を使っただろうか?」予想と同じなら満点、まるで違う単語なら減点。映像にない内容をでっち上げた箇所ほど、批評家の予想と食い違って点が削られる。
賞罰の名前はFIRMで、三つのものさしを当てる。
三つの点数は足さずに掛ける。 一つでも0に近いと全体が崩れる。忠実だが引っかからない記憶も、よく引っかかるがでっち上げの記憶も、賞をもらえない。三つを同時に満たして初めて良い記憶なのだ。
検索可能性を毎回確かめるには、そのたびに読解者を走らせねばならず高くつく。そこで学習一周期を始めるときに、読解者を全学習質問に一度だけ走らせて「どう検索するか」を記録しておき、以後はその記録を再生して引っかかるかどうかだけを見る。公開された強化学習アルゴリズムを活用しつつ、長い記憶が点数計算を独占しないよう長さを均す処理も入る。
肝はひとつだ。読解者に手を触れず、「検証された証拠・元の映像・固定された検索行動」からだけ賞罰を取り出す。記録者の訓練から、読解者というノイズをまるごと切り離したのだ。
学習なしのMemLifeだけでも、四つのベンチマークすべてで既存の「学習なし」の手法を上回る。そこに記録者まで訓練したMemLife+MemOptは、「学習する」手法までもすべて追い抜く。
| 手法 | SuperMemory-VQA | EgoLifeQA | SuperMemory-LVQA | EgoLife-EQA |
|---|---|---|---|---|
| EgoRAG(学習なしの最強ベースライン) | 49.28 | 48.20 | — | — |
| MemLife(学習なし) | 56.50 | 52.80 | 56.18 | 52.00 |
| MemLife-V(元の映像まで参照) | 57.78 | 53.20 | 57.95 | 50.00 |
| MemLife + MemOpt(記録者を学習) | 60.35 | 56.60 | 58.91 | 57.00 |
| Oracle Context(正解に当たる元映像の証拠を直接入れた参照上限) | 67.58 | 66.20 | — | 61.00 |
表の数字は精度で、高いほど良い。四つのベンチマークはどれも「古くなった一人称映像についての質問-応答」テストだ。後ろの二つは変形で、SuperMemory-LVQAは十人分の記録をすべて合わせ、「他人の記録」を妨害物として混ぜて検索空間をわざと広げたストレステスト、EgoLife-EQAは繰り返し起きる出来事を尋ねつつ、根拠を元映像と手作業で突き合わせて検証したものだ。論文は、もっとも強い既存手法に対する向上幅を4.0〜17.0%と集計し、メモリサイズは最大31倍まで減らしたと報告している。
本当の成果は転移だ(転移とは、学習に使っていないデータでも通用することをいう)。MemOptはSuperMemory-VQAの一部の被験者だけで学習し、残り三つのベンチマークは一度も学習に使っていない。それなのにそこでも点数が上がる。映像の種類、質問の型、記憶の規模が変わっても通用する、という意味だ。
表で目を留めるべき箇所が二つある。ひとつはOracle Context。 検索の段階を飛ばし、正解に当たる元映像の証拠を読解者に直接入れた参照設定だ(記録者が書いたテキストの記憶ではなく、正解の根拠となる元映像の証拠そのものを直接渡す)。検索が見当違いの回を引っ張ってくるという変数を取り除いた、検索が理想的だったときの上限の目安というわけだ。正解の根拠証拠を手に握らせても100点に届かないということは、その証拠を読んで答えを引き出す読解そのものに、まだ余地が残っているという意味だ。
もうひとつはMemLife-V。 元の映像まで見直した設定だが、テキストだけを使ったMemLifeとほとんど差がない。これが重要だ。向上の手柄が高くつく元映像の見直しではなく、よく書かれた「テキストの記憶」そのものにある、という意味だからだ。映像を毎回開き直さなくてよいなら、記憶システムの運用コストを大きく下げられる。
訓練が記憶をどう変えるかは、事例が生々しい。学習前の記録者はレンズ豆をトウモロコシと書き間違えていたが、MemOptは周りの行動(流し台のほうへ移動)はそのままにして、モノだけを正す。曖昧な代名詞でごまかして食べ物を取りこぼした記憶は、人物を特定し「ローストチキン」をはっきり書き入れるよう直す。でっち上げは削り、必要なものはくっきりと——忠実性と有益性が一緒に上がる姿だ。
ここで冒頭の綱引きが数字で姿を現す。より賢い読解者を使うと絶対点数は大きく跳ねる。SuperMemory-VQAで読解者を強化すると、56.50が66.93まで上がる。ところがそこにMemOptを足して追加で稼ぐ分は、66.93から67.90、わずか1点あまりだ。
賢い読解者が、粗い記憶の隙間を自分で埋めてくれるからだ。良い記憶を書く努力と、賢く読み取る能力は、一方を伸ばすと他方の取り分が減る綱引きの関係にある。だから「記録の訓練に投資するか、もっと良い読解モデルを使うか」は、どちらか一方がいつも正解という問題ではない。手持ちの資源とコストが答えを決める。
著者が自ら引いた線が率直だ。
再現率(正解の証拠を実際に拾い上げた割合)はばらつく。MemOptが精度を上げても、再現率は上がることも下がることもある。著者たちは、精度の向上が「証拠をより多く拾ったから」だけでなく「答えにより役立つ記憶を収めたから」でもある、と見る。精度が上がったからといって検索まで良くなったと断じることはできない、という自戒だ。
コスト構造も軽くない。検索可能性の採点は、周期ごとに読解者を全学習質問に走らせて行動を集める手順を前提に置く。再生で節約するとはいえ、この収集そのものが規模に敏感でありうる。しかも忠実性・有益性の採点をどちらも記録者自身(固定した同じモデル)が担う。自分で自分の出力を採点するので、そのモデルが見逃す種類のハルシネーションは、賞罰の信号からも漏れる隙がある。検証された転移も結局は一人称映像QAという一つのジャンルの中にとどまる、という点は覚えておくに値する。
これは他人事ではない。ONTLEのAI PMが毎日ぶつかる問題の核心を突いている。
顧客プロジェクト一つに、PMペルソナが数か月張り付いて要望を受け、会議し、決定し、成果物を引き渡す。その数か月分の会話・ログ・成果物こそ、まさに「数百時間の映像の山」と同じだ。具体的な場面を一つ、最後まで追ってみよう。
九月のある日、顧客担当者の金〇〇が、PG手数料が負担だからと決済連携を一次スコープから外そうと言う。PMは会議の末にそう合意する。そして二か月後、顧客が尋ねる。「あの決済連携、付けないことにしたの、いつ、なぜそう決めたんでしたっけ?」
いまの構造ならPMは二か月分のログを質問のたびにかき集めてまるごと押し込む。プロジェクトが長いほど、MemLifeが指摘したあの壁にそのままぶつかる。大きすぎて処理のし直しが高くつき、似た会議が何度もあるので見当違いの回が引っ張り上げられる。
MemLife流の処方を当てると絵が変わる。PMはやり取りを終えるたびに、そのセッションを時間と対象の刻まれた一行の記憶として書き留めておく。「私は九月十日の決済連携会議で、担当者の金〇〇のPG手数料への懸念を根拠に、一次スコープから決済を外した。」肝心なのは、これが未来の質問をあらかじめ知って書いた要約ではない、という点だ。担当者・日付・根拠という対象を刻んでおけば、二か月後に入ってきた質問も、その日付の区間に絞って該当の記憶を正確に取り出せる。
MemOptの含意はもう一枚深い。「何が良い記憶か」を三つのものさしで定義し、記録をそちらへ整えさせたのがMemOptだ。ONTLEに移すと、この「良い記憶」の基準を会社が自ら握る、という意味になる。どの決定の根拠を必ず残し、何を重要として書くかを定めることが、すなわち記録品質の定義だ。ただしONTLEでは忠実性がとりわけ重い。PMの記憶が事実をでっち上げれば、顧客の成果物への信頼がただちに削られる。だから自分のモデルが自分の記録を採点する構造の死角は、ONTLEなら異なるモデル同士で交差検証して埋めるべき箇所だ。
他人のベンチマークの数字を覚えるよりも、いまの自分たちの記憶システムを自ら診断するほうが役に立つ。
いや、そうではない。MemOptでEgoRAGの記録者を最適化すると、EgoRAGの基本パイプラインも二つのベンチマークで改善し、その記憶をMemLifeの読解者で読むとさらに上がった。土台となる基盤言語モデルをQwen3.5-9BからQwen3.6-27Bに変えても、すべての組み合わせで向上が保たれた。特定のモデルに縛られた手法ではない、という意味だ。
ひとつずつ足していって測ったところ、SuperMemory-VQA基準で、画面と音を一緒に読むと52.33、名前をモノに結びつけると54.09、一人称の語りまで足すと56.50まで上がった(学習前)。読解者の側でも、検索範囲を時間で絞り、時間順に並べるほどEgoLifeQAが50.40 → 50.60 → 52.80と上がった。ただし再現率は単調増加ではなく、すべての仕掛けがすべての指標を同じ方向へ押し上げるわけではない。
これらのベンチマークが何択なのかは公開された抜粋にないので、当て推量したときのベースラインは断じない。ただ、正解に当たる元映像の証拠を直接入れた参照上限ですら60点台にとどまる。検索を理想的と仮定し、正解の根拠証拠を直接握らせても天井がある、という意味であり、残る分は、その証拠を読んで答えを引き出す読解の側の余地だ。