会議のたびに、前回の議事録を最初から最後まで読み返す参加者がいる。会議が重なるほど、読むべき分量は増え続ける。別の参加者は、会議が終わるたびに要点だけをまとめて頭に入れておき、次の会議にはそのまとめだけを持ってくる。原本を読み返さないので身軽だが、要約する過程で細部が抜け落ちることがある。
MemT-1.0は、二人目の参加者を目指すAIだ。過去の対話を毎回まるごと読み返す代わりに、その内容をモデル内部の「記憶」に押し込み、その記憶だけを参照して答える。
いまの大規模言語モデルが過去を記憶する方法は、大きく二つある。過去の対話や文書を入力に再び詰め込むか(ロングコンテキスト)、外部ストレージから関連する断片を探し出して貼り付けるか(検索拡張、RAG)だ。前提は同じで、記憶するには原文を読み返さなければならない、というものだ。
この前提は、記録が長くなるほどコストへと姿を変える。トランスフォーマーは過去のトークン(モデルが文章を処理する小さな単位)の中間計算結果を「KVキャッシュ」として保持し、それを再利用するが、このキャッシュは記録の長さに比例して膨らむ。128Kトークンの記録なら、その分をずっとメモリ上に載せておかなければならない。レイテンシとストレージコストがそろって上がる。RAGは常駐の負担こそ軽いが、毎回「何を取り出すか」を検索し、その断片を再び押し込む作業が付いて回る。
MemT-1.0は、別の道を問う。推論やマルチモーダルが外部ツールからモデル内部へと吸収されてきたように、記憶もまたモデルが生まれつき備えるべき能力だ、という発想である。著者らの前モデルMetisがこの考えを初めて打ち出し、MemT-1.0はその構造を受け継ぎつつ、記憶を蓄え、取り出して使う方式を変えた後継作だ。
動作は一文で言える。新しい情報が入ってくると、その情報でモデル内部の記憶を書き換え、答えるときにその記憶を参照する。
ここで、一つの誤解を取り除いておく必要がある。この「記憶」は、人間が読める要約文ではない。情報を反映して少しずつ更新されていく数値状態だ。数字のまとまりが、対話の内容を含みながら変化していく、と捉えればよい。
記憶は二つの層に分かれる。一つは、対話が進むにつれて刻々と変わる状態、つまりいまこの対話で実際に積み上がった内容だ(ローカル記憶)。もう一つは「どう記憶するか」を担う処理の仕方で、学習が終わると固定され、対話中には変わらない(ハイパー記憶)。前者は対話ごとに新しく埋められ、後者はモデルがすべての対話に適用する規則だ。
構造の骨格は、ごく普通の因果言語モデル(先の内容だけを見て次の単語を予測する通常の言語モデル)の上に記憶ブロックを載せることにある。記憶ブロックは一部の層で、元のアテンション(いまの文でどの単語に注目するかを選ぶ計算)と並んで記憶アテンションを走らせる。元の層の主要なパラメータには手を触れない。既存の能力はそのままにし、記憶だけを別経路として加える。
記憶ブロックには二つの宿題が課される。入ってくる情報で記憶をいかに安定して書き換えるか、そしてその記憶をどれだけ多く収めるか、だ。
一つ目の宿題は、トークン単位の更新機構(GDN-2)が担う。トークンが一つ入ってくるたびに、三つのゲートが「何を残し、何を変えるか」を調節する。古い内容を削り、新しい内容を書き込み、全体を徐々に薄れさせる。足すことと消すことを繰り返すと、記憶の値が一方に偏って暴走しかねないが、著者らは更新演算を練り直してこの発散を防いだ(計算は記事末にまとめた)。
二つ目の宿題は、容量を増やす機構(Mixture-of-Storage)が担う。記憶を複数のマスに分けつつ、入れるときも取り出すときもすべてのマスを一緒に使う。こうして、対話中に使う記憶容量と、学習で得られる記憶パラメータをともに増やす。詳しい動作も記事末に回した。
性能は四つの軸で見た。数字を読む前に、一つ区別をつけておくとよい。公開された二つのモデルは、それぞれ異なるバックボーン(記憶ブロックを載せる前の土台となるモデル)の上に乗っている。バックボーン自体を後処理学習した段階の成果と、ネイティブな記憶が生み出した成果は、別の数字だ。両者を混ぜると、記憶の手柄をバックボーンに取り違えて帰すことになる。
記憶。 11個の記憶ベンチマークで、二種類のベースラインと競った。一つは情報をモデルの重みや状態に収める「パラメータ記憶」方式で、MemT-1.0と同じ系列だ。もう一つは原文を外から取り出して読み返すRAGやテキストメモリ方式だ。MemT-1.0は、同系列であるパラメータ記憶のベースラインを平均で上回った。推論時に原文を見ずに過去の情報を引き出す、という条件で出た結果だ。ただしRAGや強力なテキストメモリ系と比べると、肩を並べるには至っていない。11ベンチマークの平均で、Flashが50.60、Nanoが46.97だったのに対し、原文を読み返すDenseRAGはそれぞれ57.28・56.49、テキストメモリのMemOSは68.55・68.46と、いずれもかなり先を行く。論文自身も、強力なテキストメモリ系が相当の差で先行すると明記している。原文を手放す身軽さは、いまのところ精度の差と引き換えに成り立っている、と読むべきだ。
汎用能力。 記憶に特化すると、通常タスクの実力が削られがちだ。著者らは記憶機能を加えたあとの一般タスク性能を「ノイズ設定」と呼ぶ評価で別途確かめ、汎用能力はおおむね保たれた。
効率。 記録の長さを伸ばしながら、フルコンテキスト方式と比較した。ここで測っているのは、同じ長さを扱うときのコストであって、回答の正確さではない。
| 測定軸 | 条件 | 結果 |
|---|---|---|
| 推論速度 | Nano、128K記録、フルコンテキスト比 | 約1.86倍の向上 |
| 常駐ストレージサイズ | Nano、128K記録、フルコンテキストKVキャッシュ比 | 約66倍の削減 |
二つの値はいずれも、Nanoが128Kの記録をフルコンテキスト方式と突き合わせた条件のものだ。論文§6.5は512～256Kの区間を測り、記録が短いときはおおむねフルコンテキスト方式よりむしろ遅く、32K付近で同等になり、64K・128K・256Kではそれぞれ約1.20・1.86・3.99倍速くなる、と示している。効率の利点は記録が長くなるほど大きくなり、一定の長さを下回ると逆に損になる。
エージェント。 「過去に似た問題をどう解いたか」という手続き的経験を記憶に入れると、エージェントがよりうまく動くのか、を見た。コーディングベンチマークのSWE-bench VerifiedとSWE-bench Multilingualで、手続き的経験を入れたエージェントと入れなかったエージェントを比較した。平均成功率だけでなく、反復実行間の一貫性も合わせて見た。同じ問題でも実行のたびに結果が揺れるが、その揺れが減ったかを見たのだ。経験を入れた側が両指標をともに押し上げ、経験をテキストで直接与えた方式とも肩を並べた。記憶が単なる情報の想起を超えて、複数段階にわたって続く実行の道案内まで担う、という兆候だ。
MemT-1.0の最大の長所は、記録が長くなっても常駐状態のサイズが一定に保たれることだ。まさにそこから、最も鋭い問いが生まれる。器のサイズが固定されているなら、情報を注ぎ続けるとき、何が残り、何があふれ出るのか。
一つの決定が三度覆されたプロジェクトを思い浮かべてみよう。固定された記憶は、この一場面で互いに引っ張り合う三つの要求を同時に受け取る。
| 記憶に課す要求 | 固定容量で破綻する様相 | 別途確認すべきこと |
|---|---|---|
| いま有効な最新の結論を把握する | 最新だけを上書きし、変更理由を失う | 最新の決定を誤らず思い出せるか |
| なぜ変わったのか、変更履歴を区別する | 履歴を全部抱えようとして器がすぐ埋まる | 以前の決定と最新の決定を区別できるか |
| 各決定の根拠をたどり直す | 圧縮の過程で根拠がつぶれる | 各決定を原文の根拠に結びつけられるか |
三つの要求は、固定容量のなかではトレードオフの関係にある。よくある失敗はこうだ。最新の結論は正確に当てるのに、なぜその結論へ変わったのかは説明できない。論文は常駐状態が一定に保たれる事実までは示している。覆りが重なるとき三つの要求をそろって守れるかは、要約結果だけでは見分けられず、表の右側の三項目をそれぞれ測って初めて明らかになる。
公開数値の外側にある空白も残る。論文§6.6・Figure 9はDenseRAGとストレージコストを直接突き合わせて比較したが、RAGと推論速度を直接突き合わせた値は公開されていない。事実が途中で変わる状況をどれだけ頑健に追えるかは、実運用でとりわけ重要だが、著者らはそのケーススタディを付録Gに別途置いている。また、記憶がモデル内部の状態である点は諸刃の剣だ。外から取り出して読むRAGの断片とは違い、モデル内に押し込まれた記憶は、いま何を収めているかを人間が覗き込みにくい。
著者ら自身が残した後続課題もある。記憶から学んだものが再び重みへ戻っていく循環ループ、そして知識のギャップを合成データで埋める作業だ。どちらもまだ問題を一つずつ閉じていく段階だと記している。
ONTLEはAIプロジェクトマネージャーを派遣するサービスだ。あるAI PMが、ある顧客企業の3か月プロジェクトを任されたとしよう。毎日会議が開かれ、担当者が替わり、先週決めた方式の代わりに前に話したほうへ戻そう、という要請が飛んでくる。長いやり取りが際限なく積み上がる、典型的な現場だ。
ここで検証してみるべき適用仮説は、一つに絞られる。手続き的経験を記憶に入れると実行間の揺れが減る、という結果が、繰り返される判断の一貫性へとつながるのか、だ。たとえば「この顧客はレポートを特定のフォーマットで求める」が記憶に入れば、同じ状況で毎回違う形式を出してしまうリスクは減るだろう。
仮説をそのまま信じ込まず、一手を組んで確かめるほうがよい。3か月分のプロジェクト記録に、レポート形式の変更と決定の覆りを一緒に混ぜ込み、三つに分けて測ってみる。顧客が求めるレポート形式をどれだけ守るか(形式遵守率)、最後に確定した決定を誤らず思い出せるか(最新決定の想起)、その決定がどの議事録から出たのかを原文につなげられるか(原文へのひも付け)。一つ目が上がるあいだに残り二つが揺らがないかを見て初めて、長いプロジェクトに載せるか判断できる。
監査証跡が必要な原本の根拠は、内部状態型の記憶とは別に、取り出して読める記録として個別に保管する設計も合わせて置くほうが現実的だ。
MemT-1.0はまだ研究段階のアーキテクチャであり、核となる効率の数値も特定条件で出た値だ。いますぐ製品に挿し込める技術というより、長いやり取りの記憶コストを構造で減らす方向が実証され始めた、という兆候に近い。長いプロジェクトを扱う側なら、上の三つの問いを携えて小さく試してみる価値は十分にある。
トークンごとに足して消してを繰り返すと、記憶状態の値が一方に偏って発散しかねない。著者らは、足す側と消す側が釣り合うよう、更新演算を対称な形で組んだ。こうすることで、値が雪だるま式に膨らむのを抑えられる(詳細は論文付録C)。
名前はMixture-of-Experts(MoE)を連想させるが、動作はむしろ逆に近い。通常のMoEはトークンごとに一部のエキスパートだけを選んで使う。MoSはすべての記憶エキスパートが毎回参加する。エキスパートごとに独立した記憶状態を持ち、読み出し用のルーターと書き込み用のルーターが、どう読むかとどう書くかを別々に定める。二つのルーターは共有された「エキスパートアドレス行列」の上で動くが、読むときの射影と書くときの射影を別々に学習する。同じ引き出し番号を使っても、入れる手つきと取り出す手つきがそれぞれ最適化される構造だ。
軽量なNanoと大型のFlashの二つが公開された。表の「B」は10億、「M」は100万の単位だ。
| モデル | 総パラメータ | 活性パラメータ | 動的記憶 | バックボーン |
|---|---|---|---|---|
| MemT-1.0-Nano | 36B | 3B | 10M | Qwen3.6-35B-A3B |
| MemT-1.0-Flash | 288B | 17B | 336M | 後処理学習したDeepSeek-V4-Flash |
活性パラメータは一度の推論で実際に使われる分、動的記憶は対話中に更新される記憶状態のサイズ、バックボーンは記憶ブロックを載せる前の土台となるモデルだ。
論文には、ネイティブな記憶を付ける前、バックボーンだけを後処理学習した段階の成果も載っている(論文Figure 2は、この数値がネイティブ記憶なしのバックボーン準備後のものだと明記している)。後処理学習が主に高めるのは、たまに解けていた問題をより安定して解く信頼性であり、残ったギャップのかなりの部分は情報不足だ。
このギャップが情報で埋まることは、別途確認されている。難しい知識問題に関連する事実を文脈として与えると、正確度は27%から91%へと跳ね上がった。これは「情報を供給すれば性能が上がる」という事実だ。その供給をネイティブな記憶が代わりに担えるというのはその次の主張であり、両者は区別して読むべきだ。
NanoとFlashの二つのモデルが公開されている(下記のHuggingFaceリンク)。ただしまだ研究段階のアーキテクチャなので、運用に載せる前に自分の環境で効率と品質を改めて測っておくほうが安全だ。
一度の推論で全パラメータを使い切らず、一部だけを選んで使うからだ。Nanoは総36Bのうち3Bだけ、Flashは288Bのうち17Bだけが実際の推論に参加する。全体の規模は大きく保ちつつ、計算コストは活性分だけ支払う設計だ。
そうではない。記憶の精度そのものが、まだRAGや強力なテキストメモリ系に及んでいない。加えて、内部状態型の記憶は、いま何を収めているかを人間が覗き込みにくい。決定の根拠をあとで原文までたどり直す必要がある監査・規制の領域では、取り出して読める記録をRAGのように別途置く設計も合わせて必要になる。