DeepSeek-AIが、長いコンテキストを扱うエージェント作業に特化した新モデルDeepSeek-V4.1-Flashを発表した。要点はひとつだ。100万トークンまで処理する552B(5,520億)規模のマルチモーダルMoEモデルでありながら、常に高速メモリ(HBM)に載せておくKVキャッシュをトークンあたり890バイトまで削り、前モデルの約4分の1に圧縮した。それでいて性能はむしろ向上している、というのが著者らの主張だ。
本稿では、論文のアブストラクトに明記された事実だけを根拠に、このモデルが何を解決し、どんな手法を用い、実際のプロダクトにどんな意味を持つのかを整理する。
近ごろLLMの使われ方が変わってきている。かつては人が短い質問を投げ、モデルが長い答えを書くという形だったが、いまは「長く働き続けるエージェント(long-horizon agent)」が主流だ。長い文書、コードベース全体、複数ステップにわたる対話履歴を丸ごと抱え込み、それを参照し続けながら仕事をする。アブストラクトの表現を借りれば、作業はますます「入力中心(input-heavy)」へと重くなっている。
ここで2つのコストが問題になる。
ひとつめはプリフィル(prefill)。モデルが答えを生成する前に、入力全体を一度読み込むステップだ。入力が長いほどこの計算は高くつく。これまで長コンテキストの計算コストを下げる研究は数多く進められてきたが、アブストラクトは、プリフィルが依然として計算上高コストであると指摘する。
ふたつめはKVキャッシュ(KV cache)。これは図書館の司書のメモ書きにたとえられる。モデルは、先に読んだトークンの情報を毎回計算し直さずに済むよう、メモ書き(キャッシュ)に書き留めておく。コンテキストが長くなるほど、このメモの束は分厚くなる。問題は、このメモをどこに置くかだ。
アブストラクトは、大きなKVキャッシュがHBMとSSDの容量、そしてデータ転送帯域幅のすべてを圧迫すると述べる。つまり、計算・保存・帯域幅という3つの負担こそが、デプロイコストをこれ以上下げられなくしている核心的なボトルネックだというのだ。この論文はまさにこのボトルネックを狙い撃ちにしている。
DeepSeek-V4.1-Flashがボトルネックを突破するために用いた手法は、大きく3つの方向に分かれる。
このモデルはCausal Encoder-Decoder(CED、因果的エンコーダ・デコーダ)という構造を採用している。そしてMoE(Mixture-of-Experts、専門家混合)方式だ。MoEは、5,520億個のパラメータをすべて保持しつつ、トークンごとにそのうちの一部の専門家だけを起こして使う方式だと理解すればよい。百科事典を丸ごと所有しつつ、質問ごとに関連する数ページだけを開くようなものだ。
CEDの妙味は、ステップごとに起こす規模を変えた点にある。アブストラクトによれば、答えを生成するデコード(decode)ステップではトークンあたり16B(160億)パラメータを活性化するが、入力を読み込むプリフィルステップでは8B(80億)パラメータだけを活性化する。入力をざっと読むときは軽く、実際に答えを絞り出すときは重く働くわけだ。先に述べたプリフィルが高コストだという問題を正面から突いた設計であり、アブストラクトはこれがエージェント作業のコスト効率を大きく改善すると述べている。
KVキャッシュを削るために、2つの手法を組み合わせている。
この2つを合わせた結果、常にHBMに載せておく必要のあるグローバル(global)KVキャッシュがトークンあたり890バイトまで縮んだ。アブストラクトは、これが前モデルであるDeepSeek-V4-Flashの約4分の1の水準だと述べる。机の上に置くべきメモの嵩を4分の1に減らしたのだ。
机だけでなく倉庫も整理した。SWA Bounded Replayという専用のデプロイ最適化手法により、常にSSDやホストメモリに残しておかねばならない永続型(persistent)KVキャッシュを、DeepSeek-V4-Flashの約8分の1に削減した。名称のSWAはスライディングウィンドウアテンション(Sliding Window Attention)系を指すと見られるが、アブストラクトは具体的な内部動作までは記述していないため、ここでは「倉庫に溜まるメモを8分の1に減らすデプロイ手法」という結果だけを確定的に受け止めるのが正確だ。
このほかアブストラクトは、DeepSeek-V4アーキテクチャを簡潔に整理し(streamline)、いくつかの効率的な構造拡張を導入したとだけ述べている。詳細はアブストラクトには書かれていない。
アブストラクトが明記している成果を整理すると、次のとおりだ。
| 項目 | 内容 |
|---|---|
| モデル規模 | バックボーン552BパラメータのマルチモーダルMoE |
| 最大コンテキスト | 最大100万(1M)トークン |
| 活性パラメータ | デコード16B、プリフィル8B |
| グローバルKVキャッシュ(HBM常駐) | トークンあたり890バイト、V4-Flashの約1/4 |
| 永続型KVキャッシュ(SSD/ホスト常駐) | V4-Flashの約1/8 |
| 事前学習データ | マルチモーダルコーパス45T(45兆)トークン |
| 性能 | キャッシュが大幅に小さいにもかかわらずベースラインより相当優秀 |
もっとも注目すべきは「より小さいのにより良い」という組み合わせだ。普通、何かを圧縮すれば性能は削られるものだが、アブストラクトは、はるかに小さいKVキャッシュ容量にもかかわらずベースライン(baseline)より相当に優れた性能を出すと主張する。さらに、テキストベースとマルチモーダルの両エージェントシナリオ全般で強い性能を示したという。事前学習は45Tトークンのマルチモーダルコーパスで行い、総合的な事後学習(post-training)を経ている。モデルのチェックポイントはHuggingFaceで公開されている。
ただしアブストラクトには、具体的なベンチマークスコア、どのデータセットで何点上がったのか、どのbaselineとどんな条件で比較したのか、といった数値は含まれていない。したがって「ベースライン比で相当優秀」は定性的な記述として受け止めるのが誠実だ。
アブストラクトだけで判断する限り、以下の疑問が残る。
こうした詳細は、論文本文と公開チェックポイントで確認すべきだ。
ONTLEは「AIプロジェクトマネージャーを派遣するSaaS」だ。AI PMは典型的なlong-horizon agentである。プロジェクトの記録、過去の議事録、イシューの履歴、チームの文脈を長く抱えながら、複数のステップにわたって判断を下す。アブストラクトが名指しした「入力中心の作業」とちょうど重なる。
この研究がプロダクトにもたらす示唆を整理すると、次のとおりだ。
まとめると、この論文は「より長い文脈をより安く」という方向を、KVキャッシュ圧縮という具体的な軸で押し進めた事例だ。長く働き続けるエージェントをプロダクトとして運用する立場からすれば、性能ベンチマーク以前に「メモリフットプリントをいかに減らすか」こそがサービスのマージンに直結する、ということをあらためて確認させてくれる。
MoE(専門家混合)構造のため、552Bをすべて同時に使うわけではないからです。アブストラクトによれば、トークンごとに、答えを生成するデコードステップで16B、入力を読むプリフィルステップで8Bだけを活性化します。全体の規模は大きくても、実際に各瞬間の計算に動員される部分は小さいのです。
アブストラクトは、この値が常にHBMに載るグローバルKVキャッシュを基準としたもので、前モデルのDeepSeek-V4-Flashの約4分の1の水準だと述べています。また、SSD・ホストメモリに常駐する永続型キャッシュは、SWA Bounded Replay手法によって約8分の1まで削減しました。他社モデルとの絶対比較値はアブストラクトにありません。
アブストラクトは、はるかに小さいKVキャッシュでもベースラインモデルより相当優秀な性能を出すと主張しています。ただし具体的なベンチマークスコアや向上幅はアブストラクトに示されていないため、正確な数値は論文本文と公開チェックポイントで確認するのが適切です。
モデルのチェックポイントがHuggingFaceで公開されており、検証は可能です。ただしFP4キャッシングとCEDの非対称な活性化の利点を十全に享受するには、それに合った推論環境が前提となります。実際の導入可否は、サービスのインフラとコスト構造に応じて別途の検討が必要です。