ルールブックを書き換えながら自ら賢くなるエージェント — Memento 3 徹底読解
LLMはそのままに、外部メモリの「ルールブック+コード」だけを書き換えて世界モデルを学習するMemento 3。ARC-AGI-3の公開ゲーム25種をすべて攻略した仕組みと、ONTLEのAI PMへの示唆。
正解ひとつで採点したテストのスコア、測り直したら半分になった
AIが生成したテストを正解実装ひとつだけで採点すると、品質は水増しされる。複数の有効・無効な実装で測り直すと、最も優秀なモデルでさえ59.67%から28.00%まで落ちた。
誤差にも寿命がある — STEPQuantがAIサーバーのメモリを削減する仕組み
線形アテンションモデルの状態メモリを6ビットに圧縮し、特定のサービング条件下でメモリを大幅に削減しながら精度を保ったSTEPQuant。誤差が「いつ・どこで」蓄積するかを切り分けた発想を追う。
証拠から行動へ：ツールを使うAIエージェントはどこで崩れるのか
結果が正しくても、行動の根拠を実行前に確保できていなければ失敗だ。656課題のベンチマークSafeActBenchで見ると、エージェントは実行よりも「行動前の調査」で先に崩れていた。
AIが作った問題でAIを試す: AutoSciBench
エージェントが試験をあまりに速く解いてしまい、ベンチマークはすぐに役立たなくなる。AutoSciBenchはエージェントの解答プロセスを覗き見しながら、問題を自ら難しく育てていく。
スキルは直すほど悪くなることがある — EviSkillは「再現」でふるいにかける
スキルを経験則で直すと、かえって後退しやすい。EviSkillは問題が起きた場面だけを再実行し、効果が確認できた修正だけを反映する。
比較の幅を広げるほど損をした — クロストークナイザー蒸留の逆説
トークナイザーが異なるモデル間の蒸留で、比較範囲を広げたところ18設定すべてで精度が下がった。重要だったのは範囲ではなく、信号の信頼度だった。
低精度強化学習、品質を保ちつつ5.4倍高速化 — アリババ TRACE
アリババの TRACE は、学習とロールアウトの「丸め誤差のズレ」を直接縮めることで、FP4 強化学習において BF16 並みの品質を保ちながらロールアウトのスループットを最大5.4倍に引き上げた。4種類の MoE で実測。
実行する前に選ばせよ — AIエージェントの本当のボトルネックは「選別」だった
候補となるコマンドを複数生成し、実行する前に一つだけ選ぶ。成否を分けたのは候補の数ではなく、それを見極める検証器の質だった。
翻訳しながら自らを修正する:シーズン全体の字幕で一貫性を保ったSMART
ドラマを1シーズン通して翻訳すると、同じ呼称が話数ごとにブレてしまう。SMARTはモデルを再学習させず、翻訳の途中で作業のやり方自体を修正し、15の翻訳方向すべてで1位を獲得した。
料理が失敗したら誰のせい? すべての役割をともに鍛えるFloWright
設計者だけを教えていたマルチエージェントのワークフロー。FloWrightは実行ログに残った失敗を役割ごとに切り分け、すべての役割をまとめて強化学習させることで、4Bモデルの精度を平均+5.03%ポイント引き上げた。
AIに記憶の「書き方」を教えてみたら——綱引きが始まった
数百時間の映像を短い文章の記憶へ圧縮するMemLife、そしてその「書き方」だけを強化学習で鍛えたMemOpt。精度は上がったが、読む側が賢いほど、その上乗せ分は縮んでいった。