手伝ってもらってもまだ遠い — 自律エージェントの「確認を仰ぐべき決定」を選り分ける
長時間の自律タスクで、人間が確認すべき重大な決定を根拠つきで選り分ける研究。根拠をグラフでつなぐとモデルの指摘精度は上がるが、最高性能のモデルでもまだ先は長い。
きれいに描けるのに、見当違いに描く — RISEBench++が浮き彫りにした編集AIのボトルネック
編集AI 58種を競わせたRISEBench++ — 首位モデルですら、すべての評価軸で満点を取れた課題は56.6%止まり。画質ではなく、指示の推論が足を引っ張った。
成功だけを思い描くロボット世界モデル、その楽観を抑えた方法 — DreamTrue
成功シーンだけを学習したロボット世界モデルは、手が空振りしても成功したかのように予測する。DreamTrueは失敗をわざと想像させて採点する後学習によって、自身の初期バージョンの相互作用の不具合率48%台を6%台まで下げた。
モデルはそのまま、周辺だけを自ら直したロボット — PhysEvo
天才の脳を変えるか、天才が使う道具を変えるか。ロボットを操作するモデルは凍結したまま、失敗の記録だけを頼りに周辺システムを直し、同じモデルの成功率が26%から68%へ上がった。
ドイツ語RAGはドイツ語で考えるべきか — 推論言語の整合がもたらす効果
質問・文書・回答がすべてドイツ語のRAGで、考える言語までドイツ語に揃えると、別の強制言語（フランス語）より正確だった。ただし元々の英語思考は超えられなかった（軽量モデル実測）。
ルールブックを書き換えながら自ら賢くなるエージェント — Memento 3 徹底読解
LLMはそのままに、外部メモリの「ルールブック+コード」だけを書き換えて世界モデルを学習するMemento 3。ARC-AGI-3の公開ゲーム25種をすべて攻略した仕組みと、ONTLEのAI PMへの示唆。
正解ひとつで採点したテストのスコア、測り直したら半分になった
AIが生成したテストを正解実装ひとつだけで採点すると、品質は水増しされる。複数の有効・無効な実装で測り直すと、最も優秀なモデルでさえ59.67%から28.00%まで落ちた。
誤差にも寿命がある — STEPQuantがAIサーバーのメモリを削減する仕組み
線形アテンションモデルの状態メモリを6ビットに圧縮し、特定のサービング条件下でメモリを大幅に削減しながら精度を保ったSTEPQuant。誤差が「いつ・どこで」蓄積するかを切り分けた発想を追う。
証拠から行動へ：ツールを使うAIエージェントはどこで崩れるのか
結果が正しくても、行動の根拠を実行前に確保できていなければ失敗だ。656課題のベンチマークSafeActBenchで見ると、エージェントは実行よりも「行動前の調査」で先に崩れていた。
AIが作った問題でAIを試す: AutoSciBench
エージェントが試験をあまりに速く解いてしまい、ベンチマークはすぐに役立たなくなる。AutoSciBenchはエージェントの解答プロセスを覗き見しながら、問題を自ら難しく育てていく。
スキルは直すほど悪くなることがある — EviSkillは「再現」でふるいにかける
スキルを経験則で直すと、かえって後退しやすい。EviSkillは問題が起きた場面だけを再実行し、効果が確認できた修正だけを反映する。
比較の幅を広げるほど損をした — クロストークナイザー蒸留の逆説
トークナイザーが異なるモデル間の蒸留で、比較範囲を広げたところ18設定すべてで精度が下がった。重要だったのは範囲ではなく、信号の信頼度だった。