オンポリシーが万能ではなかった — 蒸留の明暗を分けたのはKLの向きと学習率
ケンブリッジの研究チームが、オンポリシー蒸留の優位性を統制実験で検証した。最終性能を左右したのはロールアウト方策ではなくKLの向き、そして忘却と疎性を決めたのは学習率だった。
OneStreamer: 過去をメモに残し、現在を曇らせずに記憶する動画AI
南京大学などが公開したストリーミング動画AI「OneStreamer」。見た場面を自らキャプションとして書き留め、過去を動画そのものではなくメモとして持ち運ぶことで、4Bという小ささでベンチマーク8つすべてを制した。
モデルにラベルを貼るだけでAIは派閥を作る ― 「派閥主義」の発見
エージェントに互いのモデル系列を教えたところ、同じラベル同士で群れる「派閥主義」が生まれた。2つの協力ゲームと推論ベンチマークで測定し、ラベルを隠すだけでそれは消えた。
計画を最初にすべて決めないディープリサーチエージェント、同じ条件で精度が高くコストも低かった
全体の計画をあらかじめ固めず、終わったタスクの結果を見ながら少しずつ計画を広げていくディープリサーチAIエージェントが登場した。同じ条件での比較で、精度を上げつつトークン・ツール呼び出し・ステップ数をいずれも減らした。
同じAIを3回走らせたスコアのほうが、別々のAIどうしよりも大きくブレた — BIABench
公開済みの生物学研究をタスクとして蘇らせたBIABench。2Dはクリアしたが、奥行き・時間が加わった一部のタスクは最高点が0.19にとどまり、同じエージェントの再実行によるばらつきがエージェント間のばらつきを上回った。
出力はそのまま、コーディングエージェントの応答生成だけを最大4.76倍に — KAIST AgSpec
KAISTのAgSpecは、コーディングエージェントが答えを書き下ろす区間だけを加速する。greedy条件では出力を一切変えず、従来の最速手法より平均18.0%速かった。
系列の異なるLLM同士で文脈を読み直さずに引き継ぐ — HeteroFold
系列の異なる2つのLLMが、長い文脈を読み直すことなく、事前に計算した結果だけを引き渡して使えるようにしたHeteroFold。32Kでは再プリフィルより10.7倍速く、マルチエージェントではテキスト通信と互角だった。
行動を「書く」のではなく「選ぶ」—エージェントを高速化したJevSpawn
行動を毎回トークンで生成するのではなく有限の候補から選ばせ、しかもその候補リストをモデル自身がタスクから作り直していく——そんなJevSpawn論文の分析。
AIはなぜ最後の一行で崩れるのか — KaliBench解剖
自然言語のセキュリティ要求をKaliコマンドへ落とし込む能力を「ツール選択」と「引数構成」に分けて測ったところ、ツールはうまく選ぶのに引数で崩れた。
コーディングAIはロボットエンジニアになれるのか — RLE-Benchという資格試験
ハーバードとジョージア工科大の研究陣が、コーディングAIのロボット開発力を51課題で測った。上位モデルの優位には「見る目」が効いていそうで、設計の安定性マージンという一つの指標では全モデルが0点を取った。
映像はそれらしいのに文字は間違える — 文字描画を測るVTR-Bench
映像生成AIが画面内の文字をどれだけ正確に描けるかを300のプロンプトで測定したベンチマーク。最高性能のモデルでも正規化した編集エラースコアは0.250にとどまり、映像がもっともらしいことと文字が正確であることは別物だった。
ロボットはできる、ただ指示の仕方を知らなかっただけ
ロボットはすでにできるのに、やらせる方法がなかった。身体は固定したまま『報酬プログラム』という指示書だけを進化させ、提案は言語モデルが、判定は手を触れられない検証器が担い、成功率を2.5倍に引き上げる。