タグ: KVキャッシュ

BeamのスライディングウィンドウアテンションとKVキャッシュの計算方法 2026/10/27
BeamのKVキャッシュは、52層中9層のグローバルアテンションだけがコンテキスト長に比例して増え、1Mトークンで約36GiBになる。公開configから計算し、公開時の説明の値と照らした。1Mでの品質を第三者が測った評価は見つからない。