随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理服务效率的核心瓶颈。自回归生成的特性使得模型必须存储历史 token 的 key-value 状态（即 KV cache）以避免重复计算，但 KV cache 的显存占用随着上下文长度的增长而膨胀，带来显著的内存瓶颈。

The dynamic interplay between processor speed and memory access times has rendered cache performance a critical determinant of computing efficiency. As modern systems increasingly rely on hierarchical ...

随着 LLM 向 1M 上下文演进，KV cache（键值缓存）已成为制约推理服务效率的核心瓶颈。自回归生成的特性使得模型必须存储历史 token 的 key-value 状态（即 KV cache）以避免重复计算，但 KV cache 的显存占用随着上下文长度的增长而膨胀，带来显著的内存瓶颈。