极端的情况是,当完全没有匹配的kv cache(即hit rate=0%),由于搜索匹配本身是需要耗时,这样肯定要比不开prefix cache速度慢。为了发挥prefix cache更大价值,于是就有了:如何保证开prefix cache始终对于系统来说都是有正收益的?的问题。 尽管prefix cache功能已在vLLM V0中实现,由于存在一定可能导致性能损失,所以默...
0x05 vLLM Automatic Prefix Caching: Prefix + Generated KV Caching 由前面的分析我们知道,RadixAttention算法中的Prefix Caching是包括Prefix和Generated KV Cache,并且如果Generated KV Cache如果也能被缓存,那么在多轮对话的场景中,显然具有更大的首Token时延优势。因此,我也比较关注vLLM实际的实现是否和RadixAttentio...
0x05 vLLM Automatic Prefix Caching: Prefix + Generated KV Caching 由前面的分析我们知道,RadixAttention算法中的Prefix Caching是包括Prefix和Generated KV Cache,并且如果Generated KV Cache如果也能被缓存,那么在多轮对话的场景中,显然具有更大的首Token时延优势。因此,我也比较关注vLLM实际的实现是否和RadixAttentio...
除自预测方案之外，Taco-LLM 也支持 RawLookaheadCache 和 TurboLookaheadCache 两种 cache 方案，减少冗余计算，提高性能与整体命中率。使用 Prefix Cache 技术降低 TTFT Prefill 优化的主要目标是降低 TTFT，优化用户使用体验，这里常用的优化是多卡并行，例如 TP 和 SP，来降低 TTFT，Taco-LLM 在此基础上使用 GPU...
We are planning to add prefix-cache-aware routing support, as mentioned in #26 . Here is an initial version of design. This design focuses on building the fundamental APIs for prefix-cache-aware routing, without requiring large API chang...
Prefix caching FlashInfer and other non-FlashAttention attention backends 参考论文 [1]H2O: Heavy-Hitter Oracle for Efficient Generative Inference of Large Language Models [2]Keyformer: KV Cache Reduction through Key Tokens Selection for Efficient Generative Inference [3]SnapKV: LLM Knows What You ...
CachedBlockAllocator:按照prefix caching的思想来分配和管理物理块。在原理篇中,我们提过又些prompts中可能含有类似system message(例如,“假设你是一个能提供帮助的行车导航”)等prefix信息,带有这些相同prefix信息的prompt完全可以共享用于存放prefix的物理块,这样既节省显存,也不用再对prefix做推理。 UncachedBlockAllocat...
Your current environment vLLM version 0.5.0.post1 🐛 Describe the bug Hi, Seems that there is a dirty cache issue with --enable-prefix-caching. We noticed it as we saw internal eval scores significantly degrade when running with --enable-...
Prefill 优化的主要目标是降低 TTFT,优化用户使用体验,这里常用的优化是多卡并行,例如 TP 和 SP,来降低 TTFT,Taco-LLM 在此基础上使用 GPU & CPU 结合多级缓存的 Prefix Cache 技术,让一部分的 prompt token 通过查找历史的 kv-cache 获得,而不用参与 Prefill 阶段的计算,减少计算量,从而降低 TTFT。这项技术...
如果Block 太小,PagedAttention 可能无法充分利用 GPU 的并行性来读取和处理 KV Cache。 如果Block 过大,则内存碎片会增加,Prefix Cache 共享的可能性会降低。 如下图所示,作者使用 ShareGPT 和 Alpaca 数据评估了不同 Block Size 下的 Latency(越低越好),可以看出,当 Block Size 为 16 和 32 时表现最好,...