待任务完成后，在 Mixture-of-Experts（MoE）层前后再进行必要的同步操作，从而显著降低了 KV Cache 的重复存储负担，优化了内存使用，并支持更大批量请求的高效处理。该优化专为高 QPS（Queries Per Second）场景设计，用户在使用 DeepSeek 系列模型时可通过命令参数 --enable-dp-attention 一键启用这一功能。在单...
CacheAgnosticPolicy] def __init__(self, policy: str, tree_cache: BasePrefixCache): self.policy = self._validate_and_adjust_policy(policy, tree_cache) self.tree_cache = tree_cache # It is used to find the matching prefix
prefix cache prefix cache 的基本需求就是:把输入的 prompot_token_ids 对应的 kv 值存起来,下次输入类似的 prompot_token_ids 时就直接从 cache 中取出能用的部分,省去一些重复计算。 举个例子:假设第一次输入的 prompt 是"hello, what your first name",就把这几个 token 的 kv 值存起来,下次输入一个...
有关XGrammar 的进一步介绍,SGLang 团队已在官方博客中进行了深入探讨,相关技术文档可供参考。 五、Cache-Aware Load Balancer:智能路由的架构突破 在SGLang v0.4 中,引入了独出心裁的全新 Cache-Aware Load Balancer,为大模型推理系统提供了智能路由的架构突破,全部以 Rust 编写,相比于Python大幅减少 Service Over...
Thanks so much for the work on this repo so far. I think prefix caching could be very useful and I see that vLLM is also starting to support it for some architectures. It looks like the BaseBackend.prefix_cache method still needs to be i...
对于较长的Context,KVCache对显存的占用也特别大, 虽然单机的H20显存也能放得下满血版的671B模型,但是剩余的显存也会约束到模型的并发能力. 通常有些提供API的厂家会配置一个截断, 例如最大长度就8192个Tokens. 通常在这种场景下为了提高并发, 最小配置都会用2台以上的H20, 或者一些MI300的实例, 国外还有一些会...
Fast Backend Runtime: Provides efficient serving with RadixAttention for prefix caching, jump-forward constrained decoding, overhead-free CPU scheduler, continuous batching, token attention (paged attention), tensor parallelism, FlashInfer kernels, chunked prefill, and quantization (FP8/INT4/AWQ/GPTQ)...
从首个支持 Prefix Cache 的推理框架,到斩获 11K Star、月均 10 万下载量的开源明星;从 xAI、NVIDIA、AMD 等巨头的深度集成,到为 DeepSeek 模型的最佳开源推理引擎 ——SGLang 的每一次技术突破,都源于社区开发者的真实需求与共创智慧。 在SGLang 的代码仓库中,200+ 社区贡献不仅带来了 Multi-head Latent ...
从首个支持 Prefix Cache 的推理框架,到斩获 11K Star、月均 10 万下载量的开源明星;从 xAI、NVIDIA、AMD 等巨头的深度集成,到为 DeepSeek 模型的最佳开源推理引擎 ——SGLang 的每一次技术突破,都源于社区开发者的真实需求与共创智慧。 在SGLang 的代码仓库中,200+ 社区贡献不仅带来了 Multi-head Latent ...
对于较长的Context,KVCache对显存的占用也特别大, 虽然单机的H20显存也能放得下满血版的671B模型,但是剩余的显存也会约束到模型的并发能力. 通常有些提供API的厂家会配置一个截断, 例如最大长度就8192个Tokens. 通常在这种场景下为了提高并发, 最小配置都会用2台以上的H20, 或者一些MI300的实例, 国外还有一些会...