vLLM 是一款专为大语言模型推理加速而设计的框架,实现了 KV 缓存内存几乎零浪费,解决了内存管理瓶颈问题。 更多vLLM 中文文档及教程可访问 →vllm.hyper.ai/ vLLM 使用 PyTorch XLA 支持 Google Cloud TPU。 依赖环境 Google Cloud TPU VM(单主机和多主机) TPU 版本: v5e、v5p、v4 Python: 3.10 ...
首先TPU-MLIR原有的INT8量化方案并不适合直接应用于LLM。主要是因为无论PTQ的校准或者QAT的训练对于LLM来说成本过高,对LLM的一轮PTQ的校准可能就需要1-2天时间;另外就是量化带来的误差在LLM上无法收敛,最终会导致模型精度大量损失。 在量化方案上我们沿用了ChatGLM2使用的W8A16策略,即只对GLMBlock中Linear Layer的...
谷歌为Ironwood设计了两种规模配置：面向推理的256芯片集群和面向训练的9216芯片集群。当扩展至最大规模时，总运算能力可达42.5 Exaflops，是当前全球最强超级计算机El Capitan的24倍。这一算力足以支持超大型密集LLM（大型语言模型）或MoE（混合专家模型）的训练与推理，推动AI技术向“思考型”和“推理型”模型演进。Iro...
TPU v4 比当代 DSA 芯片速度更快、功耗更低，如果考虑到互连技术，功率边缘可能会更大。通过使用具有 3D 环面拓扑的 3K TPU v4 切片，与 TPU v3 相比，谷歌的超算也能让 LLM 的训练时间大大减少。性能、可扩展性和可用性使 TPU v4 超级计算机成为 LaMDA、MUM 和 PaLM 等大型语言模型 (LLM) 的主要算力。这...
现在你可以使用Felafax在谷歌云TPU上微调LLaMa3.1,成本降低了 30%,还可以无缝扩展!Felafax.ai公司正在专注于为非英伟达GPU((TPU、AWS Trainium、AMD GPU 和 Intel GPU))构建AI基础设施。Felafax是一个使用 XLA runtime对开源 LLM 进行持续训练和微调的框架,他们提供必要的runtime设置,并提供一个开箱即用的 ...
详解谷歌下一代TPU：Ironwood Ironwood 这东西啊，主要是用来搞定那些“烧脑”的计算任务，像那些超大的语言模型（就是咱们常说的大模型 LLM）、专家混合模型（MoE），还有各种高难度的推理任务。这些模型可不简单，它们得同时用到好多芯片一起干活儿，还得快速存取内存。尤其是，Ironwood 的设计特别注重减少芯片上数据...
除了训练世界上一些最大规模 AI 工作负载所需的绝对性能和规模外，Trillium 还旨在优化每美元的性能。迄今为止，Trillium 在训练 Llama2-70b 和 Llama3.1-405b 等密集型 LLM 时，每美元的性能比 Cloud TPU v5e 高出2.1倍，比 Cloud TPU v5p 高出2.5倍。Trillium 擅长以经济高效的方式并行处理大型模型。它...
在2023年7月的进展中，我们已经成功将ChatGLM2-6B部署在BM1684X单芯片上，采用F16量化模式，模型大小达12GB，平均速度约为每秒3个token。为了进一步优化效率并减小存储负担，我们转向INT8量化部署。然而，传统的TPU-MLIR INT8量化策略对大型语言模型（LLM）并不适用。PTQ校准和QAT训练在LLM上成本高昂，...
【新智元导读】谷歌团队发布LLM硬核技术教科书,从「系统视图」揭秘LLM Scaling的神秘面纱。Jeff Dean强调书中藏着谷歌最强AI模型Gemini训练的更多信息。 由于深度学习的「黑箱」本性,从业者自我调侃道: 如果说深度神经网络是现代版的「炼金术」,我们在古代就是「炼金术士」。
Ironwood助力推理时代 Ironwood旨在出色地处理“思维模型” 复杂的计算和通信需求，这些模型包括大语言模型（LLM）、专家混合模型（MoE）以及高级推理任务。这些模型需要大规模并行处理和高效的内存访问。特别是，Ironwood的设计旨在在进行大规模张量操作时，最大限度地减少芯片上的数据移动和延迟。在前沿领域，思维模型的计算...