我们放弃any-to-any网络连接是在满足LLM训练网络要求的同时支撑LLM增长趋势的第一步。我们也感谢在不影响性能的情况下减少语言模型的大小和资源需求的持续努力[44],这些工作补充了我们的工作,因为我们的方向是减少网络资源并保持性能,即使对于较小的语言模型和集群也是如此。 LLM推理。本文探讨了LLM的训练工作量,但推理...