基本符合官方3800的极限能力量级区间。他肯定做优化了嘛//@rafaello: 千问官方性能评估datasheet里a100单卡32bllm模型输入1t int8输出37t,输入6144t输出35t。ds全量moe激活参数37b大小类似32b的qwen。由此可推算ds需要的n卡数量。mlperf基准测试里h100推理性能是a100的4.5倍,h800估计会低一些。 2025-02-06 22:36...