作者: 9月13日,在百度智能云举办的媒体技术沙龙上,我见到了百度杰出系统架构师、百度智能云AI计算部负责人王雁鹏,非常高兴。 话题集中在大模型训练时共性问题:算力利用率很低。 目前企业训练大模型的算力有效利用率不足 50%,这意味着,一半以上的算力被浪费了。在算力短缺且昂贵的当下,这无疑是一种巨大的浪费。 那么,究竟该如何提升算力的有效利用率呢
智东西9月13日消息,百度系统架构师、百度智能云AI计算部负责人王雁鹏向媒体解读了大模型时代的算力成本。为了有效降低AI万卡集群的算力开支,他提出搭载RDMA网络、自动并行策略、保证训练稳定性、动态分配算力、多芯异构混训,共五个方面的解决方案。 过去互联网时代,服务器每台数万元,各大厂商光是采购成本就要花费几个...
百度王雁鹏揭秘算力五大绝招#人工智能 #科技 #科技兴国引领世界 #华为发布会 #知识科普 - 优道财富于20240916发布在抖音,已经收获了605个喜欢,来抖音,记录美好生活!