sora算力需求分析,数据集和模型规模 | 【训练需求】:Sora模型的训练极为算力密集,预计1个月需要4200至10500个Nvidia H100 GPU。这一需求量在当前AI模型训练中属于非常高的规模。 【推理成本】:进行推断时,Sora模型每个Nvidia H100 GPU每小时最多可以生成约5分钟的视频。这意味着,尽管推理计算量相对训练来说较小,但...
算法层:由GPT-3.5架构的大型语言模型(LLM)支持,属于自然语言处理(NLP)领域人工智能。 GPT3.5是GPT3(Generative Pre-trained Transformer,生成式预训练变换器)的微调版本。该模型由1750亿个统计性联系组成,在约三分之二互联网、整个维基百科和两个大型图书数据集中进行训练。 在训练过程引入人类反馈的强化学习(RLHF)...
同时小鹏的云端大模型不只服务于自动驾驶,更是国内首个泛机器人领域的基础大模型,可以用于训练小鹏生态中的一系列产品,涵盖自动驾驶 / 智能座舱 / 机器人 / 飞行汽车等。 今年的1024汽车科技日也变成了首次“AI智驾技术分享会”,期待一下大会上还会透露多少什么关于小鹏智驾的秘密~...