分享摘要:深度势能预训练大模型 DPA-2 的提出是我们迈向 “通用大原子模型” 的重要一步。本次分享将介绍 DPA 的研究背景和特点,为大家深度解读从 DPA-1 到 DPA-2 的模型框架和构建过程,以及其在 AI for Science 领域的应用前景。 嘉宾简介:张铎,北京科学智能研究院算
面向丰富的下游任务,微调 DPA-2“大模型”所需的数据量整体相比过去减少了 1-2 个数量级;同时,进一步蒸馏、压缩得到的深度势能“小模型”可以保持过去模型的精度和效率。相比于去年发布的 DPA-1,DPA-2 在模型架构显著更新的同时,最大的特点在于采用了多任务训练的策略,从而可以同时学习计算设置不同、标签类型不同...
进一步的研究显示,DPA-2 学习到的原子表示的分布与已知化学知识,与元素周期表分布规律相吻合;且 DPA-2 学习到的原子表示能够对不同的化学环境和构型环境进行区分,具有相似化学环境和构型环境的原子在 DPA-2 模型学习到的表示空间中更为接近,凸显了 DPA-2 模型架构和多任务训练方案的潜力。 如上图所示,使用 t-S...
面向丰富的下游任务,微调 DPA-2“大模型”所需的数据量整体相比过去减少了 1-2 个数量级;同时,进一步蒸馏、压缩得到的深度势能“小模型”可以保持过去模型的精度和效率。相比于去年发布的 DPA-1,DPA-2 在模型架构显著更新的同时,最大的特点在于采用了多任务训练的策略,从而可以同时学习计算设置不同、标签类型不同...
经过北京科学智能研究院、深势科技、北京应用物理与计算数学研究所等 29 家单位的 42 位合作者的通力协作,深度势能团队近日面向社区发布了深度势能预训练大模型 DPA-2,将成为 OpenLAM 大原子模型计划的重要载体。基于 DPA-2 的微调/蒸馏/应用自动化流程也于同期面向社区全面开放,打通了面向各类实际应用的最后一公里...
经过北京科学智能研究院、深势科技、北京应用物理与计算数学研究所等 29 家单位的 42 位合作者的通力协作,深度势能团队近日面向社区发布了深度势能预训练大模型 DPA-2,将成为 OpenLAM 大原子模型计划的重要载体。基于 DPA-2 的微调/蒸馏/应用自动化流程也于同期面向社区全面开放,打通了面向各类实际应用的最后一公里...
目前DPA-2 模型已覆盖化学元素超过 90 种,面向丰富的下游任务,微调 DPA-2 所需的数据量整体相比过去要节省 90% 以上,进一步降低训练成本。DPA-2 采用了多任务训练的策略,从而可以打破数据集来源限制,同时学习计算设置不同的各类数据集,迁移能力大幅提升。基于 DPA-2 的微调 / 蒸馏 / 应用自动化流程打通了面向...
OpenLAM计划通过开放模型评估系统，打破数据壁垒，鼓励共享和应用，计划在2024年持续进行模型更新和评估。社区成员可以通过Bohrium Notebook快速体验DPA-2，或通过DP Combo@Bohrium APP进行深入应用。DPA-2的成功在于其多任务预训练框架和优化的微调过程，它在保持模型性能的同时，大大减少了新体系训练所需的...
会上,北京科学智能研究院(AI for Science Institute,Beijing)联合深势科技,发布了首个覆盖元素周期表近70种元素的深度势能原子间势函数预训练模型—— DPA-1,该成果由北京科学智能研究院、深势科技、北京应用物理与计算数学研究所共同...
计算机科学与人工智能实验室(CSAIL)主任、麻省理工学院教授、论文合著者丹妮拉·罗斯(Daniela Rus)在一份声明中说:“我们的实验表明,我们可以在夏天有效地教无人机在森林中定位物体,然后在冬天部署该模型,在截然不同的环境中,甚至在城市环境中执行各种任务,如寻找和跟踪。”“我们解决方案的因果基础使这种适应性成为...