深度求索(DeepSeek),成立于2023年,专注于研究世界领先的通用人工智能底层模型与技术,挑战人工智能前沿性难题。基于自研训练框架、自建智算集群和万卡算力等资源,深度求索团队仅用半年时间便已发布并开源多个百亿级参数大模型,如DeepSeek-LLM通用大语言模型、DeepSeek
近日，一家来自中国的公司Deepseek在全球AI界刷屏，其最新推出的大模型DeepSeek-V3，迅速在AI行业内引发广泛关注和热议，主要原因就是预训练成本之低，其训练同样性能的大模型成本仅是行业主流的十分之一左右。与此同时，相比其他主流大模型，DeepSeek-V3的性能却足以比肩乃至更优。DeepSeek官方微信公众号称，其在性...
后训练方面，DeepSeek V3引入了一种创新方法，将推理能力从长思维链模型（DeepSeek R1）中，蒸馏到标准模型上。这在显著提高推理性能的同时，保持了DeepSeek V3的输出风格和长度控制。其他值得关注的细节还包括，DeepSeek V3的MoE由256个路由专家和1个共享专家组成。在256个路由专家中，每个token会激活8个专家，并确...
DeepSeek-V3的技术报告也明确表示,他们提出了一种创新方法,将推理能力从长链思维(Chain-of-Thought,CoT)模型(DeepSeek R1)中提取出来,并转移到标准的大型语言模型(DeepSeek-V3)。这一流程巧妙地将R1的验证和反思模式融合到DeepSeek-V3中,显著提高了其推理性能。同时,还保持对DeepSeek-V3输出风格和长度的控制。 蒸...
“DeepSeek-V3超越了迄今为止所有开源模型。”这是国外独立评测机构Artificial Analysis测试了DeepSeek-V3后得出的结论。12月26日，深度求索官方微信公众号推文称，旗下全新系列模型DeepSeek-V3首个版本上线并同步开源。公众号推文是这样描述的：DeepSeek-V3为自研MoE模型，671B参数，激活37B，在14.8T token上进行了...
虽然由于 PCIe 卡规格和 SXM 之间的固有差异而存在性能差距，但 DeepSeek 的这一架构通常能以仅 60% 的成本实现 80% 的 DGX-A100 性能！此外，他们还将能耗降低了 40%，也由此降低了二氧化碳排放。从这些指标看，这一架构设计无疑是成功的。HFReduce：软硬件协同设计 有了高效的硬件，也自然需要适配的软件。该...
相较之下，Llama 3 系列模型的计算预算则多达 3930 万 H100 GPU Hours—— 如此计算量足可训练 DeepSeek-V3 至少 15 次。虽然相对于其它前沿大模型， DeepSeek-V3 消耗的训练计算量较少，但其性能却足以比肩乃至更优。据最新发布的 DeepSeek-V3 技术报告，在英语、代码、数学、汉语以及多语言任务上，基础模型 ...
DeepSeek显然是逆行者。在一片认为大模型技术必然趋同，follow是更聪明捷径的喧哗声中，DeepSeek看重“弯路”中积累的价值，并认为中国的大模型创业者除应用创新外，也可以加入到全球技术创新的洪流中。DeepSeek的很多抉择都与众不同。截至目前，7家中国大模型创业公司中，它是唯一一家放弃“既要又要”路线，至今专注...
在Aider多语言编程测试排行榜中，Deepseek-v3一举超越Claude 3.5 Sonnet，排在第1位的o1之后。（相比Deepseek-v2.5，完成率从17.8%大幅上涨至48.4%。）且在LiveBench测评中，它是当前最强开源LLM，并在非推理模型中仅次于gemini-exp-1206，排在第二。目前Hugging Face上已经有了Deepseek-v3（Base）的开源权重...
DeepSeek 又出手了，这次又是重磅炸弹。昨晚，DeepSeek 上线了全新的推理模型 DeepSeek-R1-Lite-Preview ，直接冲击 OpenAI o1 保持了两个多月的大模型霸主地位。在美国数学竞赛（AMC）中难度等级最高的 AIME 以及全球顶级编程竞赛（codeforces）等权威评测中，DeepSeek-R1-Lite-Preview 模型已经大幅超越了 GPT-4o...