尽管规模较小，DeepSeek-Coder-Base 6.7B模型的性能与34B参数的CodeLlama相当，这证明了预训练语料库的高质量。为了增强DeepSeek-Coder-Base模型的zero-shot指令能力，使用高质量的指令数据对其进行了微调。这使得DeepSeek-Coder-Instruct 33B模型在一系列与编码相关的任务中优于OpenAI的GPT-3.5 Turbo，展示了其在代...
为了进一步增强DeepSeek-Coder模型的自然语言理解和数学推理能力,论文从通用语言模型DeepSeek-LLM-7B Base(DeepSeek-AI,2024)上进行了额外的2万亿token的预训练,得到了DeepSeekCoder-v1.5 7B。对于这个预训练,论文专门使用了表9中列出的数据源。与DeepSeek-Coder不同,DeepSeek-Coder-v1.5在其预训练阶段仅使用了下一...
为了进一步增强 DeepSeek-Coder 模型的自然语言理解和数学推理能力,我们从通用语言模型 DeepSeek-LLM-7B Base(DeepSeek-AI, 2024)开始,使用 2 万亿个标记进行额外的预训练,从而开发出 DeepSeek-Coder-v1.5 7B。在这次预训练中,我们特别使用了表 9 中列出的数据源。与 DeepSeek-Coder 不同,DeepSeek-Coder-v1.5...
6 月 17 日，DeepSeek-Coder-V2 重磅登场，在代码特定任务中达到了与 GPT4-Turbo 相当的性能水平，同时将支持的编程语言从 86 种大幅扩展到 338 种，并将上下文长度从 16k 提升至 128k，极大地拓展了其在代码编写领域的应用范围。[此处插入 DeepSeek-V2 的参数对比图，展示其与其他模型在训练成本、性能等方面...
2024 年 1 月 5 日，发布 DeepSeek LLM，包含 670 亿参数，全部开源 DeepSeek LLM 7b/67b base 和 DeepSeek LLM 7b/67b chat。2024 年 1 月 25 日，发布 DeepSeek Coder，由一系列代码语言模型组成。2024 年 2 月 5 日，发布 DeepSeek Math，以 DeepSeek Coder V1.5 7b 为基础。2024 年 3 月...
随后的2月5日，DeepSeek发布了DeepSeekMath。该模型以DeepSeek-Coder-V1.5 7B为基础，继续在从CommonCrawl中提取的数学相关token以及自然语言和代码数据上进行预训练，训练规模达5000亿token。它在竞赛级Math基准测试中取得51.7%的优异成绩，接近Gemini Ultra和GPT-4的性能水平。3月11日发布的DeepSeek-VL是一个...
在第一个大模型DeepSeek LLM发布之后的一年时间里，DeepSeek又陆续发布了八个模型，涉及大语言模型DeepSeek-V2&V3、代码语言模型DeepSeek-Coder& Coder-V2、数学模型DeepSeek Math、视觉语言模型DeepSeek-VL&VL2等；直到今年1月20日，DeepSeek发布了推理模型DeepSeek-R1，终于一鸣惊人，引起了世界的关注。#2 大...
6 月 17 日发布的 DeepSeek-Coder-V2 在代码特定任务中达到与 GPT4-Turbo 相当的性能，进一步巩固了其在代码生成领域的地位。8 月 16 日，DeepSeek 同时发布 DeepSeek-Prover-V1.5 和 DeepSeek-Prover-V1，强化在数学证明领域技术优势；9 月 5 日，合并 DeepSeek Coder V2 和 DeepSeek V2 Chat，升级...
2024 年 1 月 5 日：发布 DeepSeek LLM，包含 670 亿参数，在 2 万亿 token 的数据集上训练，涵盖中英文，开源 DeepSeek LLM 7B/67B base 和 chat 版本。2024 年 1 月 25 日：发布 DeepSeek-Coder，由一系列代码语言模型组成，在 2 万亿 token 上训练，代码模型尺寸从 1B 到 33B 版本不等。2024 ...
- 使用CrossCodeEval数据集对模型在跨文件代码完成任务中的性能进行评估。结果表明,DeepSeek - Coder - Base 6.7B在多种语言中均优于其他模型,展示了其在处理跨文件依赖关系和复杂代码结构方面的卓越能力。同时,仓库级预训练的有效性也得到了验证,仅使用文件级代码语料库时,模型在部分语言中的性能出现下降。