论文地址：https://arxiv.org/abs/2502.07316 项目主页：https://codei-o.github.io/ Lambert表示，非常高兴能看到DeepSeek团队成员撰写的更多论文，而不仅仅是有趣的技术报告。（顺便还调侃了一句自己真的想他们了）这篇论文的主题，是通过一种CodeI/O的方法，利用代码输入/输出，来提炼LLM的推理模式。值得注意...
近日，DeepSeek（深度求索）发布了一份基于硬件发展的实际情况及其多年实践经验的研究成果，其中提出了一些用于构建用于深度学习和 LLM 的 AI-HPC 系统的成本高效型策略。论文标题：Fire-Flyer AI-HPC: A Cost-Effective Software-Hardware Co-Design for Deep Learning论文地址：https://arxiv.org/pdf/2408.14158 ...
他们提出的CodeI/O全新方法,通过代码提取了LLM推理模式,在逻辑、数学等推理任务上得到显著改进。 如今,DeepSeek团队成员的一举一动,都颇受圈内关注。 近日,来自DeepSeek、上海交通大学、香港科技大学的研究人员推出的全新力作CODEI/O,就获得了Ai2大牛Nathan Lambert的力荐! 论文地址:https://arxiv.org/abs/2502.0...
这只是我个人的学习心得,基于对论文原文和社区讨论的理解和总结,难免会有疏漏和偏差。 DeepSeek LLM 的论文原文:https://arxiv.org/pdf/2401.02954 官方代码仓库:https://github.com/deepseek-ai 和大家一起探讨,共同进步。 二、DeepSeek LLM 论文概述 ...
不同的基于搜索的方法依赖于基于流程奖励的模型来选择最佳答案。来自 LLM Test-Time Compute 论文的注释图 https://arxiv.org/abs/2408.03314 DeepSeek R1 技术报告指出，其模型不使用推理时间缩放。然而，这项技术通常是在 LLM 之上的应用层实现的，因此 DeepSeek 有可能在他们的应用中应用它。我怀疑 OpenAI 的...
俄亥俄州立大学的 Huan Sun 教授做了主题为“Understanding Reasoning in LLMs and Agents:From Grokking of lmplicit Reasoning to Test-Time Scaling with Verifiers”的演讲,探讨了从隐式推理的领悟到测试时通过验证器进行的扩展。 首先来谈谈什么是隐式推理。 论文链接:https://arxiv.org/abs/2405.15071 当模型...
论文地址:https://arxiv.org/abs/2502.07316 项目主页:https://codei-o.github.io/ Lambert表示,非常高兴能看到DeepSeek团队成员撰写的更多论文,而不仅仅是有趣的技术报告。(顺便还调侃了一句自己真的想他们了) 这篇论文的主题,是通过一种CodeI/O的方法,利用代码输入/输出,来提炼LLM的推理模式。
论文地址:https://arxiv.org/abs/2502.07316 项目主页:https://codei-o.github.io/ Lambert表示,非常高兴能看到DeepSeek团队成员撰写的更多论文,而不仅仅是有趣的技术报告。(顺便还调侃了一句自己真的想他们了) 这篇论文的主题,是通过一种CodeI/O的方法,利用代码输入/输出,来提炼LLM的推理模式。
题目:DeepSeek LLM: Scaling Open-Source Language Models with Longtermism 发布时间:2024 年 1 月 论文地址:https://arxiv.org/pdf/2401.02954 一、前言 1、文章背景 此文章为DeepSeek最重要的三篇论文中的第一篇,另外两个论文分别为《DeepSeek-R1:通过强化学习提升大型语言模型的推理能力》和《DeepSeek-V3:...
2401.02954v1arxiv.org/pdf/2401.02954v1 摘要 开源大语言模型(LLMs)的快速发展确实令人瞩目。然而,以往文献中描述的扩展规律得出了不同的结论,这为LLMs的扩展蒙上了一层阴影。我们深入研究了扩展规律,并提出了我们的独特发现,这些发现促进了在两种广泛使用的开源配置(7B和67B)中扩展大规模模型。在扩展规律...