苏剑林的故事，不仅仅是个人成长的轨迹，更是对科学精神的传承与发扬。在追求知识的道路上，他以坚韧不拔的毅力，不断探索，不断前行，为科学空间带来了无尽的光芒。
生成扩散模型漫谈(十四):ODE扩散的统一框架 - 科学空间|Scientific Spaces 一篇推导了将近两个月的文章,包含高斯扩散、万有引力扩散等各种ODE式扩散模型的统一理论框架,给出了构建ODE式扩散模型的一般方法。 发布于 2022-12-15 12:14・IP 属地中国香港 ...
在深入研究生成式模型时，我偶然接触到了「科学空间」博客。它集成了可逆模型、Gumbel Softmax等多篇深入浅出的文章，让我领略了知识串联的魅力，收获颇丰。博客的排版设计简洁美观，阅读体验极佳。得知「科学空间」博客的作者是苏剑林同学后，我深感敬佩。他的博客内容不仅涵盖了机器学习领域，还延伸到数学...
苏剑林 数学、python、数据挖掘、天文Google新作Synthesizer:我们还不够了解自注意力 - 科学空间|Scientific Spaceskexue.fm 发布于 2020-05-25 15:38 10 分享收藏 举报 还没有评论 评论区功能升级中 发布
同时兼爱各种科学,热衷钻牛角尖,因此经常碰壁,但偶然把牛角钻穿,也乐在其中。偏爱物理、天文,喜欢思考,崇拜费曼,虽擅长理性分析,但也容易感情用事。长期阅读《天文爱好者》和《环球科学》,没事偷懒玩玩象棋,闲时爱好进入厨房做几道小菜,偶尔也当当电工。近期主要学习理论物理,在科学空间期待大家的指教。
浏览了一遍苏老师科学空间的数学部分，发现他的博客是2009年（估计苏老师当时正高一）开始写的，而且没...
Transformer升级之路:14、当HWFA遇见ReRoPE - 科学空间|Scientific Spaces 本文提出了HWFA与ReRoPE的组合使用方式,小规模的实验结果显示,这种组合能够在不损失训练效果的同时,达到近乎最佳的长度外推效果,并且得益于HFWA的设计,还可以明显地降低推理成本,有效地缓解了ReRoPE原本的推理成本增加的缺点。
Unigram随机分词:从Viterbi解码到随机采样 - 科学空间|Scientific Spaces 本文主要探讨了将Unigram分词模型的确定性分词改为随机性分词的策略。尽管已有名为“Subword Regularization”的方法可以实现这一目标,但其效率相对较低。为此,笔者提出了一种更高效的采样算法,它仅需对确定性的Viterbi解码进行简单的修改,从而基本保...
缓解交叉熵过度自信的一个简明方案 - 科学空间|Scientific Spaces 围绕交叉熵的改进,学术界一直都有持续输出,目前这方面的研究仍处于“八仙过海,各县神通”的状态,没有标准答案。本文介绍最近的一个简单修改。 发布于 2023-03-14 16:36・IP 属地广东
我从一个单纯的追读者角度发表一下感慨，能在刚入门nlp的时候就遇到科学空间这样美好的课堂，是非常幸运...