大规模语言模型(Large Language Models,LLMs)近年来在自然语言处理领域取得了突破性进展,引领了人工智能领域的新革命。这些模型能够理解和生成人类语言,执行各种复杂的语言任务,如文本生成、问答系统、机器翻译等。本文将深入探讨大规模语言模型的核心——模型架构,从理论基础到实践应用,全面解析这一前沿技术。 1.1 大规...
全球最大GPU 背后的秘密:NVSwitch如何实现NVIDIA DGX-2的超强功力? 通过NVLink技术连接的双GPU 2. 自然语言处理(NLP) 2.1. 语言模型(Language Model) 语言模型任务是 NLP 领域的核心问题。 语言模型是计算任意的词序列组成一句话概率的模型。 从文本生成的视角看,给定一个词或句子,语言模型可以生成(预测)接下来的...
第2章 大语言模型基础 2.1 Transformer结构 如今,几乎全部大语言模型都是基于Transformer结构的。 基于Transformer的编码器和解码器结构,左侧和右侧分别对应着编码器(Encoder)和解码器(Decoder)结构,它们均由若干个基本的Transformer块(Block)组成(对应图中的灰色框)。这里N×表示进行了N次堆叠。每个Transformer块都接受一...
为了解决这一问题,《大规模语言模型:从理论到实践》应运而生。本书由复旦大学计算机科学技术学院张奇教授领衔的团队倾力打造,不仅基于他们在自然语言处理领域的深厚研究经验,还融合了分布式系统和并行计算的教学经验,旨在帮助读者深入理解大模型的原理,并提...
大规模语言模型:从理论到实践 大模型|复旦NLP团队|详解构建LLM的主要阶段:预训练、有监督微调、奖励建模、强化学习|张奇桂韬郑锐黄萱菁|配全书PPT课件 作者:张奇桂韬郑锐黄萱菁等出版社:电子工业出版社出版时间:2024年01月 手机专享价 ¥ 当当价降价通知
大规模语言模型的成功研发和应用,帮助人类开启了通用人工智能时代的大门。《大规模语言模型:从理论到实践》是张奇教授等几位作者的倾心之作,作者以深厚的学术造诣和丰富的实践经验,为我们揭示了大规模语言模型的基础理论、技术演进、训练方法和实践应用。本书不仅为读者提供了翔实的技术细节,更展示了作者对人工智能领域...
基于上述报告及相关讨论,强化学习在大语言模型上的重要作用可以概括为以下几个方面。 (1)强化学习相较于有监督学习更有可能考虑整体影响。有监督学习针对单个词元进行反馈,其目标是要求模型针对给定的输入给出确切的答案;而强化学习是针对整个输出文本进行反馈,并不针对特定的词元。反馈粒度的不同,使强化学习更适合大...
为了使更多的自然语言处理研究人员和对大语言模型感兴趣的读者能够快速了解大模型的理论基础,并开展大模型实践,复旦大学张奇教授团队结合他们在自然语言处理领域的研究经验,以及分布式系统和并行计算的教学经验,在大模型实践和理论研究的过程中,历时8个月完成《大规模语言模型:从理论到实践》一书的撰写。希望这本书能够帮...
为了使更多的自然语言处理研究人员和对大语言模型感兴趣的读者能够快速了解大模型的理论基础,并开展大模型实践,复旦大学张奇教授团队结合他们在自然语言处理领域的研究经验,以及分布式系统和并行计算的教学经验,在大模型实践和理论研究的过程中,历时8个月完成《大规模语言模型:从理论到实践》一书的撰写。希望这本书能够帮...