提出Decoder-Decoder新型架构，名为YOCO（You Only Cache Once）。YOCO仅缓存一次键值对，可大幅降低GPU内存需求，且保留全局注意力能力。一张图来看YOCO和标准Transformer的比较。在处理512K上下文长度时，标准Transformer内存使用是YOCO的6.4倍，预填充延迟是YOCO的30.3倍，而YOCO的吞吐量提升到标准Transformer的9.6倍。
其次，Decoder only结构比Encoder-Decoder结构更加简单，训练中Decoder only结构只需要一次前向传播，而Encoder-Decoder结构则需要两次前向传播。所以对比之下，自然计算效率更高。同时，推理过程中，Casual decoder-only支持一直复用KV-Cache，对多轮对话更友好，因为每个token的表示只和它之前的输入有关，而encoder-decoder...
在大概一年前的时候写过一篇text embedding的总结性文章语言模型之text embedding(思考篇),对当时出现的text embedding模型做了归纳跟讨论(无论是encoder-only还是decoder_only)。在接下来的一年时间里,text embedding模型的发展可谓迅速,该领域最权威的benchmark MTEB的榜一频繁易主,我这一年间也陆续写了10篇相关的文章...
Decoder-Only Transformer架构源于2017年提出的原始Transformer模型[1],但通过去除编码器部分,专注于解码过程,实现了更高效的训练和推理。这种架构在大规模预训练和下游任务适应方面表现出色,成为了当前LLMs的主流选择。 本文旨在了解Decoder-Only Transformer架构,探讨其工作原理、核心组件、应用案例以及未来发展方向。我们将...
Decoder-only架构相较于Encoder-Decoder等复杂架构,模型参数数量和计算复杂性显著降低。这种简化的设计使得模型在训练过程中更容易处理大规模数据,提高了训练效率和模型的泛化能力。同时,较低的模型复杂度也意味着更低的计算资源需求,有利于在资源受限的环境下部署和使用。 2. 上下文理解能力强 在Decoder-only架构中,解...
模型复杂度与训练效率：由于Decoder-only架构相对简洁，其模型复杂度较低，从而提高了训练效率。相比之下...
首先概述几种主要的架构：以BERT为代表的encoder-only、以T5和BART为代表的encoder-decoder、以GPT为代表...
（1）decoder-only：使用 decoder-only 框架实现直接的语音翻译，同时能够容纳多源的训练数据。（2）textless：构建了基于 units 的音频 LM 用于语音翻译，可以用于非书写语言。论文地址：https://arxiv.org/abs/2306.02982 demo 地址：https://speechtranslation.github.io/polyvoice/ 语音到语音翻译（S2ST）是一项...
Decoder-only模型在大语言模型（LLM）中被广泛采用，主要原因在于其相较于其他架构具有几个显著的优点：无监督预训练：Decoder-only架构的一个重要特点是允许进行无监督预训练。这种能力使模型能够通过大量的未标注数据学习语言的统计模式和语义信息，从而提高了模型的语言理解和生成能力。效率与资源利用：同等参数量和推理...
Decoder only的工作原理可以简单描述为以下几个步骤: 1. 接收输入数据:Decoder only首先接收输入的已经编码的数据。这些数据通常是通过encoder生成的,可以是经过压缩的音频、视频或图像数据。 2. 解码过程:Decoder only对输入的已编码数据进行解码。解码的过程根据具体的编码算法有所不同,但主要目标是将已编码数据还原为...