在encoder-decoder架构中,encoder负责将输入序列编码为一个固定长度的向量表示,而decoder则根据这个向量表示来生成与目标序列相对应的输出。 具体来说,encoder通常采用循环神经网络(RNN)或者卷积神经网络(CNN),将输入序列逐步处理为一个固定长度的向量,这个向量包含了输入序列的关键信息。 decoder也可以采用类似的RNN或CNN...
encoder decoder架构是什么时候提出的 encode 和decode 暂时还不太清楚 encode叫编码,通俗点就是编成我们看不懂的码,比如我们使用的utf-8来编码的,一个字符串“hello”,我们写在磁盘文件中,并不是我们想象中的这种:磁盘里存的是“hello”字符串,而是经过一层编码操作,最后落在磁盘中是以字节byte的形式存在,或者...
5. Decoder部分 • Decoder也由一系列相同的注意力层构成,但与Encoder不同的是,它包含两个自注意力模块:一个是 masked multi-head self-attention,确保在预测当前位置的词时不会看到未来的位置;另一个是 encoder-decoder attention,让解码器可以关注到编码器的所有位置信息。 6. Residual Connections • 每一层...