RNN输入的第一个词x1和第一个激活值a0均为一个0向量,表示的是模型softmax之后,预测的第一个词的概率分别是多少,然后将上一次预测出来的y1作为下一次的输入x2,也就是输入的是cats,输出为已知cats,得到其他词的概率是多少,以此类推 RNN预测句子出现的概率实际上就是通过计算一个条件概率链,得到某个句子出现的概...
Attention model中选择双向RNN,可以使用GRU单元或者LSTM。由于是双向RNN,每个a^{<t'>}表示: a^{<t'>}=(a^{\rightarrow <t'>},a^{\leftarrow <t'>}) RNN编码生成特征,注意力权重用\alpha表示,C是各个RNN神经元经过注意力权重得到的参数值。例如,\alpha^{<1,t'>}表示机器翻译的第一个单词“jane”...
1.2 Notation (符号说明) 1.3 Recurrent Neural Network Model 1.4 Backpropagation Through Time(通过时间的反向传播) 1.5 Different Types of RNNS 1.6 Language Model and Sequence Generation(语言模型和序列生成) 1.7 Sampling Novel Sequences(对新序列采样) 1.8 Vanishing Gradients with RNNS 循环神经网络(Recurre...
1.6 语言模型和序列生成 language model and sequence processing 1.7 新序列采样 sampling a sequence from a trained RNN [图片上传失败...(image-a3d162-1627733070469)] 1.8 带有神经网络的梯度消失 gradient clipping梯度修剪:观察你的梯度向量,如果它大于某个阈值,缩放梯度向量,保证它不会太大。 1.9 GRU单元Gat...
然后,将encoder vector输入至RNN,即decoder network中,进行解码翻译。 2. Picking the most likely sentence Sequence to sequence machine translation模型与我们第一节课介绍的language模型有一些相似,但也存在不同之处。二者模型结构如下所示: Language model是自动生成一条完整语句,语句是随机的。而machine translation...
当你使用 RNN 读一个句子,于是另一个会输出一个句子。我们要对其做 一些改变,称为注意力模型(the Attention Model),并且这会使它工作得更好。注意力模 型或者说注意力这种思想(The attention algorithm, the attention idea)已经是深度学习中最重要的思想之一: ...
3.8注意力模型(Attention Model) 3.9语音识别(Speech recognition) 3.10触发字检测(Trigger Word Detection) 3.11结论和致谢(Conclusion and thank you) 3.1 基础模型(Basic Models) 在这一周,你将会学习seq2seq(sequence to sequence)模型,从机器翻译到语音识别,它们都能起到很大的作用,从最基本的模型开始。之后你还...
RNNs Basic Structure Compared to the traditional N-gram language model, RNNs look at every previous word. Also in RNNs a lot of computations share parameters. RNNs Applications of RNNs Caption generation Sentiment analysis Machine translation ...
1. 基础模型(Basic Model) Sequence to sequence模型(Seq2Seq) 从机器翻译到语音识别方面都有着广泛的应用。 举例: 该机器翻译问题,可以使用“编码网络(encoder network)”+“解码网络(decoder network)”两个RNN模型组合的形式来解决。 encoder network将输入语句编码为一个特征向量,传递给decoder network,完成翻译。