speech-transformer 整体采用encoder和decoder结构,其中encoder和decoder的主要模块都是multi-head attention和feed-forward network;此外,encoder为更好的对时域和空域不变性建模,还额外添加了conv结构和2D-attention conv:encoder采用了两层3*3,stride=2的conv,对时域和频域进行卷积,一方面提升模型学习时域信息能力;另一方面...
在speechTransformer基础上进行一系列的改进,1)低帧率,提升计算效率;2)decoder输入采样减少训练和预测偏差,以一定概率决定是否采样前一时刻预测输出作为输入;3)Focal Loss,缓解字符类别之间的数据不均衡问题;实验结果表明,三者均可以对模型效果带来提升,相比于speechTransformer提升幅度在10.8%～26.1%;相比于TDNN-LSTM混合系...
SpeechTransformer 是一种基于Transformer架构的语音识别模型,它是近年来深度学习在语音识别领域的重要突破之一。陆空通话语音识别是指将飞行员与空中交通管制员之间的通话语音转换成文本的技术。这种技术在航空领域具有重要的应用价值,可以提高飞行安全性和空中交通管制的效率。SpeechTransformer 模型采用自注意力机制(Self-Att...
在speechTransformer基础上进行一系列的改进,1)低帧率,提升计算效率;2)计划采样减少训练和预测偏差,以一定概率决定是否采样前一时刻预测输出作为输入;3)Focal Loss,缓解字符类别之间的数据不均衡问题;实验结果表明,三者均可以对模型效果带来提升,相比于speechTransformer提升幅度在10.8%～26.1%;相比于TDNN-LSTM混合系统提升...
根据前面的工程,首先编译了kaldi工具,利用speech_data(即aishell1数据集,只是删除了一层wav目录),完成了stage 0、1、2步骤,主要是数据准备与fbank特征提取,将kaldi与Speech-Transformer目录均作为kaggle/working输出,再作为新工程的数据导入,修改目录名称为fbank_done ...
利用transformer模型来实现语音识别系统. Contribute to lyj157175/Speech-transformer development by creating an account on GitHub.
SpeechTransformer是一种无递归的encoder-decoder结构,在先前的工作中已经在小规模语音识别数据集上显示了令人鼓舞的结果。 本文在大规模的普通话语音识别任务上,并提出三种优化策略,以进一步提高SpeechTransformer的性能和效率。 第一个改进是使用低得多的帧速率,这显示出不仅对计算效率而且对模型性能都非常有益。 其他两...
phoenix bai 致知在格物 输入音频的预处理 transformer的维数变换过程, 即网络权重训练过程 beam search过程 发布于 2019-04-30 18:00 内容所属专栏 编程点滴 清风拂山岗 Transformer 打开知乎App 在「我的页」右上角打开扫一扫 其他扫码方式:微信 下载知乎App ...
We also propose a 2D-Attention mechanis- m, which can jointly attend to the time and frequency axes of the 2-dimensional speech inputs, thus providing more expressive repre- sentations for the Speech-Transformer. Evaluated on the Wall Street Journal (WSJ) speech recognition dataset, our best...
Speech Transformer: End-to-End ASR with Transformer A PyTorch implementation of Speech Transformer [1], an end-to-end automatic speech recognition with Transformer network, which directly converts acoustic features to character sequence using a single nueral network. Install Python3 (recommend Anaconda...