然而,RNNT模型训练过程中,需要消耗大量的计算与GPU内存资源。与此同时,RNNT为了获得更好的识别效果,往往会搜索更多的上下文,进而导致识别出字延迟较高。 为了解决上述问题,我们设计了一种低延迟和低内存消耗的RNNT模型。 论文题目: BAT: Boundary aware transducer for memory-efficient and low-l
此外,由于缺乏对齐信息的指导,RNN-T倾向于访问更多的上下文以获得更好的性能,这导致了流式识别时更高的发射延迟(emission latency)。 为了解决这两个问题,我们提出了Boundary aware transducer(BAT),用于减小RNN-T训练的时间和内存消耗和推理时的发射延迟。 BAT的思想受到了一些之前工作的启发。在降低显存开销方面,Ali...