求教,自定义数据集如何选取label,seq,pre_len #586 Closed ziyusnow opened this issue Nov 9, 2024· 1 comment Commentsziyusnow commented Nov 9, 2024 在自定义数据集中,我想做一个分解的工作。比如通过1-48个点的数据得到第24个点的值。感觉被这三个的定义搞糊涂了。
所以在transformer提出之后,一些人开始研究如何在尽量保持原有性能的前提下,降低计算复杂度。由于self-attention占大量计算空间的主要部分是做attention时候产生的大小为[seq_len,seq_len,multi_head_num,layers]的attention关注度矩阵,所以如何优化attention操作是各类魔改transformer的主要工作。 目前这方面的研究主要分为5...
在处理query输入时,如果query长度小于max_len,用[Mask]进行padding。文中认为这是一种soft query expanding,因为BERT模型对于[Mask] token,会基于上下文进行猜测补全。 在BERT模型输入后,又添加了一层linear layer进行降维。MaxSim输入的向量维度远小于BERT模型输出的维度。 本文还有一个有意思的信息,Fig1给出了传统IR...