这篇论文中提出了一种基于Transformer的孪生网络结构,用于预测肽的可检测性。首次使用一个Transformer来编码肽序列的上下文嵌入。结果表明,将孪生网络结构引入预测模型,可以有效地提高肽检测预测的准确性和泛化能力。与目前最新的方法相比,PepFormer在不同种类上的综合性能都得到了较好的测试,表明该方法有可能成为预测肽可...
基于Dual Stream结构,本文提出了一种新的基于Transformer的视频文本检索方法,即分层Transformer(HiT),主要执行两个任务: 层次交叉模态对比匹配(Hierarchical Cross-modal Contrastive Matching):根据transformer架构中不同层的注意力分配特征,不同层的特征集中在不同的视图上。例如,较低层中的特征倾向于使用基本语法表示对更...
使用Transformer编码器结构提取全局语义信息,并利用对比学习方法来学习同一图像的多个文本表示,解决因语义信息提取不完善导致的合成图像属性丢失的问题;在网络训练过程中,采用对比学习方法来增强来自同一图像相关文本的合成图像之间的一致性.在CUB数据集上的实验结果表明,优化后的DF-GAN初始分数达到了4.97,FID指标达到了15.51...
为了高效地实现大规模室内点云场景语义分割,针对边界点云的特征信息难以区分,场景点云规模过于庞大而导致其难以直接进行分割网络的有效训练等问题,以超面片为数据表征,结合超面片Transformer模块(SPT)和对比边界学习模块(CBL),提出一种基于对比边界学习的超面片Transformer点云分割网络.针对数据集S3DIS进行训练,实验结果表明...
CNN与Transformer在性能、鲁棒性和泛化能力方面的对比分析 01文献速递介绍 基于深度学习的人工智能(AI)技术应用于广泛的计算机视觉(CV)领域,包括医学图像分析。在过去的十年中,AI驱动的技术在该领域获得了广泛的关注,并展示了最先进的性能(Zhou等,2020)。卷积神经网络(CNN)在这一成功中起到了重要作用,特别是在分类(...
浙大蔡登团队携手微软亚洲研究院,提出了一个新的对比动作表征学习(CARL)框架,以自监督的方式学习逐帧动作表征,尤其是针对长视频;它考虑了时空上下文来提取逐帧表征,是一种基于#Transformer的简单而高效的视频编码器。 他们提出了一种新的序列对比损失(SCL),应用于通过一系列时空数据增强获得的两个相关的视图。在FineGy...
1、为了解决上述问题,本发明提出了一种基于双向transformer的对抗训练和对比学习序列推荐方法。 2、其内容包括如下步骤: 3、s1:加载数据集,对数据集进行预处理,用训练集预训练生成模型。 4、s2:生成模型生成样本,用生成样本和训练集样本预训练判别模型。 5、s3:采用强化学习和策略梯度进行对抗训练。 6、s4:通过蒙特...
1、本发明是一种全新的,基于多示例对比学习和transformer技术的ct影像分类方法;区别于现有的ct影像分类方法,本方法提出了一种基于局部-全局transformer多示例对比学习的ct影像分类方法,以期获取有判别力的示例特征并充分捕捉和利用ct影像中的全局信息和局部信息,从而提升对ct影像分类的准确性。
基于BERT和迁移学习的业务流程预测与可解释性研究 了基于BERT和迁移学习的业务流程多任务预测方法.该方法首先针对预测性业务流程监控领域,提出了一个新的预训练任务,即掩码活动模型.该任务利用BERT中的双向Transformer... 陈航 - 安徽理工大学 被引量: 0发表: 2023年 基于对比学习的多模态序列推荐算法 针对如何利用商...
基于Dual Stream结构,本文提出了一种新的基于Transformer的视频文本检索方法,即分层Transformer(HiT),主要执行两个任务: 层次交叉模态对比匹配(Hierarchical Cross-modal Contrastive Matching):根据transformer架构中不同层的注意力分配特征,不同层的特征集中在不同的视图上。例如,较低层中的特征倾向于使用基本语法表示对更...