多模态融合感知是自动驾驶的研究热点之一,然而在复杂交通环境下由于天气,光照等外部因素干扰,目标识别可能出现错误,融合时会不可避免地出现分类冲突问题.为此,本文提出一种基于D-S证据理论的多模态结果级融合框架,将深度神经网络的置信度得分输出并作为D-S证据理论的概率密度函数,通过证据组合修正冲突的分类结果,该框架...
多模态数据融合注意力机制D-S证据理论冲突BPA函数融合随着信息技术的快速发展,各个领域产生的文字,音频,图像和视频等多模态数据正在以前所未有的速度增加和积累.由于多模态数据包含了丰富的信息,如何提取出对事件或主题分析最为关键的信息,利用不同模态之间的关联信息并正确衡量和处理不同模态数据之间的冲突信息成为多...
基于D-S证据理论的多模态医学影像融合方法
本发明公开了基于规则意图表决器的D‑S证据理论多模态融合人机交互方法,机器人听觉系统采集音频信息,调整自身姿态并进行硬件降噪,视觉系统使用双层网络来对动态手势进行检测和识别,对手势动作进行分类;对语音和手势的识别网络添加全连接层,输出机器人对于交互对象的意图理解。让两种模式以并行协助的方式来实现人机交互的...
提出了一种基于D-S证据理论的影像融合方法。首先对待融合的医学影像进行小波分解,在高频域,取纹理属性和边缘属性作为证据,根据Dempster证据合成和判决规则,得到高频域各点属性,从而确定融合规则;在小波分解的低频域,采用基于区域梯度的融合规则。 医学影像 下载并关注上传者 开通VIP,低至0.08元下载/次 下载资料需要...
本发明提出了一种基于DS证据理论的多模态实时情绪识别方法及系统,该方法包括:步骤一,搭建虚拟现实场景,部署语音对话模块和面部表情识别模块,被试者通过语音对话模块进行实时语音对话,并通过虚拟现实头戴式设备同步采集被试者语音数据、人脸数据和瞳孔数据;步骤二,在语音数据上提取特征向量,输入到训练好的语音情绪识别模型,...
为了获得更多的状态特征并降低检测模型的局限性,本申请提供了一种基于d-s证据理论的退火加热过程的多模态识别方法;将在单一尺度上进行状态检测拓展到在多个尺度上进行状态检测,同时考虑到在线实时性的问题,利用d-s证据理论将不同尺度下的特征状态信息进行融合,建立对单一参数状态检测的决策框架,提高基于单一尺度检测模型...
1 研究回顾和理论框架 1.1 文献综述。红色档案作为记录党史记忆的重要媒介,是开展党史叙事的主要证据,其叙事功能逐渐被认可。为掌握研究进展,以中国知网(CNKI)、万方、人大文库为检索工具,以“红色档案+叙事/讲故事/叙述”进行主题检索,共识别有效文献2...
表1 DDRNet 与其他方法的参数量, FLOPs 和性能比较结果 最近,Li 等人[29]提出了一种基于注意力的端到端三维卷积网络(AMFNet)用于语义场景补全任务,该方法通过基于二维语义分割的多模态融合架构和基于残差注意块的三维语义补全网络来实现。该方法不仅利用了颜色信息和深度信息,而且借鉴了深度网络学习二维语义分割的经验...
从OMO教育概念的定义和内涵出发,在梳理相关研究的基础上,提出了“技术赋能的智慧学习空间、双向赋能的OMO教学法、数智驱动的学习评价”三位一体的线上线下融合教育理论框架,从学习生态系统、教学胜任力、教学评价体系和发展保障机制的视角分析了...