MISA: 多模态情感分析的模态不变和模态特定表示 原文:MISA:Modality-Invariantand -Specific Representations for Multimodal Sentiment Analysis 作者: Devamanyu Hazarika Roger Zimmermann 代码:https://github.com/declare-lab/MISA 一、简介 二、相关工作 --- 2.1 多模态情感分析 --- 2.2 多模态表示学习 三、方...
2.1.2 Modality-Invariant and -Specific Representations 我们把同一个特征 映射到两个不同的特征空间中, 一个是模态不变特征, 一个是模态特有特征。 作者认为 模态不变 和 模态特有特征 提供了有效融合所必需的整体特征。 学习这些表示是其工作的主要目标。 主要通过auto encoder 2.2 Modality Fusion 用Transformer...
阅读笔记 MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis,程序员大本营,技术文章内容聚合第一站。
Name Last commit message Last commit date Latest commit Cannot retrieve latest commit at this time. History 31 Commits src .gitignore LICENSE README.md environment.yml misa-pic.png README MIT license Code for theACM MM 2020paperMISA: Modality-Invariant and -Specific Representations for Multimodal...
Specifically, each modality is first mapped to two spaces: a public subspace and a private subspace. Among them, the public subspace contains modality-invariant representations, while the private subspace contains modality-specific representations. Subsequently, we introduce the cross-modal fusion module ...