阅读笔记 MISA: Modality-Invariant and -Specific Representations for Multimodal Sentiment Analysis,程序员大本营,技术文章内容聚合第一站。
MISA: 多模态情感分析的模态不变和模态特定表示 原文:MISA:Modality-Invariantand -Specific Representations for Multimodal Sentiment Analysis 作者: Devamanyu Hazarika Roger Zimmermann 代码:https://github.com/declare-lab/MISA 一、简介 二、相关工作 --- 2.1 多模态情感分析 --- 2.2 多模态表示学习 三、方...
Name Last commit message Last commit date Latest commit Cannot retrieve latest commit at this time. History 31 Commits src .gitignore LICENSE README.md environment.yml misa-pic.png README MIT license Code for theACM MM 2020paperMISA: Modality-Invariant and -Specific Representations for Multimodal...
2.1.2 Modality-Invariant and -Specific Representations 我们把同一个特征 映射到两个不同的特征空间中, 一个是模态不变特征, 一个是模态特有特征。 作者认为 模态不变 和 模态特有特征 提供了有效融合所必需的整体特征。 学习这些表示是其工作的主要目标。 主要通过auto encoder 2.2 Modality Fusion 用Transformer...
Specifically, each modality is first mapped to two spaces: a public subspace and a private subspace. Among them, the public subspace contains modality-invariant representations, while the private subspace contains modality-specific representations. Subsequently, we introduce the cross-modal fusion module ...