多模态转换问题指给定一个模态数据,模型需要输出一个语义一致、匹配的另一个模态的数据。作者将多模态转换分为基于示例的方法和生成式的方法。基于示例的方法维护一个多模态转换匹配示例对,对输入模态数据以从示例对中检索、组合的方式产生目标模态数据。早期的多模态转换系统都是基于示例的方法,随着深度学习的发展,生成...