模型借助生成模型,创建了一个含有1.8万条多轮对话的多模态指令数据集,大幅提升了模型处理多种模态输入与输出的能力。实验证明AnyGPT在多模态对话任务中表现出色,性能可与专业化模型相媲美,验证了离散表示法在统一处理多种模态方面的有效性。Emu、SEED-LLaMA和SpeechGPT等现有研究在赋予语言模型多模态理解和生成能力方面已取得重要成果,这些模型