SpeechGPT:多模态AI新纪元 | 由复旦大学邱锡鹏团队开发的SpeechGPT模型,拥有130亿参数,集成了先进的跨模态能力。通过自监督学习对语音进行离散化,实现了统一的语音和文本处理。其三阶段训练策略包括模态适应预训练、跨模态指令微调和模态链指令微调,大幅提升多模态理解和生成能力。这一技术突破为通用人工智能(AGI)的发展指明了方向,