通过大算力、大规模数据训练高参数量级的预训练模型,成为AI的新范式。 大语言模型赛道上高手云集,动态日新月异。领头羊OpenAI自去年11月发布ChatGPT后,2023年3月发布多模态大模型GPT-4,前后发布Foundry开发者平台、开放ChatGPT插件功能、与微软合作开发Microsoft CoPilot,极大推动微软Azure快速发展。OpenAI巨大的行业影...
据介绍,VisualGLM-6B是一个开源的,支持图像、中文和英文的多模态对话语言模型,语言模型基于ChatGLM-6B,具有62亿参数;图像部分通过训练BLIP2-Qformer构建起视觉模型与语言模型的桥梁,整体模型共78亿参数。 另外,VisualGLM-6B依靠来自于CogView数据集的30M高质量中文图文对,与300M经过筛选的英文图文对进行预训练,中英文...