2月20日,国内第一个对话式大型语言模型MOSS已由复旦大学邱锡鹏教授团队发布至公开平台,邀公众参与内测。MOSS可执行对话生成、编程、事实问答等一系列任务,打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径。这条路径的走通,为国内学术界和产业界提供了
一是基础知识获取阶段。moss通过广泛“阅读”网络上几乎所有的文本,由于巨大的参数量,其足以涵盖海量知识。二是对话能力获取阶段。moss通过“阅读”对话数据,学习利用第一阶段获取的知识,以对话的方式回答人类的问题。三是对齐阶段。由于有些回复可能会有误导性,moss会根据人类的反馈来抑制生成不符合人类法律和道德伦...
因此,4月18日,MOSS团队在OpenMOSS公众号上发出了“OpenFudan”的邀请,向每个复旦人公开征集更多鲜活和丰富的信息知识,扩充模型的知识库。 王思尹这样解释:“我们‘OpenFudan’的目的,是希望所有人都能参与进来,让它能变成一个更全面的模型,呈现更多人的表达、呈现更立体...
自去年发布MOSS并在4月开源以来,由复旦大学自然语言处理实验室开发的这个大模型有何最新进展?在22日举行的2023年度复旦大学“十大科技进展”评选会上,复旦大学邱锡鹏教授团队的通用可信人工智能模型MOSS获选十大进展之一,该研究团队在大模型的多模态扩展和可信提升方面开展了深入研究,联合发布人工智能治理开放平台“...
据了解,MOSS 采用参数量为百亿级的自研模型进行训练。在对话能力训练阶段,OpenAI 收集了至少几十万条人类指令 —— 让各行各业的专业标注员写出指令回复,再将它们输入模型基座,以帮助 ChatGPT 逐步理解各种指令。复旦团队则采用不同的技术路线,通过让 MOSS 和人类以及其它 AI 模型都进行交互,显著提升了学习效率和...
至于完整数据,复旦MOSS团队表示“近期会全部开源”。国内最先发布的ChatGPT产品 MOSS取自于《流浪地球》里面那个拥有自我意识的AI。它由复旦自然语言处理实验室邱锡鹏团队研发,2月20日正式发布。当时国内一众大厂还在陆续高调官宣要造ChatGPT,谁都没想到它就这么一声不吭地杀了出来。所以尽管MOSS的参数量比ChatGPT小了...
过去十年对于人工智能 (AI) 领域来说是一段激动人心且多事之秋的旅程。对深度学习潜力的适度探索变成了...
目前,MOSS的最大短板是中文水平不够高,主要原因是互联网上中文网页干扰信息如广告很多,清洗难度很大。为此,复旦大学自然语言处理实验室正在加紧推进中文语料的清洗工作,并将清洗后的高质量中文语料用于下一阶段模型训练。科研团队相信,这将有效提升模型的中文对话能力。未来,科研团队将通过开源方式分享这项工作的成果...
今年2月,复旦大学发布了类ChatGPT的对话式大模型MOSS,两个月后MOSS正式开源,成为国内首个插件增强的开源对话语言模型。在7月7月举行的2023世界人工智能大会“大模型时代的通用人工智能产业发展机遇以及风险”分论坛上,复旦大学MOSS系统负责人邱锡鹏围绕“技术、实现与展望”分享了MOSS的最新研发进展。