黄萱菁曾入选“人工智能全球女性”、“AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”，主要从事人工智能、自然语言处理和信息检索等方向研究，是复旦大学研发MOSS大模型的团队成员。3月14日，OpenAI发布其具有里程碑意义的多模态大模型GPT-4，同时透露GPT-4已在新必应（New Bing）中应用。GPT...
早期的GPT-3还不太理解用户的需求，但最近不论是ChatGPT还是我们实验室开发的MOSS，都拥有了比较强的写代码能力。我们发现代码是非常好的数据，因为代码有逻辑性，是结构化的，还带有注释和文档，我们可以进行语义方面的对齐。至于什么数据是最好的数据，我认为纸制的媒体、书、报纸是最好的，大家看ChatGPT说的话...
她认为,在肉眼可见的未来,善用AI的人将和不用AI的人在工作效率上产生巨大差距。 黄萱菁曾入选“人工智能全球女性”、“AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”,主要从事人工智能、自然语言处理和信息检索等方向研究,是复旦大学研发MOSS大模型的团队成员。 3月14日,OpenAI发布其具有里...
早期的GPT-3还不太理解用户的需求,但最近不论是ChatGPT还是我们实验室开发的MOSS,都拥有了比较强的写代码能力。 我们发现代码是非常好的数据,因为代码有逻辑性,是结构化的,还带有注释和文档,我们可以进行语义方面的对齐。至于什么数据是最好的数据,我认为纸制的媒体、书、报纸是最好的,大家看ChatGPT说的话,是...
黄萱菁曾入选“人工智能全球女性”、“AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”,主要从事人工智能、自然语言处理和信息检索等方向研究,是复旦大学研发MOSS大模型的团队成员。 3月14日,OpenAI发布其具有里程碑意义的多模态大模型GPT-4,同时透露GPT-4已在新必应(New Bing)中应用。GPT-...
BERT针对自然语言理解,GPT是自然语言生成,复旦大学NLP实验室架在2021年提出新的语言模型——GPT,合并理解任务和生成任务。GPT是非对称的Transformer模型结构,该结构由一个Encoder(任务间共用)和两个Decoder(一个面向理解,一个面向生成)组成,同时具备理解和生成能力,在此基础上训练MOSS。
BERT针对自然语言理解,GPT是自然语言生成,复旦大学NLP实验室架在2021年提出新的语言模型——GPT,合并理解任务和生成任务。GPT是非对称的Transformer模型结构,该结构由一个Encoder(任务间共用)和两个Decoder(一个面向理解,一个面向生成)组成,同时具备理解和生成能力,在此基础上训练MOSS。
BERT针对自然语言理解,GPT是自然语言生成,复旦大学NLP实验室架在2021年提出新的语言模型——GPT,合并理解任务和生成任务。GPT是非对称的Transformer模型结构,该结构由一个Encoder(任务间共用)和两个Decoder(一个面向理解,一个面向生成)组成,同时具备理解和生成能力,在此基础上训练MOSS。
当模型的参数规模还不太大的时候,你看不到它的强大,当达到某一个临界值时,这个模型就会非常强大,目前我们认为这个参数规模的临界值可能是650亿。 早期的GPT-3还不太理解用户的需求,但最近不论是ChatGPT还是我们实验室开发的MOSS,都拥有了...
黄萱菁曾入选“人工智能全球女性”、“AI 2000人工智能全球最具影响力提名学者”及“福布斯中国2020科技女性榜”,主要从事人工智能、自然语言处理和信息检索等方向研究,是复旦大学研发MOSS大模型的团队成员。 1.什么是语言模型? 无论学习汉语还是英语等语言,都是从语法开始学起。但是光有语法,我们依然很难捕捉客观世界...