作为一个也使用中文的双语LLM,它的结果明显好于ERNIE TITAN 3.0 260B(Wang等人,2021),后者是7个zero-shot CLUE(Xu等人,2020)数据集上最大的中文LLM(+24.26%)和5-shot FewCLUE,如图1所示,GLM-130B作为一种开放模型,与100B规模的同类模型相比,其偏见和生成毒性显著降低。 论文设计了GLM-130B,使尽可能多的人...
去年11 月,斯坦福大学大模型中心对全球 30 个主流大模型进行了全方位的评测,GLM-130B 是亚洲唯一入选的大模型。在与 OpenAI、谷歌大脑、微软、英伟达、脸书的各大模型对比中,评测报告显示 GLM-130B 在准确性和恶意性指标上与 GPT-3 175B (davinci) 接近或持平,鲁棒性和校准误差在所有千亿规模的基座大模型(作...
早上把论文打印出来的时候,发现有一篇论文巨厚,标题叫做 Holistic Evaluation of Language Models ——对(大)语言模型的整体评估 里面考虑了OpenAI时代,(GPT3)出现之后,大语言模型在各个模型的性能。 其中包括了清华放出的GLM130B,GPT3(达芬奇)和Anthropic等知名模型的对比。我搜索了谷歌知乎和Youtube,发现没有对这...
7月2日,“2023全球数字经济大会”同期举办的高峰论坛之一“人工智能高峰论坛”率先亮相北京。论坛上,智谱AI CEO张鹏表示:GLM-130B模型与国内外千亿级模型相比,在精度上丝毫不逊色。 #全球数字经济大会 #人工智能高峰论坛 #
据悉,今年来,智谱 AI 在千亿基座模型 GLM-130B 中注入了代码预训练,通过有监督微调(Supervised Fine-Tuning)等技术实现人类意图对齐,发布了 ChatGLM。类似 ChatGPT,这是一个具有问答和对话功能的千亿中英语言模型, 并针对中文进行了优化。 与此同时,智谱 AI 还开源了最新的中英双语对话 GLM 模型:ChatGLM-6B,结合...