2022年初以来,AIGC进入快速发展期,尤其在2022年11月OpenAI发布ChatGPT后,大众首次看到了大语言模型(Large Language Model, LLM)涌现能力,生成式AI的惊艳效果也促使ChatGPT在2个月突破了1亿用户,成为了全球历史上最短突破1亿用户的应用(排名第二的是TikTok,9个月突破1亿用户)。通过大算力、大规模数据训练高参数量...
百川智能——baichuan-7B Baichuan-7B是由百川智能开发的一个开源可商用的大规模预训练语言模型。基于 Transformer 结构,在大约 1.2 万亿 tokens 上训练的 70 亿参数模型,支持中英双语,上下文窗口长度为 4096。在标准的中文和英文 benchmark(C-Eval/MMLU)上均取得同尺