llama3发布 | Meta公司发布了开源大模型Llama 3,其最大参数高达4000亿,性能逼近GPT-4。Llama 3在多个基准测试中表现出色,尤其在代码生成和复杂推理方面超越同行。得益于超过15万亿token的数据训练、优化的tokenizer以及新的信任与安全工具(如Llama Guard 2、Code Shield和CyberSec Eval 2),Llama 3在安全性和性能上均...
基于超过15万亿token的数据集进行训练,是Llama2数据集的7倍还多,为模型提供了更丰富的信息基础。 支持8K长文本,配备了改进的tokenizer,词汇量高达128K,性能表现优异。缺点是会有飙英文的现象,建议试试开源社区里的中文微调版本。 ChatGLM3 智谱AI和清华大学 KEG 实验室联合发布的新一代对话预训练模型,国产之光。
基于Phi3模型结构,使用常见的中文预料从零训练的小参数量LLM。包括了tokenizer训练、模型预训练、指令微调和直接偏好优化等流程。 - niuwz/Mini-Chinese-Phi3