作为大模型降本增效的领导者，Colossal-AI 团队充分利用 LLaMA-2 的基础能力，采用高效的训练方法，仅使用约 8.5B token 数据、15 小时、数千元的训练成本，成功构建了性能卓越的中文 LLaMA-2，在多个评测榜单性能优越。相较于原始 LLaMA-2，在成功提升中文能力的基础上，进一步提升其英文能力，性能可与开源社区同...
在上一篇文章中,我们介绍了 Llama 1 的技术原理。 相比于 Llama 1 ,Llama 2 的训练数据多了 40%,上下文长度也翻倍,并采用了分组查询注意力机制。具体来说,Llama 2预训练模型是在2 万亿的 token上训练的,精调…
据项目介绍，Chinese-Llama-2-7b 开源的内容包括完全可商用的中文版 Llama2 模型及中英文 SFT 数据集，输入格式严格遵循 llama-2-chat 格式，兼容适配所有针对原版 llama-2-chat 模型的优化。项目地址：https://github.com/LinkSoul-AI/Chinese-Llama-2-7b 目前，普通用户可以在线体验「Chinese Llama-2 7B Chat...
不仅开源了书生·浦语的轻量版本（InternLM-7B），还率先开源了从数据、训练到评测的全链条工具体系，并提供完全免费的商用许可；7月14日，智谱科技开放ChatGLM2-6B免费商用；7月19日，Meta开源了性能更强的Llama-2，也提供了更加宽松的商用许可。
有人发现，Llama-2-chat 在安全过滤器方面表现出一些过于敏感的行为。即使是询问一些无害的事情，比如「...
它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。除此之外，它还能大大降低训练成本：用该方法对7B大小的羊驼2进行改造，只需要一块A100就能搞定。团队表示：希望这个方法有用、好用，为未来的LLM们提供廉价又有效的长...
Llama2 在大多数基准测试中都优于开源聊天模型,并且基于有用性和安全性方向进行人工评估,期望称为封闭源模型(chatgpt等)的合适替代品 提供了对 Llama 2-Chat 微调和安全改进的方法的详细描述,为开源社区做出贡献 Llama2 似乎也与一些封闭源模型相当,至少在本文执行的人工评估上,如以下图片所示 ...
一直以来 Llama 可以说是 AI 社区内最强大的开源大模型。但因为开源协议问题，一直不可免费商用。今日，Meta 终于发布了大家期待已久的免费可商用版本 Llama 2。此次 Meta 发布的 Llama 2 模型系列包含 70 亿、130 亿和 700 亿三种参数变体。此外还训练了 340 亿参数变体，但并没有发布，只在技术报告中提到了...
2. 实验设置 实验中，DCA应用于不同版本的Llama2模型（7B、13B和70B），以及它们的聊天对应模型，这些模型的预训练上下文为4k。此外，DCA还被应用于两个流行的开源长上下文模型：Together-32k和CodeLlama。为了验证模型的长上下文能力，研究团队使用本文作为输入，并为模型设计了一系列问题。3. 实验资源 实验在NVIDIA ...
Llama 2 70B 在 MMLU 和 GSM8K 上得分接近 GPT-3.5，但在编码基准上存在显著差距。在几乎所有基准...