从上表中可以看出，Llama 2要优于Llama 1。尤其是和Llama 1-65B的模型相比，Llama 2-70B在MMLU和BBH上的成绩分别提高了5分和8分。除代码基准外，Llama 2-7B和30B的模型在所有测试上都优于同等规模的MPT模型。就Falcon模型而言，在所有基准测试中，Llama 2-7B和34B的表现都要比Falcon-7B和40B的模型更好。此...
我们从LLaMA 2中注意到的另一件事是，LLaMA 1曲线末端的学习速度减慢确实是余弦时间表的一个假象。在LLaMA 2的训练中，读取1万亿token的相应时间点上完全没有出现这种放缓现象。事实上，在同样token下，LLaMA 2 7B模型比LLaMA 17B模型质量差，原因可能是它的余弦时间表被拉长了！让我们回到Chinchilla的论文来论证这...
MMLU（5-shot）：测量 57 项任务的多任务准确性，其中包括初等数学、美国历史、计算机科学、法律等。TruthfulQA (0-shot) ：检查模型重现网络谎言的倾向。让我们深入了解每个模型！// LLaMA 2023 年 2 月，Meta AI推出了LLaMA （Large Language Model Meta AI）系列模型，但访问权限仅限于来自学术界、政府、民间...
经过微调和对齐的模型Llama-2-70B-Chat（黄色）相比基座模型Llama-2-70B（绿色），综合能力基本持平，在语言、推理和理解上相比基座有性能提升，在学科综合能力和知识能力上略有下降。比如翻译评测集Flores和代码评测集HumanEval上，Chat模型分别有超过40%和20%的相对提升，而在MMLU和TrivialQA上则有大约10%的相对降...
Llama 2 70B 在 MMLU 和 GSM8K 上得分接近 GPT-3.5，但在编码基准上存在显著差距。在几乎所有基准...
在短任务实验中，可以看到其结果与LLAMA 2相当，而且在大多数情况下比LLAMA 2要更强，在编码、数学和知识密集型任务（如 MMLU）上的结果有明显改善，优于GPT-3.5 相比其他长上下文方法在短任务的不佳表现，研究人员将该模型的性能改进归功于额外的计算FLOPs以及从新引入的长数据中学到的知识。长任务 之前的方法...
在常见的中、英文评测榜单，可以看到，在英文MMLU榜单中，Colossal-LLaMA-2-7B-base在低成本增量预训练的加持下，克服了灾难性遗忘的问题，能力逐步提升（44.47 -> 53.06），在所有7B规模的模型中，表现优异。在中文榜单中，主要对比了CMMLU, AGIEVAL, GAOKAO与 C-Eval，效果远超基于LLaMA-2的其他中文汉化模型...
以 LLaMA-2-7B 为例,相比前代模型,LLaMA-2 在大模型常用的学科综合能力评测数据集 MMLU 上实现了 21% 的性能提升,在代码评测集 GSM8K 上获得几乎翻倍的性能提升,在知识能力评测集 TrivialQA 上获得 12% 的性能提升。 700 亿参数模型,推动社区开放进程...
在长上下文任务中,我们的方法不仅提高了精确检索的能力,还保持了短上下文性能。这一点通过MMLU得分得到了证明(如下表),MMLU是一个广泛接受的基准测试,用于测试语言模型在短上下文内的一般能力。我们的方法在长上下文任务(Needle.)上的表现...
除了开源模型之外，Meta 还将 Llama 2 70B 的结果与闭源模型进行了比较，结果如下表 4 所示。Llama 2 70B 在 MMLU 和 GSM8K 上接近 GPT-3.5，但在编码基准上存在显著差距。此外，在几乎所有基准上，Llama 2 70B 的结果均与谷歌 PaLM (540B) 持平或表现更好，不过与 GPT-4 和 PaLM-2-L 的性能仍存在...