文章名称:A Survey on Data Selection for Language Models 文章链接:arxiv.org/pdf/2402.1682 概述 这篇文章主要关注的是数据选择在训练大型语言模型中的重要性。 首先,文章强调了无监督预训练在大型语言模型的成功中起到的关键作用,这种预训练依赖于巨大且不断增长的文本数据集。然而,文章也指出,对所有可用数据进行...
A Survey on Data Selection for LLM Instruction Tuning, arXiv 2024.02 [Paper] A Survey on Knowledge Distillation of Large Language Models, arXiv 2024.02 [Paper] Evaluation Evaluating Large Language Models: A Comprehensive Survey, arXiv 2023.10 [Paper] [GitHub] ...
a survey on evaluation of llmsa survey on evaluation of llms中文翻译 a survey on evaluation of llms翻译成中文意思为:远程学习管理系统评价研究综述。©2022 Baidu |由 百度智能云 提供计算服务 | 使用百度前必读 | 文库协议 | 网站地图 | 百度营销 ...
随着大语言模型(LLM)的参数规模增长到数千亿,并开始显示出早期的通用人工智能迹象,它们的应用也已经超越了文本处理。Codex首创将LLM应用于代码处理,取得了令人惊叹的结果,催生了GitHub Copilot等商业产品和StarCoder、Code LLaMA等数十亿参数的开源代码模型。 然而,将预训练Transformer应用于代码处理可以追溯到自回归模型成...
背景:OpenAI最近放出了Devday的闭门会视频,其中"A Survey of Techniques for Maximizing LLM Performance"(精进大型语言模型性能的各种技巧)是非常有价值的,本文对这次分享做摘要。 视频:https://www.youtube.com/watch?v=ahnGLM-RC1Y&ab_channel=OpenAI ...
In this paper, we conduct a comprehensive and systematic survey of the field of LLM-based multi-agent systems. Specifically, following the workflow of LLM-based multi-agent systems, we organize our survey around three key aspects: construction, application, and discussion of this field. For syste...
有了prompt,对输出进行一致评估:这是context问题还是LLM行动问题? 需要更多相关上下文 -> RAG; 需要更一致的指令遵循 -> Fine-tuning; 或者两者兼有。 有了prompt,创建评估,找到基线; 为模型提供几个输入-输出示例,说明你希望模型如何行动; 这些少量示例大大提升了模型性能,连接知识库使该过程工业化 => RAG; ...
顾嘉炜, 中山大学计算机科学与技术专业的硕士生,在International Digital Economy Academy (IDEA Research) ,实习期间完成A survey on LLM-as-a-Judge相关工作。她的研究兴趣主要集中于Scaling Law, Reasoning Enhancement 和 Efficient Learning 等。她曾在SenseTime Research实习,并在EMNLP等顶会上发表文章。
ChatGPT for Shaping The Future of Dentistry: The Potential of Multi-modal Large Language ModelNature28 Jul 2023Paper Large Language Models (LLMs) and Empathy – A Systematic ReviewmedRxiv07 Aug 2023Paper A Survey of Large Language Models for Healthcare: from Data, Technology, and Applications ...
LLMs之Prompt:《The Prompt Report: A Systematic Survey of Prompting Techniques》翻译与解读 导读:这篇论文主要描述了目前常用的自然语言输入技术—"提示"(prompting)。论文还收集了近1.6万篇与提示技术相关的文献,并使用机器学习算法分析这些文献,提取出58种文本提示技术和40多种多媒体提示技术。论文重点介绍了上下文...