首先介绍 ToolBench,这是一个用于工具的指令微调数据集,用 ChatGPT 自动创建。具体来说,从 RapidAPI Hub 收集有49 个类别 16464 个真实世界的 RESTful API,然后通过提示 让ChatGPT 生成涉及这些 API 的各种人类指令,涵盖单个工具和多个工具场景。最后,用 ChatGPT 为每个指令去搜索有效的解决方案路径(API 调用链)...
这篇论文则是从数据集扩充层面提升这种使用工具的能力。 一、问题引出 现有的工作考虑的现实问题太少了:要么没有考虑现实中真实的api,要么考虑的api太少多样性太差。 现有工作往往只涉及一种工具的指令,然而现实世界解决复杂问题需要多个工具一起使用。 现有工作一般需要用户提前划定一个api集合让大模型挑选使用,但...
如图 1 所示,研究者首先收集了一些高质量的指令调优数据集 ToolBench。该数据集是通过使用最新的 ChatGPT(gpt-3.5-turbo-16k)自动构建的。 具体而言,ToolBench 的构建包含三个阶段:API 收集(API collection)、指令生成、解路径注释(solution path annotation)。 API 收集 研究团队从 RapidAPI 收集了 16464 个 REST...
ToolLLM收集了一个包含大量工具和API的数据集，以确保模型在训练时能接触到多样化的工具使用场景。数据集中的API和工具信息经过严格测试、过滤和压缩，保证了数据的质量。设计自动评估方案：引入自动评测工具ToolEval，用于评测语言模型执行指令调用外部工具的能力。评估指标包括pass rate和win rate，能够全面反映...
ToolLLM数据收集、模型训练、性能评测流程 ToolBench数据集 ToolBench 的构建完全由最新的 ChatGPT（gpt-3.5-turbo-16k）自动化完成，无需人工标注。在 ToolBench 上训练出来的模型具备极强的泛化能力，能够直接被应用到新的 API 上，无须额外训练。下表列出了 ToolBench 与之前相关工作的对比情况。ToolBench 不仅...
首创通用tool-use框架ToolLLM,从数据集构建到自动评估方案设计, 视频播放量 288、弹幕量 0、点赞数 5、投硬币枚数 0、收藏人数 7、转发人数 2, 视频作者 二范数智能, 作者简介 专注AI教育。创始团队来自阿里巴巴,在人工智能领域有深厚的学术和工业积累。资料找助理:AIdou
论文致力于让大模型学习使用工具,以实现复杂的任务。目前使用工具能力最强的还是 ChatGPT,但不清楚它是如何实现的。文中提出的 ToolLLM主要用于构建针对 引导调优(instruction-tuning)的训练数据集 ToolBench,最终通过数据对开源的LLaMA调优,训练的模型ToolLLaMA,对工具的使用能力与 ChatGPT 相当。
论文首先介绍了 ToolBench,这是一个用于工具使用的指令调优数据集,由 ChatGPT 自动创建。具体而言,研究团队从 RapidAPI Hub 收集了 16464 个涵盖 49 个类别的真实世界 RESTful API,然后提示 ChatGPT 生成涉及这些 API 的多样化人类指令,...
我们首先介绍 ToolBench,这是一个供工具使用的指令调整数据集,它是使用 ChatGPT 自动创建的。 具体来说,我们从 RapidAPI Hub 收集了 16,464 个真实世界的RESTful API,涵盖 49 个类别,然后提示 ChatGPT 生成涉及这些 API 的各种人工指令,涵盖单工具和多工具场景。
为了激发开源LLM的工具使用能力,该研究提出了ToolLLM,一个包括数据构建、模型训练和评估过程的通用工具学习框架。 作者首先收集高质量的工具学习指令微调数据集ToolBench,随后对LLaMA进行微调得到ToolLLaMA,最后通过ToolEval评估ToolLLaMA的工具使用能力。 ToolLLM数据收集、模型训练、性能评测流程 ...