在ToolBench上微调LLaMA并获得ToolLLaMA。ToolEval显示,ToolLLaMA表现出执行复杂指令和推广到未见API的非凡能力,并表现出与ChatGPT相当的性能。为了使流水线更实用,还设计了一个神经 API 检索器,为每个指令推荐合适的 API,无需手动选择 API。 如图所示,一个高质量的指令调优数据集 ToolBench。用最新的ChatGPT(gpt-3....
使用部分训练数据是指只用包含1位数字的数据训练,或者只包含1个运算符的数据训练等等。 TALM 同时学习两个子任务:调用工具并根据工具结果生成答案 数据哪里来?self-play 可以对应figure2看,tool-use set比task set多了两个中间结果,对于一个小的T,模型根据输入x生成t、调用api获得r、根据x、t、r生成y',判断y'...
为了促进开源LLMs的工具使用能力,作者引入了ToolLLM,这是一个数据构建、模型训练和评估的通用工具使用框架。 论文:ToolLLM: Facilitating Large Language Models to Master 16000+ Real-world APIs 地址:https://arxiv.org/abs/2307.16789 项目:https://github.com/OpenBMB/ToolBench 单位:清华、人大、耶鲁、微信、...
目前 ToolLLM 的所有相关代码均已开源，以下是作者训练的 ToolLLaMA 的与用户交互对话并实时进行推理的演示 ToolLLM 框架的推出，将有助于促进开源语言模型更好地使用各种工具，增强其复杂场景下推理能力。不仅可以协助研究人员更深入地探索 LLMs 的能力边界，也为更广泛的应用场景敞开了大门。ToolLLM 研究背景 工具学...
为了促进开源 LLM 中的工具使用能力,我们引入了 ToolLLM,这是一个数据构建、模型训练和评估的通用工具使用框架。 目标是让LLM能够掌握数千个不同的现实世界 API: 我们通过收集高质量的指令调整数据集来实现这一目标。它是使用最新的ChatGPT(gpt-3.5-turbo-16k)自动构建的,并通过增强的函数调用能力进行了升级。
为了让开源 LLM 更好的使用外部工具,来自清华、人大、耶鲁、腾讯、知乎等多家机构的研究者联合撰写了论文,他们引入了一个通用工具使用框架 ToolLLM,该框架包括数据构建、模型训练和评估多项功能。 值得一提的是,该研究从 RapidAPI Hub 收集了 16464 个真实世界的RESTful API,涵盖 49 个类别。
总之,这些结果表明,ToolBench 可以充分激发 LLM 的工具使用能力,使他们能够熟练掌握各种指令的未知 API。 在实验研究团队对 LLaMA 的所有参数进行了微调,得到了 ToolLLaMA。为了提高参数效率,他们进一步应用了具有代表性的参数效率调整方法 Lo...
AnyTool更好的利用了RapidAPI的层次化结构进行API候选的召回。论文使用的是3类Agent交互的方案,分别是 Meta Agent:就是基于用户Query,先联想相关的工具分类,并创建对应分类的Agent Category Agent:每个分类的Agent思考相关的工具,并初始化对应工具的Agent Tool Agent:每个工具的Agent召回相关的API,并合并进API候选池 ...
总之,这些结果表明,ToolBench 可以充分激发 LLM 的工具使用能力,使他们能够熟练掌握各种指令的未知 API。 在实验研究团队对 LLaMA 的所有参数进行了微调,得到了 ToolLLaMA。为了提高参数效率,他们进一步应用了具有代表性的参数效率调整方法 LoRA,并研究了其对性能的影响。下表 5 中的结果表明,参数效率的提高是在性能...
在数据集方面。如图 1 所示,研究者首先收集了一些高质量的指令调优数据集 ToolBench。该数据集是通过使用最新的 ChatGPT(gpt-3.5-turbo-16k)自动构建的。 具体而言,ToolBench 的构建包含三个阶段:API 收集(API collection)、指令生成、解路径注释(solution path annotation)。