一、研究背景视觉语言导航(VLN)任务的目标是让机器人或其他代理能够根据语言指令在各种空间中导航。然而,当前的 VLN 模型大多为端到端的黑箱模型,缺乏对导航概念的理解和解释能力。为了提升模型的透明性和泛化能力,需要构建更高质量、标注更丰富的数据集。目前遇到的困难和挑战:1、数据标注成本高:构建大规模、高质量...
指令微调是根据下游任务的需求收集指令数据集在预训练的基础模型上进一步训练。指令数据集输入和输出两部分组成,输入就是人给机器下达的指令或者问机器的问题,当然也可以包含背景知识,输出就是机器对指令或问题的回复。比较主流的指令数据集的格式有两种。一种是instruction、input和output。instruction为指令,input为背景知...