| 大模型微调(Fine-tuning)是指在已经预训练好的大型语言模型基础上,使用特定的数据集进行进一步的训练,以使模型适应特定任务或领域。其根本原理在于,大模型模型只能够代表它所接收到的数据集的逻辑和理解,而对于其没有获得的数据样本,其并不能很好地识别和理解,也无法很好地回答特定场景下的问题。例如,一个通用大...
通用基础模型是否能超越专用微调模型? | 以医学为例的案例研究 arxiv:链接 通用基础模型,如 GPT-4,在各种领域和任务中展示了惊人的能力。然而,普遍的假设是,它们在没有经过专业知识密集训练的情况下,无法与专家能力匹配。例如,迄今为止大多数关于医学能力基准的探索都利用了特定领域的训练,如 BioGPT 和 Med-PaLM...
像Molmo这样的多峰值人工智能模型代表了技术上的一个重大步幅,但它们通过潜在地将不同数据输入中的个人信息拼接在一起,放大了数据隐私问题。文本、图像、音频和视频的积分到一个单一的模型创建了一个复杂的信息网络,可以揭示比预期更多的信息。当模型在专有数据集上进行微调时,这种风险尤其严重,这些数据集可能会无意...
与训练许多特定任务模型不同,我们可以通过少样本提示或微调来调整单个预训练模型以适应多个任务。然而,目前的基础模型适用于序列数据而非时间序列数据,后者由于固有的多样性和多领域时间序列数据集、预测、分类等任务之间不同的任务规范以及对任务专用模型的明显需求而提出独特挑战。我们开发了UNITS,一个统一的时间序列模型...
主要三步:第一步,自我蒸馏。在领域训练放入通用数据是减轻遗忘的有效办法。自我蒸馏为了保留模型本身的能力,构造自我数据,利用开域指令集数据生成对应结果,混合到领域数据中一起进行训练。第二步,角色提示。为通用领域分配一个中心提示词,为每个特定领域分配一个独特的角色提示,在训练期间最小化领域间的混淆。第三...
北大快手新研究:让多模态大模型懂人类审美 | 作为昂贵的专家评估的替代方案,图像美学评估(IAA)是计算机视觉领域的一项重要任务。然而,传统的 IAA 方法通常局限于单一的数据源或任务,限制了其通用性。为了更好地符合人类的审美,来自北京大学和快手的研究团队提出了一个统一的多模态图像美学评估(UNIAA)框架,包括一个...
图生成式预训练 Transformer | 图生成是分子设计和社交网络分析等众多领域的一项关键任务,因为它能够为复杂关系和结构化数据建模。虽然大多数现代图生成模型都使用邻接矩阵表征法,但在这项工作中,来自塔夫茨大学的研究团队及其合作者重新审视了另一种方法,即用节点集和边集的序列来表示图。由于这种方法能够对图进行高效...
让企业数据轻松集成AI:MindsDB | MindsDB是一个开源的利用企业数据定制人工智能的平台。借助MindsDB,可以让开发人员已经熟悉的通用工具,利用来自数据库、向量存储或应用程序的数据,实时部署、提供和微调模型,构建由人工智能驱动的应用程序。 主要是将机器学习模型直接集成到数据库中,能够直接使用 SQL 查询进行机器学习预测...
作为一种自回归序列模型,Y-Mol能够针对不同文本语料库和指令进行微调,显著提升其在药物研发领域的性能与潜力,标志着大语言模型在药物研发上的重大进展。通过整合多尺度生物医学知识,Y-Mol构建一个信息丰富的指令数据集,并在药物相互作用、药物-靶标相互作用、分子属性预测等方面表现出色,展现在多种药物研发任务中的...
ShareGPT4V中国人的多模态项目 |#多模态大模型 中国科技大学团队最近开源了一个引人瞩目的图文数据集,命名为ShareGPT4V,它基于GPT4-Vision构建,训练了一个7B一个13B的模型。优质数据训练出优质模型,他们训练出得通用的图像标题器,接近 GPT4-Vision 的标题功能。