强化学习也是学习一个函数y=f(x)(在环境下选取各个动作的打分),只不过数据获取的方式不是通过标注(label),而是通过策略与环境交互获得 reward 从而获得样本,最终学到一个智能体,根据环境做出合适的动作以最大化奖励。 在机器学习中的位置: 监督学习:从带label数据中学习数据与标签的关联,以对新的数据,比如分类、...
在对齐 LLM 方面，基于人类反馈的强化学习（RLHF）是一种突破性的技术。该方法催生了 GPT-4、Claude 和 Gemini 等强大模型。RLHF 之后，人们也探索了多种多样的对齐 LLM 的方法。但是，此前还没有人全面总结对齐 LLM 与人类偏好的方法。Salesforce 决定填补这一空白，于近日发布了一份 37 页的综述报告，其中...
RLAIF 过程采用了两个策略:1.「蒸馏 RLAIF」,其遵循传统的 RLHF 方法,即使用偏好训练一个奖励模型,然后再将其用于训练 LLM 策略;2. 「直接 RLAIF」,其直接将 LLM 反馈用作 prompt 来输出评估分数,再将该分数用作强化学习策略训练的信号。 最...
对基于 LLM 的 AI 来说，高质量的人类数据非常关键，但已有研究预计这些高质量数据将在未来几年耗尽。如果 LLM 保持现在的发展势头，预计在 2028 年（中位数）左右，已有的数据储量将被全部利用完，来自论文《Will we run out of data? Limits of LLM scaling based on human-generated data》此后，这类数据的...
传统上,对齐 LLM 的 RLHF 技术都是离线方法。但这类方法有些缺点,比如所得结果难以应对分布外数据。 为此,需要对 LLM 进行持续的微调,进行迭代式 / 在线学习,即使用中间策略为 prompt 生成响应,再使用预言机(oracle)为这样的成对数据给出偏好反馈...
Anthropic LLM 中给出了一个方案: 我们用训练完成的 actor 模型重新按照上面的过程收集 奖励模型的数据集, 然后和原本的数据集混合在一起, 重新训练 奖励模型, 再按照 RLHF 的步骤重新训练 actor 模型, 如此往复。 在模型上线后, 需要去大量收集用户提问的 prompt, 然后大量标注 奖励模型数据集。这里也验证了我...
字节跳动提出让 LLM 进行遗忘学习的方法来进行对齐。本文研究如何在 LLM 上进行 “遗忘” 操作，即忘记有害行为或遗忘学习（Machine Unlearning），作者展示了遗忘学习在三种 LLM 对齐场景上取得的明显效果：(1) 删除有害输出；(2) 移除侵权保护内容；(3) 消除大语言 LLM 幻觉。遗忘学习有三个优势：(1) 只需负...
通过自我改进的LLM，论文指的是一种能够通过每次推理迭代递归增强其输出的模型。论文的自我改进鲁棒偏好优化（Self-Improving Robust Preference Optimization，SRPO）包括两个连续的优化过程：（步骤1）情境内自我改进偏好优化：核心思想是学习一个情境内自我改进模型。该解决方案可以通过类似于Rafailov et al. (2023)和...
第三步：强化学习——让LLM更聪明 强化学习就像是让LLM参加一个马拉松，通过不断的训练来提高成绩。目前大家使用策略梯度强化学习（Policy Gradient RL）算法和近端策略优化（PPO）来微调语言模型的部分或全部参数。由于微调整个拥有数十亿到上百亿参数的模型成本很高，研究人员提出了低秩适应（LoRA）和 DeepMind 的 ...
真实性:LLM 提供真实、准确信息并承认其自身不确定性和局限性的能力。 无害性:避免有毒的、有偏见的或冒犯性的反应并拒绝协助危险活动的特性。 由于预训练模型的通用性,在以上3个方面均有所不足,而通过 instruction learning 的方式可以一定程度上激发模型的泛化能力,但是不能很好地对齐人类偏好,因此就有了 RLHF...