Google机器学习公开课汇总 最近发现Google自家的Cloud/ Developer下面提供了很多机器学习的优质课程,涵盖了从基础的图像分类到进阶的大语言LLM模型等。课程的长度一般在45分钟到2个小时不等,形式有视频,阅读材料,Quiz,和Lab的链接等,对于新手很友好~ 语言方面的话大部分课程都是提供有英语和中文翻译的-关键是还完全免费...
一本语法书，自学翻译新语言 另一项让人耳目一新的是Gemini 1.5 Pro的“上下文学习（in-context learning）”技能，意味着它能从一个长提示中给出的信息里学习新技能，而无需额外微调。为此，Google使用“对一本书进行机器翻译 (MTOB)”进行测试，并选用新几内亚西部不到200名使用者的Kalamang语。由于该语言几乎...
“Parameter-Efficient Transfer Learning for NLP”2019.2月,Google Research发表 一、概况 1、简述 这篇论文,主要探讨了在自然语言处理(NLP)中,如何高效地使用迁移学习,尤其是在面对多个下游任务时,如何避免对每个任务都进行完整的模型微调(fine-tuning),从而提高参数的使用效率。注意,这是较早的提出了,“Parameter...
可以使用人工反馈来微调语言模型，以更好地与人类判断的质量保持一致，例如使用人工反馈强化学习(Reinforcement Learning from Human Feedback，RLHF)、SLiC-HF，从而获得质量校准(quality-calibrated)更好的模型。图1:方法的演示 由于获取人工反馈数据的成本很高，论文探索利用LLM的自我评估(self-evaluation)能力来改进质量...
在上下文学习(ICL)方面,大型语言模型(LLMs)已经展现出了的卓越能力。它们仅通过输入输出示例(也称为“shots”),就能学习新任务。然而,LLM的上下文窗口(即它们每次处理的token化输入的Token数量)限制了ICL可以使用的shots数量,将先前的研究限制在了少样本学习领域。
近年，随着LLM的突破和AI应用场景的扩展，Duolingo也在更多的方面应用了AI。在2022年，Duolingo已有博客文章来解释他们是如何在语言课程制作中使人工与AI的合作更高效地产出内容。在2023年，Duolingo更是推出包含更多AI生成的个性化内容的超级会员产品Duolingo Max。在其免费APP产品中，Duolingo也将AI运用在了个性化学习体验...
在大型语言模型(LLM)不断发展的进程中,强化学习扮演了重要的角色,ChatGPT就是在GPT-3.5的基础上经过人类反馈的强化学习算法微调得到。而对于强化学习本身而言,如何使其优化算法在各种丰富的开放环境中更好的完成目标是目前研究的主要热点。其中的一个关键限制因素就是需要设计适合多种场景的奖励函数。
learning_parameter_allocation learning_with_little_mixing learnreg ledge lego light_field_neural_rendering lighthouse linear_dynamical_systems linear_eval linear_identifiability linear_vae lista_design_space llm4mobile llm_longdoc_interpretability lm_fact_tracing lm_memorization local...
Understanding LLM Embeddings for Regression Authors Eric Tang, Bangding Yang, Xingyou Song Venue arXiv Date 18 October 2024 Title AI can help humans find common ground in democratic deliberation Authors Michael Henry Tessler†, Michiel A Bakker†, Daniel Jarrett, Hannah Sheahan*, Martin Chadwick...
与Adafactor 相比,Lion 在训练 LLM 时获得更好的平均上下文学习能力。 在GLUE 上微调 T5 时 Lion 也更好。 在这里插入图片描述 3 超参数和批量大小选择 Lion 很简单,与 AdamW 和 Adafactor 相比,超参数更少,因为它不需要和因式分解相关的参数。为了确保公平比较,我们使用对数标度为 AdamW (Adafactor) 和我们的...