OpenAI o1 提到了关于 RL 在训练和推理时候的 Scaling law，并指出这与预训练时候的 Scaling law 具有不同特性。很明显，如果 o1 走的是 MCTS 搜索技术路线，那么把 COT 拆分的越细（增加搜索树的深度），或提出更多的可能选择（节点的分支增多，就是说树的宽度越宽），则搜索空间越大，找到好 COT 路径可能性...
OpenAI o1 提到了关于 RL 在训练和推理时候的 Scaling law,并指出这与预训练时候的 Scaling law 具有不同特性。很明显,如果 o1 走的是 MCTS 搜索技术路线,那么把 COT 拆分的越细(增加搜索树的深度),或提出更多的可能选择(节点的分支增多,就是说...
就是说,不是说有了 o1 Agent 就现状光明,但是很明显 o1 这种通过 Self Play 增强逻辑推理能力的方向应该还有很大的发展潜力,从这个角度讲说 Agent 未来前途光明问题应该不大。 OpenAI 很多时候起到一个行业指路明灯的作用,往往是第一个证明某个方向是行得通的(比如 ChatGPT、GPT 4、Sora、GPT 4o 包括这次的 ...
OpenAI 发布 o1 模型具备类似人类的推理能力,大模型已经达到人类博士水平了吗? 张俊林 2023 年度新知答主 蹭下热度谈谈OpenAI o1的价值意义及RL 的Scaling law。 一.OpenAI o1是大模型的巨大进步 1.1 我觉得OpenAI o1是自GPT 4发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法比我想的要好,GPT 4...
一、OpenAI o1是大模型的巨大进步 我觉得OpenAI o1是自GPT 4发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法比预想的要好,GPT 4o和o1是发展大模型不同的方向,但是o1这个方向更根本,重要性也比GPT 4o这种方向要重要得多,原因下面会分析。
蹭下热度谈谈 OpenAI o1 的价值意义及 RL 的 Scaling law。 一、OpenAI o1 是大模型的巨大进步 我觉得 OpenAI o1 是自 GPT-4 发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法比预想的要好,GPT-4o 和 o1 是发展大模型不同的方向,但是 o1 这个方向更根本,重要性也比 GPT-4o 这种方向要重要...
一.OpenAI o1是大模型的巨大进步 我觉得OpenAI o1是自GPT 4发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法比我想的要好,GPT 4o和o1是发展大模型不同的方向,但是o1这个方向更根本,重要性也比GPT 4o这种方向要重要得多,原因下面会分析。
o1是多个模型这是之前受到@宝玉xp 老师发的微博的启发,后来从价格分析看还真有可能//@高飞:o1模型大概由三部分构成:一个主模型,一个摘要模型,还有一类可灵活配置个数的跟树搜索相关的模型池子。 @张俊林say Reverse-o1:OpenAI o1原理逆向工程图解本文以相对容易理解的方式来对o1做些技术原理分析,试图回答下列问...
转发微博【转发】@张俊林say:蹭下热度谈谈OpenAI o1的价值意义及RL 的Scaling law。一.OpenAI o1是大模型的巨大进步1.1我觉得OpenAI o1是自GPT 4发布以来,基座大模型最大的进展,逻辑推理能力提升的效果和方法...
新浪微博机器学习团队 AI Lab 负责人张俊林,针对OpenAI o1原理进行逆向工程图解。 OpenAI o1的推出称为横空出世不为过,尽管关于Q*、草莓等各种传闻很久了,用了强化学习增强逻辑推理能力这个大方向大家猜的也八九不离十,但是融合LLM和RL来生成Hidden COT,估计很少人能想到这点,而且目前看效果确实挺好的。