一周前，谷歌的 Gemini-Exp-1114 模型取代 GPT-4o，坐上了 Arena 榜单的头把交椅。对于苦苦追赶 OpenAI 几个月的谷歌来说，这次在基准测试上的胜利十分振奋人心。可惜振奋的时间不长：昨天，GPT-4o 一个更新，把第一名的位置抢回来了。奥特曼庆功的话音刚落，Gemini-Exp-1121 杀出来，又把第一名抢走了。谷...
不过比较遗憾的是，对于写代码这项重磅功能，Gemini（Exp 1114）虽说相较于谷歌上一版本有所改进，但仍然未能挤进前三。（o1-mini/preview仍处于领先地位）另外，在风格控制下，Gemini-Exp-1114也和前三无缘，甚至不及自家的Gemini-1.5-pro。（排在o1、4o-latest和Sonnet之后）解释一下，风格控制（Style Contro...
先看一下gemini-exp-1114的表现，gemini-exp-1114在生成过程中出现了代码错误，导致生成的代码无法运行的情况，只能把代码丢回给模型自己修正再整合，最后运行的效果如下，可以看到即使可以运行，但是生成的整个2048游戏界面是比较简陋的：再来看看claude-3.5-sonnet生成效果，相比于gemini-exp-1114，claude生成的游戏界面...
谷歌DeepMind最新推出的Gemini实验版本（Exp1114）在Chatbot Arena平台上取得了令人瞩目的成绩。经过一周多的社区测试，累计超过6000票的数据显示，这款新模型以显著优势超越竞品，在多个关键领域展现出惊人实力。在总体评分上，Gemini-Exp-1114以超出40分的优异成绩与GPT-4-latest并列第一，超越了此前领先的GPT-4-previ...
从总榜来看,谷歌新模型Gemini(Exp 1114)分数直涨40+,挤下了之前一直霸榜的OpenAI模型(包括o1-preview、GPT-4o)。 而且假如正面1v1遇敌,新Gemini貌似都有一半及以上的概率取胜。 整体胜率热图显示,Gemini(Exp 1114)对战4o-latest的胜率为50%,对战o1-preview的胜率为56%,对战Claude-3.5-Sonnet的胜率为62%。
Gemini Exp 1114,相比Exp 0827进步很大,所有题型都没有劣化。目前总分70,和之前Sonnet 3.5,GPT4o在同一水平。离O1还有比较大的差距。1114的输出格式非常讨喜,会依次复述题目,确认解题思路,然后才正式推理。在会议室冲突题目里甚至用字符拼出了整个时间占用图,非常直观。所以Arena能拿第一也非常合理。
要说最大看点,还是Gemini(Exp 1114)竟能与o1模型在数学能力上不分伯仲。 要知道,据OpenAI官方说法,o1不需要专门训练,就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。 不过比较遗憾的是,对于写代码这项重磅功能,Gemini(Exp 1114)虽说相较于谷歌上一版本有所改进,但仍然未能挤进前三。
要说最大看点,还是Gemini(Exp 1114)竟能与o1模型在数学能力上不分伯仲。 要知道,据OpenAI官方说法,o1不需要专门训练,就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。 不过比较遗憾的是,对于写代码这项重磅功能,Gemini(Exp 1114)虽说相较于谷歌上一版本有所改进,但仍然未能挤进前三。
从总榜来看,谷歌新模型Gemini(Exp 1114)分数直涨40+,得分为1344,而 ChatGPT 4.0最新版本的得分是1340。谷歌旗下的模型这好像还是第一次有这样的成绩。 Gemini-Exp-1114 在数学竞技场中并列第一,性能匹敌 o1: 要知道,以前o1刚发布的时候,很惊艳的一点就是它可以在博士级别的科学问答环节上超越人类专家,还可以拿...
要说最大看点,还是Gemini(Exp 1114)竟能与o1模型在数学能力上不分伯仲。 要知道,据OpenAI官方说法,o1不需要专门训练,就能直接拿下数学奥赛金牌,甚至可以在博士级别的科学问答环节上超越人类专家。 不过比较遗憾的是,对于写代码这项重磅功能,Gemini(Exp 1114)虽说相较于谷歌上一版本有所改进,但仍然未能挤进前三。