大模型做奥赛题游刃有余，简单的数数却屡屡翻车的原因找到了。谷歌的一项新研究，发现大模型不会数数的原因，并不是简单的tokenizer所致，而是没有足够的空间来存储用于计数的向量。数出一段话中某个单词出现的次数，这样简单的任务可以难倒许多大模型，GPT-4o、Claude 3.5也无法幸免。如果再进一步，想要找到出现频...
谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是没有足够的空间来存储用于计数的向量。 数出一段话中某个单词出现的次数,这样简单的任务可以难倒许多大模型,GPT-4o、Claude 3.5也无法幸免。 如果再进一步,想要找到出现频率最高的一个词,更是难如登天,即便能蒙对给出的具体数量也是错...
谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是没有足够的空间来存储用于计数的向量。 数出一段话中某个单词出现的次数,这样简单的任务可以难倒许多大模型,GPT-4o、Claude 3.5也无法幸免。 如果再进一步,想要找到出现频率最高的一个词,更是难如登天,即便能蒙对给出的具体数量也是错...
谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是没有足够的空间来存储用于计数的向量。 数出一段话中某个单词出现的次数,这样简单的任务可以难倒许多大模型,GPT-4o、Claude 3.5也无法幸免。 如果再进一步,想要找到出现频率最高的一个词,更是难如登天,即便能蒙对给出的具体数量也是错...
01谷歌研究发现,大模型不会数数的原因在于嵌入维度不足,无法存储用于计数的向量。 02嵌入维度与Transformer的计数能力密切相关,需要大于词汇量m。 03然而,当词汇量超过嵌入维度时,词向量无法保持正交性,计数能力会急剧恶化。 04通过实验验证,词汇量的增加是导致大模型计数能力下降的主要原因。
#谷歌研究揭开大模型不会数单词原因# 大模型做奥赛题游刃有余,简单的数数却屡屡翻车的原因找到了。 谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是没有足够的空间来存储用于...
大模型做奥赛题游刃有余,简单的数数却屡屡翻车的原因找到了。 谷歌的一项新研究,发现大模型不会数数的原因,并不是简单的tokenizer所致,而是没有足够的空间来存储用于计数的向量。 数出一段话中某个单词出现的次数,这样简单的任务可以难倒许多大模型,GPT-4o、Claude 3.5也无法幸免。
谷歌论文揭秘大模型不会数r个数 关键在嵌入维度和词表大小关系 - 龙哥ai炼丹于20240905发布在抖音,已经收获了28.0万个喜欢,来抖音,记录美好生活!
经常看到有人称大模型数学不好,不会数数。例子如下: “你看,字数都数不对,数学真差。” 对此,我表示很无语,真的太为难大模型了。数学差是事实,但数个数问题还是不大的。你看: 怎么回事呢?有时候对,有时候又不对? 外行不懂很正常,但是就有自称懂行的人就跟我硬杠过这个问题…… ...
不是吧,AI通用语言大模型居然不会计算小学数学题?于是,我本着求证的态度,先对这串时间进行了累加求和计算,视频的时长一共是163分钟,大家先记住这个数字,一会儿要考! 然后,把这串视频时长的数据,并且要求“帮我计算以上时间的总和,并告诉我分钟数,直接告诉我结果,不要过程”,同样的数据和要求分别丢给国内外的语...