AI指数报告中大型语言模型的训练成本 | 在斯坦福大学发布的2024年AI指数报告中,大型语言模型Gemini Ultra的训练成本高居榜首,接近2亿美元,其他知名的大型语言模型如GPT-4、PaLM以及诞生ChatGPT的GPT-3系列和3.5系列的训练成本相对较低。 GPT-4的训练成本接近8000万美元,而PaLM的训练成本为1200多万美元。孕育出ChatGPT...
过分关注对大模型的 prompt engineering(比如 chain-of-thought) 而忽视了对大模型本身的迭代更新。 在GPT-3 经过 code training 的时候,PaLM 确实也跟进了。 但是GPT-3 经过 instruction tuning 之后,Google 相当晚地才进行了 instruction tuning 发布 FLAN. ...