最近斯坦福研究发布了端侧语言模型Octopus v2以及相关论文《Octopus v2: On-device language model for super agent》(《Octopus v2:端侧语言模型超级智能体》。 Octopus v2模型基于Google Gemma 2B进行训练和微调。 论文提出了一种新方法,通过引入特殊的函数令牌(functional tokens)并进行细致的微调,Octopus v2能够理解...
基准测试结果显示,Octopus v2在推理速度和准确率方面都超越了业界领先的大模型: 在单个A100 GPU上,Octopus v2的推理速度比"Llama7B+ RAG方案"快36倍,比依赖A100/H100集群的GPT-4-turbo快168%。 在函数调用准确率上,Octopus v2的得分比"Llama7B + RAG方案"高31%,与GPT-4和RAG + GPT-3.5持平,达到98%-100%...
Octopus-v2:可以在移动设备上运行的2B LLMs Octopus-V2-2B是由斯坦福大学Nexa AI开发专为Android API的功能调用定制。 - 科技一加一于20240406发布在抖音,已经收获了827个喜欢,来抖音,记录美好生活!
斯坦福大学研究人员近日推出了开源端侧大模型Octopus v2,引起了广泛关注。Octopus v2拥有20亿参数量,可以在智能手机、车载系统等终端设备上高效运行,在准确性和推理速度方面都超越了GPT-4。 Huggingface模型下载:https://huggingface.co/NexaAIDev/Octopus-v2 针对性设计与训练 Octopus v2针对自动化任务中的函数调用问题...
斯坦福大学研究人员近日推出了开源端侧大模型Octopus v2,引起了广泛关注。Octopus v2拥有20亿参数量,可以在智能手机、车载系统等终端设备上高效运行,在准确性和推理速度方面都超越了GPT-4。 Huggingface模型下载:https://huggingface.co/NexaAIDev/Octopus-v2
端侧agent:Octopus V2 | 1. 如果把常用手机api作为function,端侧agent可以做增强版的siri(图2);2. 2代模型放弃了RAG范式(v1的方法),转而拥抱FineTuning范式,把固定的function set相关的知识直接encode到参数里去(图3),这是v2的最大不同;v2用的模型是Gemma 2B,可以认为是SLMs微调的应用;...