所谓端侧大模型是和云侧大模型相对应,完全运行在本地,无需联网,在飞行模式下也能使用,但相应的,端侧大模型的参数规模要比云侧大模型小一两个量级,需要的算力也少很多。一般而言,端侧大模型比较流行的参数规模为 70 亿,而目前最热的 GPT-3.5 的参数规模为 1750 亿。 在骁龙峰会上,荣耀终端有限公司 CEO 赵明...
云端得联网使用，端侧不用联网
端侧是ms 2楼回复于2024-05-01 06:20:06 ai-alice:https://www.mindspore.cn/lite/docs/zh-CN/master/use/cloud_infer/converter_tool.html 将mindir云侧模型转换为mindir端侧模型,没看错,就是一样的后缀 2024-05-13 09:01:35 ai-alice 帖子 10 回复 88 不是这样的,模型后缀为mindir的有2种...
其实大多数人都没有分清“云、边、端”的区别……以为炒的边缘计算和边缘算力,其实是端侧。 用户发现使用ChatGPT的APP时手机会异常发热,因此怀疑用了边缘计算,但这个APP的大小才十几MB,怎么可能是本地存储的大模型啊 全部讨论 如果真要炒边缘算力,真正最利好的是那几个运营商。