大模型本地部署,顾名思义,就是把大型的机器学习或深度学习模型部署到我们本地的笔记本或者台式机上。详细来说,它涉及到将训练好的模型运行在专属的计算资源上,也就是本地的硬件环境中,使其能够在独立的运行环境中高效、可靠地运行。 本地部署的优势 数据隐私保护:本地部署可以更好地保护数据隐私,避免将敏感数据...
使用一种模型表达结构将训练框架的输出结构统一化,将模型部署复杂度从mxn转变为m+n ONNX变身是一种模型格式,属于文本,不是程序,无法直接在设备上运行。因此,需要软件栈去加载ONNX模型,使其在硬件设备上高效推理。这个软件栈指的是模型的推理框架。推理框架分类硬件商自研和通用推理框架。自研推理框架底层优化较好,推...
《ChatGLM3大模型本地化部署、应用开发与微调》是一本清华大学出版社出版的图书，作者是王晓华。内容简介 《ChatGLM3大模型本地化部署、应用开发与微调》作为《PyTorch 2.0深度学习从零开始学》的姊妹篇，专注于大模型的本地化部署、应用开发以及微调等。《ChatGLM3大模型本地化部署、应用开发与微调》不仅系统地...