然后,我们将上下文列表转换为prompt字符串,并使用prompt_tuning函数对模型进行微调。接着,我们从微调结果中提取预测标签,并将其转换为字符串形式。最后,我们打印出prompt、预测标签和标签字符串的信息。总结:通过逐行代码学习ChatGLM2-6B大模型SFT微调的过程,我们可以深入理解模型的训练和优化过程。通过自定义prompt_tuning...
背景介绍ChatGLM2-6B 是开源中英双语对话模型 ChatGLM-6B 的第二代版本,在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上,ChatGLM2-6B 引入了如下新特性:更强大的性能:基于 ChatGLM 初代模型的开发经验,我们全面升级了 ChatGLM2-6B 的基座模型。ChatGLM2-6B 使用了 GLM 的混合目标函数, 人工智...