从LLM 原理剖析到手写实现 ChatPDF 本课程是由深耕 AI 领域多年的清华大学计算机博士,前 IBM 中国研究院工程师陈旸主讲,从大语言模型的底层原理剖析到 GPT 与文心一言、讯飞星火等国产大模型的对比;最后将上手实战带你使用 LangChain 和 ChatGLM 实现 ChatPDF。学习之后你将可以获得: 了解GPT、BERT、ERNIE 等模型...
ChatGLM和LangChain实践培训内容.pdf,ChatGLM + LangChain 实践培训 分享人 :刘虔 2023.06 /imClumsyPanda/ langchain-ChatGLM langChain-ChatGLM: 基于本地知识库的问答 目录 1 2 3 ChatGLM与 Langchain- 提问环节 langchain简介 ChatGLM项目介绍 ChatGLM-6B 简介 ChatGLM
先说明一下这里我用的是智谱AI的api,也就是在线的llm,本地如果是使用chatglm的话,因为本身个人电脑配置不高,所以能运行的模型参数都相对较小,有些知识库对应的信息可能查不出来,用知识库对话的话建议是使用在线的llm。一开始用本地的llm,问了很多知识库的问题都回答不上来,找不到知识库匹配结果,我还以为是我...
将问题和相关数据传递到 LLM 模型中,在这里我们使用ChatGPT提供的开放接口API,也可以根据实际情况的需要,调用私有部署的各类开源大模型,例如ChatGLM,Llama2。 上图为项目的架构图:源文件经过Langchain 的工程化处理后,存放到向量数据库中。同时,用户询问的问题也经过embedding向量化后,再和向量库中的数据对比,哪个些...
将问题和相关数据传递到LLM模型中,在这里我们使用ChatGPT提供的开放接口API,也可以根据实际情况的需要,调用私有部署的各类开源大模型,例如ChatGLM,Llama2。 上图为项目的架构图:源文件经过Langchain 的工程化处理后,存放到向量数据库中。同时,用户询问的问题也经过embedding向量化后,再和向量库中的数据对比,哪个些数据...
此外，Langchain 的一大优势在于，对于大批量的文档内容可以一次性让模型进行总结归 纳，避免 ChatPDF 或 AskYourPDF 单次仅能上传一篇文档的麻烦。此处我们选择挂载策略 及宏观研报，并令 ChatGLM2 概括近期各家券商策略研报的行业配置观点。回答格式为：【券商名称：】，【核心观点：】。可以看出，虽然受限于 Chat...
从LLM 原理剖析到手写实现 ChatPDF 本课程是由深耕 AI 领域多年的清华大学计算机博士,前 IBM 中国研究院工程师陈旸主讲,从大语言模型的底层原理剖析到 GPT 与文心一言、讯飞星火等国产大模型的对比;最后将上手实战带你使用 LangChain 和 ChatGLM 实现 ChatPDF。学习之后你将可以获得: ...
下面通过使用LangChain与ChatGLM实现本地知识库外挂,主要分为如下几步:启动ChatGLM ApiServer服务、加载文档与文本分割、文本向量化与文本内嵌、通过LangChain将LLM与向量库Retriever(检索器)关联、绑定gradio; 由于网络原因在此过程中会下载nltk_data数据集与Embedding模型,自动下载可能不会成功,可手动下载...
第一种可以把个人所有的知识库信息,比如从pdf、文档复制文字信息一股脑的放到ChatGLM 输入框里面然后再附上自己的提问信息。这种操作起来非常繁琐,并且复制的内容有很多一部分可能是没有用的。 第二种可以使用LangChain来优化输入ChatGLM 模型的prompt,LangChain可以自动解析文本、pdf等各种类型的文档,然后进行拆分文本、...
https://github.com/imClumsyPanda/langchain-ChatGLM/blob/master/README.md 如上图,本地知识库搭建的流程如下: (1-2)准备本地知识库文档目前支持 txt、docx、md、pdf 格式文件,使用Unstructured Loader类加载文件,获取文本信息,loader类的使用参考https://python.langchain.com/en/latest/modules/indexes/documen...