llm推理优化技术 原文链接:Mastering LLM Techniques: Inference Optimization | NVIDIA Technical Blog 堆叠Transformer层以创建大型模型可以获得更好的准确性、few-shot学习能力,甚至在各种语言任务中具有接近人类的涌现能力。这些基础模型的训练成本很高,而且在推理过程中可能需要大量的内存和计算(经常性成本)...
llm_interview_note / 03.训练数据集 / 数据格式 / 数据格式.md 数据格式.md 10.49 KB 一键复制 编辑 原始数据 按行查看 历史 Dongnian Wang 提交于 10个月前 . online llm 数据格式 1.SFT(有监督微调)的数据集格式? 2.RM(奖励模型)的数据格式? 3.PPO(强化学习)的数据格式?...
llm_interview_note悲欢**自饮 上传91.6 MB 文件格式 zip interview llm llm-interview llms 主要记录大语言大模型(LLMs) 算法(应用)工程师相关的知识及面试题 点赞(0) 踩踩(0) 反馈 所需:1 积分 电信网络下载 iBizRuntime(微服务运行时) 2025-03-13 04:46:59 积分:1 ...
main online old_bak llm_interview_note / 02.大语言模型架构 / bert细节 / bert细节.md bert细节.md 21.76 KB 一键复制 编辑 原始数据 按行查看 历史 Dongnian Wang 提交于 10个月前 . online llm bert细节 1.背景结构 1.1 基础知识 1.2 BERT与其他模型相比 1.3 BERT,GPT,ELMo BERT...
llm_interview_note / 05.有监督微调 / 4.lora / 4.lora.md 4.lora.md 10.63 KB 一键复制 编辑 原始数据 按行查看 历史 Dongnian Wang 提交于 10个月前 . online llm 4.lora 1.LoRA 1.1 背景 1.2 技术原理 2.AdaLoRA 2.1 背景 2.2 技术原理 3.QLoRA 3.1 背景 3.2 技术原理 4....
llm_interview_note / 05.有监督微调 / ChatGLM3微调 / ChatGLM3微调.md ChatGLM3微调.md 1.30 KB 一键复制 编辑 原始数据 按行查看 历史 Dongnian Wang 提交于 10个月前 . online llm ChatGLM3微调 ChatGLM3微调 chatglm3部署与微调实战 - 知乎 (zhihu.com) 智谱ChatGLM...
主要记录大语言大模型(LLMs) 算法(应用)工程师相关的知识及面试题. Contribute to LiKe-rm/llm_interview_note development by creating an account on GitHub.
LLM推理常见参数 llm推理优化技术 image llm推理优化技术.md README.md 07.强化学习 08.检索增强rag 09.大语言模型评估 10.大语言模型应用 98.LLMs相关课程 99.参考资料 pdf_note README.md Breadcrumbs llm_interview_note /06.推理 /llm推理优化技术 / llm推理优化技术.md Latest commit wdndev...
为了在低资源情况下,学习大模型,进行动手实践,创建tiny-llm-zh仓库,旨在构建一个小参数量的中文大语言模型,该项目已部署,可以在如下网站上体验:ModeScope Tiny LLM。 在线阅读 在线阅读链接:LLMs Interview Note 注意: 相关答案为自己撰写,若有不合理地方,请指出修正,谢谢!
3.faster_transformer 4.trt_llm LLM推理常见参数 image LLM推理常见参数.md llm推理优化技术 README.md 07.强化学习 08.检索增强rag 09.大语言模型评估 10.大语言模型应用 98.LLMs相关课程 99.参考资料 pdf_note README.mdBreadcrumbs llm_interview_note /06.推理 / LLM推理常见参数/ Directory actions More...