跟随本项目,从零开始自制深度学习推理框架,你将有以下收获: 学习一个深度学习框架背后的知识,掌握现代C++项目的写法,调试技巧和工程经验; 如何设计、编写一个计算图; 实现常见的算子,卷积算子、池化算子、全连接算子等; 在3的基础上,学会常见的优化手段加速算子的执行; 最后你将获得一个属于自己的推理框架,可以推理...
第七讲 表达式层中词法分析和语法分析以及算子的实现 完成https://www.bilibili.com/video/BV1j8411o7ao 第八讲 自制推理框架支持Resnet网络的推理 完成https://www.bilibili.com/video/BV1o84y1o7ni 第九讲 自制推理框架支持YoloV5网络的推理 写课件中 第十讲 让自制推理框架的执行速度更快一点 未完成 ...
跟随本项目,从零开始自制深度学习推理框架,你将有以下收获:学习一个深度学习框架背后的知识,掌握现代C++项目的写法,调试技巧和工程经验;如何设计、编写一个计算图;实现常见的算子,卷积算子、池化算子、全连接算子等;在3的基础上,学会常见的优化手段加速算子的执行;最后你将获得一个属于自己的推理框架,可以推理resnet,...
很高兴GiantPandaCV和傅莘莘同学达成合作,将连载由他原创制作的自制深度学习推理框架课程系列,这篇是本系列的开篇。第一课对应的视频和课件放在下方了。github链接:https://github.com/zjhellofss/KuiperInfer
自制深度学习推理框架之计算图中的表达式 什么是表达式 表达式就是一个计算过程,类似于如下: output_mid=input1+input2 output=output_mid*input3 用图形来表达就是这样的. 但是在PNNX的Expession Layer中给出的是一种抽象表达式,会对计算过程进行折叠,消除中间变量. 并且将具体的输入张量替换为抽象输入@0,@1等...
手把手教大家去写一个深度学习推理框架 B站视频课程 Relu算子的介绍 Relu是一种非线性激活函数,它的特点有运算简单,不会在梯度处出现梯度消失的情况,而且它在一定程度上能够防止深度学习模型在训练中发生的过拟合现象。Relu的公式表达如下所示,「如果对于深度学习基本概念不了解的同学,可以将Relu当作一个公式进行对待,...
本章配套课件:https://l0kzvikuq0w.feishu.cn/docx/IBtod4PIDoAerHxjkZwcp4wDn9d手写C++大模型推理框架,支持LLama的推理以及文本生成等功能。CUDA对算子的加速,让大模型推理框架的运算速度更上一层楼,在这里你会学习到CUDA编程语言的写法,尤其能学到怎么用CUDA去写一个
列主序的思想一直转换不过来,太奇怪了。 这里想提出一个问题: 在 https://github.com/zjhellofss/KuiperCourse/blob/6d3e91f3b10c70769fc8a6071609fffeb68292f9/source/data/tensor.cpp#L197 这个版本中,Flatten调用ReRawshape,ReRawshape做了这个动作: ...
Datawhale 以「for the learner,和学习者一起成长」为使命,鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时 Datawhale 用开源的理念去探索开源内容、开源学习和开源方案,赋能人才培养,助力人才成长,建立起人与人、人与知识、人与企业和人与未来的联结。 TA的视频+ 关注 接下来播放: 自动连播 ...
人工智能深度学习机器学习框架卷积神经网络池化算子卷积算子最大池化平均池化矩阵乘法分组卷积多通道输入多通道输出 本次课程深入探讨了深度学习中卷积神经网络的基础算子——卷积算子和池化算子的实现原理与应用。课程首先回顾了算子注册工厂的概念,随后详细介绍了池化算子,包括最大池化和平均池化的操作及其在深度神经网络中降...