这几层是必须的，因为模型是一个 Graph，中间层是 Tensor-Level IR，MLC 的核心就是优化 Tensor Computing。底下这两层 Hardware-Level IR 和 Hardware 是相互绑定的，就是说 TVM 不会去涉及直接生成汇编指令这一层，因为中间会有一些更细的优化技巧，这一层交由厂商或者编译器去解决。ML Compiler 在设计之初有...
TVM 从来不是一个 inference engine,它能够做编译, 开发者可以用其来做推理加速。TVM 是 compiler infrastructure,但不是 inference engine,「TVM 只能用来加速」这种想法是错误的。TVM 之所以能用来加速,本质原因是 Compiler,比 PyTorch 等 Eager Mode 的执行方式要快。 TVM = Auto Tuning Relax 出现之前,大家对 ...
TVM = Inference Engine for CPU/GPU TVM 从来不是一个 inference engine,它能够做编译, 开发者可以用其来做推理加速。TVM 是 compiler infrastructure,但不是 inference engine,「TVM 只能用来加速」这种想法是错误的。TVM 之所以能用来加速,本质原因是 Compiler,比 PyTorch 等 Eager Mode 的执行方式要快。 TVM =...
TVM 从来不是一个 inference engine,它能够做编译, 开发者可以用其来做推理加速。TVM 是 compiler infrastructure,但不是 inference engine,「TVM 只能用来加速」这种想法是错误的。TVM 之所以能用来加速,本质原因是 Compiler,比 PyTorch 等 Eager Mode 的执行方式要快。 TVM = Auto Tuning Relax 出现之前,大家对 ...
首先来看硬件发展过程,从 CPU 到 GPU 是 2015、2016 年左右,从 GPU 到 TPU 是 2019 年左右。为了做 Tensorization 支持,TVM 先分析了 Tensorized Programs 特征。 Optimized loop nests with thread binding 第一,需要一个 loop testing,这是所有 Tensorized Program 必需的,底下有 Multi-dimensional data load,这...
首先来看硬件发展过程,从 CPU 到 GPU 是 2015、2016 年左右,从 GPU 到 TPU 是 2019 年左右。为了做 Tensorization 支持,TVM 先分析了 Tensorized Programs 特征。 Optimized loop nests with thread binding 第一,需要一个 loop testing,这是所有 Tensorized Program 必需的,底下有 Multi-dimensional data load,这...
最后一点是性能专家人才的短缺问题,现在的主要矛盾点是机器学习的发展需要大量的人才去做,但我们没有那么多的人才去做这件事情。反过来说TVM或者其他的深度学习编译器恰好能解决这个问题。因此我认为这个时代至少在推理上面,深度学习编译器是一个非常好的时代,能够去解决各种的问题。
内容一览:本文整理自 Apache TVM PMC、上海交通大学博士生冯思远在 2023 Meet TVM 上海站的演讲分享,主题为「TVM 与机器学习编译发展」,HyperAI超神经做了不改变原意的删减整理。 关键词:TVM 2023 Meet TVM 机器学习编译 下午好,欢迎大家今天来参加 2023 Meet TVM。作为 Apache TVM PMC,由我来给大家做关于 TVM...
冯思远 Apache TVM PMC member 我从社区开发者+relax开发者的角度来分享一些我的看法,其中也包含跟TQ、Yuchen以及其他社区资深开发者的讨论。 1. Unified Abstraction 个人认为这一点是Relax最有意思的feature,从根本上打破了算子层的隔阂。从实践经验来看,TVM(和其他一些编译器)一直以来都在通过底层信息修改计算图,...
Apache TVM PMC member 计算机软件 上海交通大学 计算机科学 查看详细资料 关注他发私信 动态 回答1 视频0 提问0 文章4 专栏1 想法0 收藏0 关注订阅 他的动态赞同了回答2024-12-13 14:19 《宇宙机器人》获得 TGA2024 年度最佳游戏奖项,你心目中的最佳是哪款游戏? 苟十 怀孕的...