【InfiniTensor】清华大学系列训练营-大模型与人工智能系统训练营 并行编程(CUDA)(五)算子测试框架搭建 01:08:49 【InfiniTensor】清华大学系列训练营-大模型与人工智能系统训练营 并行编程(Triton & 九齿)(五)基于九齿的算子开发 1992-7 56:32 42:21 ...
InfiniTensor 是开源组织的第一个项目,也是组织名的来源。该项目使用 C++ 开发,接受加载 ONNX 表示的模型实现高效推理,结构简洁、易于学习。另外,InfiniTensor 还支持多种硬件加速。 大模型推理引擎InfiniLM 相对于复杂多样的小型模型,大语言模型规模庞大、结构单一,需要高度特化的推理引擎才能达到高效推理。InfiniLM 项...
InfiniTensor 中文项目简介 | Documentation | 中文文档 InfiniTensor is a high-performance inference engine tailored for GPUs and AI accelerators. Its design focuses on effective deployment and swift academic validation. Get started Make Commands make/make build: Builds the project; make install-python:...
【InfiniTensor】清华大学系列训练营-大模型与人工智能系统训练营 并行编程语言(CUDA)(二)CUDA入门编程 169 0 41:32 App 【InfiniTensor】清华大学系列训练营-大模型与人工智能系统训练营 并行编程语言(OpenCL)(三)OpenCL C 算子开发及优化(基础语法) ...
2024冬季InfiniTensor人工智能系统训练营 | 寒假特别版寒假来临,你是否在寻找一个机会来充实自己,提升技能? 在这个人工智能飞速发展的时代,掌握AI技术无疑是提升个人竞争力的关键。如果你正渴望学习新知识,却又苦于没有合适的途径,那么“2024冬季大模型与人工智能系统训练营”将是你的不二之选。报名链接: 链接为什么...
+ this->resetWorkspace(); 46 + continue; 47 + } else { 4448 double t = timeit([&]() { funcPtr(op, record, this); }, 4549 [&]() { sync(); }, 1, 1);4650 this->resetWorkspace();src/kunlun/kunlun_runtime.cc 7处查看文件...
启元实验室/九源智能编译优化系统关注30点赞32复刻(Fork)21 主页 代码库 疑修(Issue) 里程碑 维基(Wiki) 动态 add shape information to the kvcache attention operator kvcache_backup浏览文件 xiaonans 提交于2024-4-11 14:52 父节点4a5b9572bb 当前节点d000f9750c 共有 个文件 被更改...
运行InfiniTensor分布式脚本 36 + 37 + ```bash 38 + python bang_launch.py --model "/XXX/XXX.onnx" --nproc_per_node 4 39 + ``` examples/distributed/bang/bang_launch.py 109处查看文件 @@ -1,35 +1,39 @@ 1 + import sys 2 + sys.path.append('../') 3 + 14 import ...
运行InfiniTensor分布式脚本 36 + 37 + ```bash 38 + python bang_launch.py --model "/XXX/XXX.onnx" --nproc_per_node 4 39 + ``` examples/distributed/bang/bang_launch.py 109处查看文件 @@ -1,35 +1,39 @@ 1 + import sys 2 + sys.path.append('../') 3 + 14 import ...
InfiniTensor/InfiniLM InfiniTensor/InfiniLMPublic NotificationsYou must be signed in to change notification settings Fork27 Star101 main 5Branches10Tags Code Folders and files Name Last commit message Last commit date Latest commit YdrMaster fix(llama-cuda): 支持根据空闲内存计算可能的 kv cache 容量...