Contribute to HeKun-NVIDIA/TensorRT-Developer_Guide_in_Chinese development by creating an account on GitHub.
https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/#TensorRT官方文档(C++ api)https://docs.nvidia.com/deeplearning/tensorrt/api/python_api/#TensorRT官方文档(python api)https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/cookbook https://github.com/wang-xinyu/tensorrtx ...
本文档描述了 TensorRT-LLM 中实现的不同方法,并包含不同模型的支持矩阵。 1、FP32、FP16 和 BF16 TensorRT-LLM 中实现的不同模型使用 32 位 IEEE 浮点 (FP32) 数字。当检查点可用时,模型还支持 16 位 IEEE 浮点数 (FP16) 和 16 位 Bfloat16 (BF16),如此处所述。
如您发现内容有误或有改进建议,欢迎通过页面下方的评论区,或在以下 Issue 页面中告诉我们:https://github.com/Seeed-Studio/wiki-documents/issues 本指南介绍了如何将 YOLOv8 模型部署到 NVIDIA Jetson 平台,并使用 TensorRT 进行推理。在这里,我们使用 TensorRT 来最大化 Jetson 平台上的推理性能。 本指南将介绍...
TensorRT提供了C++组件运行TensorRT引擎,该引擎使用Python API创建(如架构文档中所述)。组件叫做C++运行时。 C++运行时API由在cpp/include/tensorrt_llm/runtime中声明并在cpp/tensorrt_llm/runtime中实现的类组成。一个关于像GPT这样的自回归模型如何使用C++运行时的示例可以在 cpp/tests/runtime/gptSessionTest.cpp找...
本文档详细介绍了TensorRT-LLM在不同数值精度下的实现方式，以及所支持的模型矩阵。在TensorRT-LLM中，模型主要使用32位IEEE浮点数（FP32）进行运算。此外，当可用时，模型还会支持16位IEEE浮点数（FP16）和16位Bfloat16（BF16），以提升性能。TensorRT-LLM通过INT8量化技术实现浮点数到整数的转换，其中...
https://nvidia.github.io/TensorRT-LLM/architecture.html https://www.anyscale.com/blog/continuous-batching-llm-inference 相关链接：[1] TensorRT-LLM https://github.com/NVIDIA/TensorRT-LLM [2] SmoothQuant技术 https://arxiv.org/abs/2211.10438 [3] AWQ https://arxiv.org/abs/2306.00978 [4] ...
根据官方文档:Best Practices for Tuning the Performance of TensorRT-LLM(https://nvidia.github.io/Tens...) 中的介绍,max_num_tokens表示engine支持并行处理的最大tokens数,TensorRT-LLM需要为此预留部分的显存,此参数与max_batch_size存在相互制约的关系。由于TensorRT-LLM需要根据max_num_tokens预留显存,因此该值...
https://github.com/NVIDIA/TensorRT/tree/master/plugin 官方提供的插件已经相当多,而且TensorRT开源了plugin部分(可以让我们白嫖!)。并且可以看到其源码,通过模仿源码来学习plugin是如何写的。 如果要添加自己的算子,可以在官方的plugin库里头进行修改添加,然后编译官方的plugin库。将生成的libnvinfer_plugin.so.7替换...
本月 GitHub 探索发现掘金 7 个宝藏级开源项目，涵盖语音合成、深度学习推理、大规模语言模型、网络应用构建、网络安全、Vue UI 组件库、实时地图数据获取等领域，为开发者提供全方位赋能。1.鱼形语音：最新 TTS 解决方案 ️仓库名称：fishaudio/fish-speech截止发稿星数: 4376 (近一个月新增:1966)仓库语言: ...