支持使用CPU和GPU两种方式。onnxruntime-gpu需要严格的CUDA和cuDNN关系对应，否则会识别不到GPU。onnxru...
它对半精度(FP16)的支持降低了 GPU 内存的使用率和带宽要求,同时加快了运算速度。 WebGPU 通过利用 GPU 处理并行计算任务的能力,可直接在网络浏览器中推断出更高效、可扩展的机器学习应用。 适用于 Mac、Windows、ChromeOS 的 Chrome 113 和 Edge 113 以及适用于Android的 Chrome 121 默认已包含 WebGPU,开发者可以...
以获取和监控 NVIDIA GPU 设备的信息。它提供了一组函数和类，可以查询 GPU 设备的状态、显存使用情况...
Add VCPKG's prerequisites to AMD GPU EPs docker files (#23636) Feb 12, 2025 docs Update BiasGelu fusion and related ops (#23518) Jan 31, 2025 include/onnxruntime/core Validate the context_file_path before EP compile graphs (#23611) ...