我最近在学习MLPerf Inference基准。这是一个用于机器学习(其实大部分模型是深度学习)的性能测试基准。 MLPerf Inference一共有五种测试场景。其中MultiStreamFree(无约束版本)不是官方场景。 SingleStream 发出包含了单个样本的查询。 仅在前一个查询完成后才发出下一个查询。 两次查询之间的LoadGen内部的延迟不包括在...