该系统可高效、准确地预测 DNN 模型在不同边缘设备上的推理延迟,其关键思想是将整个模型划分为内核(kernel),即设备上的执行单元,然后执行内核级预测。 相关论文“nn-Meter: Towards Accurate Latency Prediction of Deep-Learning Model Inference on Diverse Edge Devices”荣获了 MobiSys 2021 大会的最佳论文奖(Best...
nn-Meter 提出基于内核单元的预测方法,通过自适应数据采集算法,可高效、准确地预测 DNN 模型在不同端侧设备上的推理延迟。 nn-Meter 荣获了MobiSys 2021 大会的最佳论文奖,且是本届大会上唯一一篇获得了Artifact Evaluation全部三个最高级别徽章的论文。 nn-Meter 论文题目截图 在论文发表之后,nn-Meter 获得越来越...