通过将信息编码在时空动力学中,SNNs实现了高效计算和信号处理。尽管基于直接训练的SNN在分类任务中表现出色,但如何将其应用于目标检测这样的回归任务仍是一个挑战。🔍 为了解决这一难题,我们提出了EMS-YOLO,一个创新的直接训练SNN目标检测框架。与传统的ANN-SNN转换策略不同,我们首次尝试使用替代梯度来训练深度SNN进行...
Limitation of leaky-ReLU implementation in SNNs ReLU是最常用的激活函数,保留正值而去掉所有的负值,目前的DNN-to-SNN方法都专注于IF神经元与ReLU间的转换,忽略了激活函数中的负值,而在Tiny-YOLO中,负值激活占了51%。leaky-ReLU是目前最常用的激活,通过leakage项来保留负值 , 一般为0.01,但目前还没有准确且高效...
在目标检测领域,直接训练的SNN已经取得了一些突破。例如,SpikeYOLO模型通过简化YOLO架构并结合新型脉冲神经元设计,显著提升了目标检测性能。尽管如此,当前直接训练的SNN在静态数据集(如COCO)上的表现仍需进一步优化。 6. **硬件与理论结合** 最新的研究还探讨了如何将直接训练的SNN与硬件实现相结合。例如,MicroTNN模型...
第一代神经网络:感知机,第二代神经网络:ANN,第三代神经网络:脉冲神经网络。由于DCNN采用基于速率的编码,所以其硬件实现需要消耗更多的‘能量’。SNN中每个神经元最多使用一个脉冲,而大多数神经元根本不放电,导致能量消耗最小。 Spike-YOLO:SNN在目标检测上的首次尝试: 初识CV:Spiking-YOLO:脉冲神经网络在目标检测上...
华为联合国科大、西安交大、清华和北大共同开发了EMS-YOLO,这是第一个直接训练的脉冲神经网络,用于目标检测。该研究首次使用代理梯度训练深度SNN进行检测,并设计了全脉冲残差块EMS-ResNet。这种技术通过脉冲的时间间隔编码信息,能够在较少的时间步长内实现高效的目标检测,同时保持低功耗和高性能的特点。
NorthPole在空间指标上通过实现更高的瞬时并行性和更低的晶体管数超越了其他架构。这些结果基于ResNet50图像分类网络,类似的比较结果也适用于Yolo-v4检测网络。 NorthPole的吞吐量和延迟在不同的批量大小下进行了报告,范围从1到32。例如,使用批量大小为32,NorthPole在延迟为753毫秒的情况下实现了高吞吐量的42,460帧...
A PyTorch implementation of Spiking-YOLOv3. Two branches are provided, based on two common PyTorch implementation of YOLOv3(ultralytics/yolov3 & eriklindernoren/PyTorch-YOLOv3), with support for Spiking-YOLOv3-Tiny at present. cocopascal-vocsnnyolov3-tinypytorch-yolov3spiking-neural-networkparamete...
脉冲神经网络(SNN)属于第三代神经网络模型,实现了更高级的生物神经模拟水平。除了神经元和突触状态之外,SNN 还将时间概念纳入了其操作之中。本文将简要介绍这种神秘的神经网络形式。 所有对目前机器学习有所了解的人都听说过这样一个事实:目前的人工神经网络是第二代神经网络。它们通常是全连接的,接收连续的值,输出连...
A PyTorch implementation of Spiking-YOLOv3. Two branches are provided, based on two common PyTorch implementation of YOLOv3(ultralytics/yolov3 & eriklindernoren/PyTorch-YOLOv3), with support for Spiking-YOLOv3-Tiny at present. cocopascal-vocsnnyolov3-tinypytorch-yolov3spiking-neural-networkparamete...
对于现有的COCO检测任务的转换工作,我们只发现了SpikingYOLO和SpikingRetinaNet,但是它们都需要> 1000个时间步长才能完全恢复ANN的性能。因此,我们在表中省略了与SpikingYOLO的比较,只报告了SpikingRetinaNet在256个时间步长的结果。结果总结在表...