脈沖神經網絡(Spiking neural network, SNN)將脈沖神經元作為計算單元能夠模仿人類大腦的信息編碼和處理過程。不同于CNN使用具體的值(continuous)進行信息傳遞SNN通過脈沖序列(discrete)中每個脈沖發射時間(temporal)進行信息的傳遞能夠提供稀疏但強大的計算能力。脈沖神經元將輸入累積到膜電壓當達到具體閾值時進行脈沖發射能夠進行事件驅動式計算。由于脈沖事件的稀疏性以及事件驅動的計算形式SNN能提供卓越的能源利用效率是神經形態結構的首選神經網絡
盡管SNN有很多好處但目前僅能處理相對簡單的任務由于神經元復雜的動態性以及不可導的操作暫時沒有一個可擴展的訓練方法。DNN-to-SNN是近期廣泛的SNN訓練方法該方法將目標DNN轉化成SNN的中間DNN網絡進行訓練然后轉成SNN并復用其訓練的參數在小數據集分類上能達到不錯的性能但是在大數據集上分類結果不太理想
論文打算使用DNN-to-SNN轉化方法將SNN應用到更復雜的目標檢測領域中圖片分類只需要選擇分類就好而目標檢測則需要神經網絡進行高度準確的數字預測難很多。在深入分析后論文實現YOLO的轉換主要面臨以下兩個問題
論文直接使用DNN-to-SNN轉換方法將SNN應用到目標檢測中發現性能下降得十分嚴重在分析性能下降原因后得出兩個主要原因a) 大量神經元的脈沖發射頻率過低 b) SNN缺少leaky-ReLU的高效實現
在SNN中根據輸入的幅度產生脈沖序列進行無損的內容傳遞是極為重要的。但在固定時間激活過度或激活不足的神經元內將可能導致內容損失這和臨界電壓V t h V_{th}Vth的設置有關。設置過高神經元需要累積很長時間的電壓才能發射脈沖相反則會過多地發射脈沖。發射頻率通常定義為N T \frac{N}{T}TNN NN為T TT個timestep的脈沖發射總數最大的發射率為100%即每個timestep都發射脈沖
為了防止神經元的激活過度和激活不足權值和臨界電壓都需要精心地選擇。為此很多研究提出了歸一化的方法比如常用的Layer-wise normalization(layer-norm)。該方法通過該層的最大化激活值來歸一化層的權值如公式4w ww和b bb為權重λ \lambdaλ為輸出特征圖最大值。經過歸一化后神經元的輸出就歸一到[ 0 , 1 ] [0,1][0,1]方便設定臨界電壓。由于最大激活值λ \lambdaλ從訓練集得到的所以測試集和訓練集需要有相同的分布但論文實驗發現這種常規的歸一化方法在目標檢測任務上會導致明顯的性能下降
圖1展示了通過layer-norm后的各層每個channel的最大激活值藍色和紅色的線分別為每層的平均激活值和最小激活值。可以看到每層的歸一化后的激活值偏差較大總體而言layer-norm使得神經元的channel偏向激活不足這在僅需選擇分類的圖片分類任務是不被察覺的但對于需要預測準確值的檢測任務的回歸則不一樣。比如傳遞0.7則需要在10個timestep脈沖7次0.007則需要在1000timestep脈沖7次。當tempstep本身就很少時過低的發射率可能會因發射不到足夠的脈沖而導致信息丟失
從上面的分析可以看出channle-norm能夠避免過小的歸一化激活值從而保持較高的脈沖發射頻率使得神經元能夠在短時間內準確地傳遞信息是深度SNN在解決更高級的機器學習問題的一種可行解決方案
論文提出Spiking-YOLO是脈沖神經網絡在目標檢測領域的首次成功嘗試實現了與卷積神經網絡相當的性能而能源消耗極低。論文內容新穎比較前沿推薦給大家閱讀
離心弦:樓主知道這個模型是怎么預測的嗎？論文上說訓練時預測出N個框，然后和ground true進行二分圖的matching，將最佳matching的框和GT去求Loss。那預測時怎么辦？我模型預測出N個框，直接進行得分篩選嗎？源碼里面也沒有預測的部分。
