Bottleneck Attention Module

paper:BAM: Bottleneck Attention ModuleBMVC2018

code:BAM

Abstract

深度神經網路的最新進展已經通過架構研究開發出來，以獲得更強的代表能力。在這項工作中，我們關注一般深度神經網路中注意力的影響。我們提出了一個簡單的有效注意模塊，名為瓶頸注意模塊（BAM），可以與任何前饋卷積神經網路集成。我們的模塊沿著兩個獨立的路徑，即通道和空間推薦注意力圖。我們將模塊置於模型的每個瓶頸中，其中發生特徵映射的下採樣。我們的模塊通過多個參數在瓶頸上構建層次關注，並且可以與前饋模型一起以端到端的方式進行訓練。我們通過對CIFAR-100，ImageNet-1K，VOC 2007和MS COCO基準的廣泛實驗來驗證我們的BAM。我們的實驗表明，各種模型在分類和檢測性能方面均得到了一致的改進，證明瞭BAM的廣泛適用性。

Attention detail

瓶頸注意模塊，可以與任何卷積神經網路集成，BAM位於網路的每個瓶頸。多個BAM構建了一個層次關注，類似於人類感知過程。BAM在早期階段去除低級特徵，例如背景紋理特徵。然後逐漸關注確切的目標，進行一個較高級的語義分析。

給定一個feature map F, 分別經過通道和空間attention 計算得到BAM attention M(F), 通道：通過全局平均池化 C×1×1，為了節省參數開銷，將通道壓縮至C/r，其中超參r是縮減比率。添加批量標準化（BN）層以歸一化每維度的比例。空間：1×1卷積壓縮通道至C/r（相同壓縮比r）空洞卷積關注更多上下文信息，有利於構建更有效的空間映射。最後用1x1卷積得到1xHxW的空間權重，兩個attention擴張至CxHxW然後相加,sigmoid ,空洞值d r超參 we set {d = 4, r =16}

Result

Convolutional Block Attention Module

paper:Convolutional Block Attention ModuleECCV2018

code:CBAM

Abstract

我們提出了卷積塊注意模塊（CBAM），這是一個簡單的用於前饋卷積神經網路的有效注意模塊。給出一個中間特徵映射，我們的模塊依次沿著兩個獨立的維度，通道和空間推斷注意圖，然後將注意圖倍增到用於自適應特徵細化的輸入特徵映射。因為CBAM是一個輕量級的通用模塊，它可以無縫地集成到任何CNN架構中，開銷可以忽略不計，並且可以與基本CNN一起進行端到端的跟蹤。我們通過ImageNet-1K，MS~COCO檢測和VOC~2007檢測數據集的大量實驗驗證了我們的CBAM。我們的實驗表明，各種模型的分類和檢測性能得到了不斷的改進，證明瞭CBAM的廣泛適用性。

Attention detail

channel

同時使用平均池化和最大池化操作來聚合特徵映射的空間信息,送到一個共享網路, 壓縮輸入特徵圖的空間維數,逐元素求和合併,以產生我們的通道注意力圖 Mc

spacial

還是使用average pooling和max pooling對輸入feature map進行壓縮操作，只不過這裡的壓縮變成了通道層面上的壓縮，連接起來，用7*7卷積生成空間注意力圖譜

CBAM集成網路很好的學習目標對象區域中的信息並從中聚合特徵。通過實驗發現串聯兩個attention模塊的效果要優於並聯。通道attention放在前面要優於空間attention模塊放在前面。

Result

Network Visualization with Grad-CAM

推薦閱讀：