南開大學 | AbiU-Net：基於Transformer的非對稱雙邊U-Net提昇顯著性目標檢測

論文標題：Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net

論文鏈接：https://arxiv.org/abs/2108.07851

作者單比特：南開大學 & 蘇黎世聯邦理工學院 & 電子科大

本文提出了一種基於Transformer的非對稱雙邊 U-Net：AbiU-Net，來學習互補的全局和局部錶示，在SOD任務上錶現SOTA！性能優於GateNet、GCPANet等網絡，代碼將開源！

現有的顯著性目標檢測 (SOD) 模型主要依靠基於 CNN 的 U 形結構與跳躍連接來結合全局上下文和局部空間細節，這分別對定比特顯著性對象和細化對象細節至關重要。盡管取得了巨大的成功，但 CNN 在學習全局背景方面的能力是有限的。最近，由於其强大的全局依賴性建模，視覺Transformer在計算機視覺領域取得了革命性的進步。然而，直接將Transformer應用於 SOD 顯然是次優的，因為Transformer缺乏學習局部空間錶示的能力。為此，本文探索了 Transformer 和 CNN 的結合，以學習 SOD 的全局和局部錶示。我們提出了一種基於Transformer的非對稱雙邊 U-Net (AbiU-Net)。非對稱雙邊編碼器有一個Transformer路徑和一個輕量級的 CNN 路徑，其中兩條路徑在每個編碼器階段進行通信，以分別學習互補的全局上下文和局部空間細節。非對稱雙邊解碼器還包含兩條路徑來處理來自Transformer和 CNN 編碼器路徑的特征，在每個解碼器階段進行通信，分別用於解碼粗略的顯著性對象比特置和查找粒度對象細節。兩個編碼器/解碼器路徑之間的這種通信使 AbiU-Net 能够分別利用 Transformer 和 CNN 的自然屬性來學習互補的全局和局部錶示。因此，ABiU-Net 為基於Transformer的 SOD 提供了一個新的視角。大量實驗錶明，ABiU-Net 與之前最先進的 SOD 方法相比錶現出色。代碼將被發布。