當前位置:網站首頁>南開大學 | AbiU-Net:基於Transformer的非對稱雙邊U-Net提昇顯著性目標檢測

南開大學 | AbiU-Net:基於Transformer的非對稱雙邊U-Net提昇顯著性目標檢測

2021-08-20 10:43:13 作者:小門神

論文標題:Boosting Salient Object Detection with Transformer-based Asymmetric Bilateral U-Net

論文鏈接:https://arxiv.org/abs/2108.07851

作者單比特:南開大學 & 蘇黎世聯邦理工學院 & 電子科大

本文提出了一種基於Transformer的非對稱雙邊 U-Net:AbiU-Net,來學習互補的全局和局部錶示,在SOD任務上錶現SOTA!性能優於GateNet、GCPANet等網絡,代碼將開源!

現有的顯著性目標檢測 (SOD) 模型主要依靠基於 CNN 的 U 形結構與跳躍連接來結合全局上下文和局部空間細節,這分別對定比特顯著性對象和細化對象細節至關重要。盡管取得了巨大的成功,但 CNN 在學習全局背景方面的能力是有限的。最近,由於其强大的全局依賴性建模,視覺Transformer在計算機視覺領域取得了革命性的進步。然而,直接將Transformer應用於 SOD 顯然是次優的,因為Transformer缺乏學習局部空間錶示的能力。為此,本文探索了 Transformer 和 CNN 的結合,以學習 SOD 的全局和局部錶示。我們提出了一種基於Transformer的非對稱雙邊 U-Net (AbiU-Net)。非對稱雙邊編碼器有一個Transformer路徑和一個輕量級的 CNN 路徑,其中兩條路徑在每個編碼器階段進行通信,以分別學習互補的全局上下文和局部空間細節。非對稱雙邊解碼器還包含兩條路徑來處理來自Transformer和 CNN 編碼器路徑的特征,在每個解碼器階段進行通信,分別用於解碼粗略的顯著性對象比特置和查找粒度對象細節。兩個編碼器/解碼器路徑之間的這種通信使 AbiU-Net 能够分別利用 Transformer 和 CNN 的自然屬性來學習互補的全局和局部錶示。因此,ABiU-Net 為基於Transformer的 SOD 提供了一個新的視角。大量實驗錶明,ABiU-Net 與之前最先進的 SOD 方法相比錶現出色。代碼將被發布。

版權聲明
本文為[作者:小門神]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2021/08/20210820104312805w.html