當前位置:網站首頁>An End-to-End Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features-閱讀筆記

An End-to-End Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features-閱讀筆記

2022-05-14 16:57:14wyypersist

An End-to-End Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features

一種融合多層次特征的端到端鋼鐵錶面缺陷檢測方法

//2022.5.11日上午8:41開始閱讀

論文地址

An End-to-End Steel Surface Defect Detection Approach via Fusing Multiple Hierarchical Features | IEEE Journals & Magazine | IEEE Xplore

個人總結

本文中,作者通過使用ResNet34/50作為骨幹網絡對於並結合MFN將不同等級的特征圖進行融合,並使用RPN網絡在融合後的完整特征圖上進行預測,從而形成了本文中的DNN檢測系統。作者在NEU-DET數據集上進行了分類和檢測任務的實驗,並探究了MFN網絡在區域建議數量不同時和使用的IoU交並比不同時的實驗結果。同時,作者還對使用MFN網絡融合哪幾層骨幹網絡輸出作出了詳細說明。此外,為了保持維度一致,一種簡單的方法是使用1×1 conv來减少/增加維度。1×1 conv有兩種放置模式:前置和後置,還有一個Hyper-style模式,共三個模式,作者也對於使用那種放置模式作出了說明。作者還說明了,如果使用更多的數據集,DDN網絡可能會具有更高的精度。對於檢測結果中的失敗案例,作者也做出了說明。

論文目的

論文中提出了一種基於深度學習的新型缺陷檢測系統,並專注於一個實際的工業應用:鋼板缺陷檢測。為了獲得强大的分類能力,該系統在每個階段使用基線卷積神經網絡(CNN)生成特征圖,然後提出的多級特征融合網絡(MFN)將多個分層特征組合成一個特征,可以包含更多的缺陷比特置細節。基於這些多級特征,采用區域建議網絡(RPN)生成感興趣區域(ROI)。對於每個ROI,由分類器和邊界盒回歸器組成的檢測器生成最終檢測結果。

論文中出現的名詞對照

自動缺陷檢測(ADI)、缺陷檢測數據集(NEU-DET)、缺陷檢測網絡(DDN)、多級特征融合網絡(MFN)。

論文內容

1.介紹

作者首先介紹了缺陷檢測任務的兩個不同任務:缺陷分類和缺陷定比特。並且介紹了較為複雜的多類別鋼板錶面缺陷檢測任務。

 

 

作者又介紹了傳統ADI方法的缺點:1.手工特征的使用不明確,特征的確定過於主觀;2.缺陷定比特不精確。

作者為了解决上述傳統的缺陷檢測方法中存在的問題,使用基於深度學習方法的缺陷檢測技術建立一個端到端的缺陷檢測系統。

 

本文使用ResNet作為骨幹網絡,並使用了在ImageNet數據集上預訓練的權重。

作者說明了使用CNN對特征進行提取時,圖像在CNN流程中進行流動時,可能會出現重要部比特的信息丟失的問題。為了解决高級特征圖和低級特征圖語義信息不一致的問題,本文還采用了多級特征圖融合措施(MFN)。本文還使用了NEU-DET對模型進行微調。

為了克服上述挑戰,本文建立了一個名為缺陷檢測網絡(DDN)的端到端ADI系統。DDN 1)在缺陷分類中采用了强大的ResNet;2) 建議最惠國收集更多的比特置細節;3)建立用於微調的缺陷檢測數據集,並報告改進情况。更詳細地說,首先,我們在ImageNet上預訓練ResNet,然後在NEU-DET數據集上進行微調。MFN可將選定的特征融合為一個多層次特征,其特征涵蓋了ResNet的所有階段。然後,在基於多級特征的建議生成中采用區域建議網絡(RPN),然後DDN可以輸出類分數和邊界框坐標。最後,我們在NEU-DET上對該方法進行了評估,結果錶明該方法明顯優於其他ADI方法。

本文的主要貢獻:1. 引入端到端缺陷檢測管道DDN,該管道集成了ResNet和RPN,用於精確的缺陷分類和定比特。2. 建議的融合多層次特征的MFN網絡。與其他融合方法相比,MFN可以結合較低層次和較高層次的特征,使多級特征具有更全面的特征。3. 一個用於微調網絡的缺陷檢測數據集NEU-DET,並證明所提出的DDN在該數據集上具有非常有競爭力的性能。

2.相關工作

2.1 缺陷檢測

通常,缺陷分類方法包括兩部分:特征提取和分類器。經典的特征提取程序是獲取手工特征,例如HOG和LBP,它們後面總是跟著一個分類器,例如SVM。因此,不同的特征抽取器和分類器的結合產生了多種缺陷分類方法。例如,Song和Yan[3]改進了LBP以抵抗噪聲,並采用NNC和SVM對缺陷進行分類。Ghorai等人[9]基於一小組小波特征,使用SVM進行缺陷分類。與上述兩種方法不同,Chu等人[8]采用了一種通用的特征提取方法並增强了SVM。從計算機視覺的角度來看,缺陷分類任務本質上是缺陷圖像分類,這在複雜的缺陷圖像中很難實現。為了解决這一問題,簡單而直接的方法是在缺陷分類之前進行缺陷定比特,使檢測任務在缺陷區域而不是整個缺陷圖像上進行分類,這就是缺陷檢測任務。例如,[11]和[12]中的缺陷檢測器首先執行0-1分類,以判斷特征是否屬於缺陷類別或非缺陷類別,然後根據缺陷類別特征的邊界找到缺陷區域,最後執行不同的分類方法以確定缺陷的特定類別。此外,對於快速檢測的要求,還有另一種簡化的檢測器,它只關注缺陷區域,而不管缺陷屬於不同的類別[10]。

然而,基於DL的方法與上述方法截然不同。手工特征提取器局部分析單個圖像並提取特征。然而,CNN需要通過大量的學習來構建所有輸入數據的錶示。CNN有很好的概括性和可轉移性,因此有一些基於CNN的缺陷檢測方法。例如,Chen和Ho[21]證明,像Overfeat[24]這樣的物體探測器可以通過某種方式轉換為缺陷探測器。與[18]和[19]類似,他們證明使用順序CNN提取特征可以提高缺陷檢查的分類精度。類似地,基於順序CNN,Ren等人[17]對分類結果執行額外的缺陷分割任務,以定義缺陷的邊界。此外,Natarajan等人[20]采用了更深層次的神經網絡VGG19進行缺陷分類。隨著CNN的深入,缺陷分類的准確率得到了進一步的提高。

2.2 適用於基線任務的骨幹網絡

目前有三種流行的CNN架構,它們被用作預訓練的基線網絡。早期成功的網絡基於順序管道結構[25],它建立了CNN的基本結構,並證明了網絡深度的重要性。隨後,初始網絡采用了模塊化單元,在不增加計算成本的情况下增加了網絡的深度和寬度[26]。第三種類型是ResNet,使用剩餘塊使網絡更深,而不會過度擬合[23]。ResNet被廣泛應用於各種視覺任務中,只需幾個參數即可獲得有競爭力的結果。

選擇合適的基線網絡是DL方法獲得良好結果的關鍵。大型網絡對輸入數據具有很强的錶示能力,因此提取的特征具有很高的抽象性,但對訓練數據的需求很大。

2.3 CNN檢測器

CNN探測器的目標是通過一個邊界框對每個目標進行分類和定比特。它們主要分為兩種方法:一種是基於區域的方法,另一種是直接回歸方法。最著名的基於區域的探測器是“R-CNN系列”[27]、[28]、[14]。在這個框架中,數千個獨立於類的區域建議被用於檢測。基於區域的方法精度更高,但需要稍微多一些計算。有代錶性的直接回歸方法是YOLO[29]和SSD[30]。他們直接將圖像分成小網格,然後對每個網格預測邊界框,然後回歸到地面真相框。直接回歸法檢測速度快,但在小情况下難以檢測。

3. 缺陷檢測網絡(DDN)

在本節中,詳細描述了DDN(參見圖4)。CNN處理任意大小的單尺度圖像,並生成ConvNet每個階段的卷積特征圖(ConvNet代錶CNN的卷積部分)。我們提取多個特征映射,然後使用輕量級MFN在同一維度上聚合它們。通過這種方式,最惠國特征具有ConvNet的幾個層次的特征。接下來,使用RPN[14]網絡在MFN特征上生成區域建議(RoIs)。最後,通過ROI池[28]和全局平均池(GAP)層,將每個ROI對應的MFN特征轉換為固定長度特征。該功能被饋入兩個完全連接的(fc)層。一個是(C+1)缺陷分類層(“cls”)中的一個,另一個是邊界框回歸層(“loc”)。

 

3.1 基線卷積網絡結構

正如我們所知,在ImageNet數據集上進行預訓練對於實現競爭性性能非常重要,然後可以在相對較小的缺陷數據集上對該預訓練模型進行微調。在本文中,我們選擇最近成功的基線網絡ResNet作為主幹網。ResNet有以下幾個吸引人的優點。

1.與同等規模的順序管道結構CNN(ResNet50與VGG16,0.85 M與138 M參數)相比,ResNet可以在極少的參數下實現最先進的精度。這意味著ResNet具有較低的計算成本和較小的過擬合概率。

2. ResNet使用GAP來處理最終的卷積特征映射,而不是雙重堆疊的fc層,這可以在某種程度上保留圖像中缺陷的更全面的比特置信息。

3. ResNet具有模塊化的ConvNet,易於集成。

在本文中,我們選擇ResNet34和ResNet50作為基線網絡。兩個網絡的詳細結構如錶I所示,剩餘塊錶示為{R2,R3,R4,R5}。

3.2 生成多級特征

以前的優秀方法僅利用高級特征來提取區域建議(如在最後一個卷積特征映射上更快的R-CNN提取建議)。為了獲得高質量的區域方案,單級特征應該被擴展到多級功能。顯然,最簡單的方法是從多個圖層組合特征地圖[31]。因此,現在出現了一個問題,應該組合哪些層?有兩個基本條件:不相鄰,因為相鄰層具有高度的局部相關性[32],以及覆蓋範圍,包括從低級到高級的特征。對於ResNet,最直觀的方法是組合每個剩餘塊中的最後一層。

為了在不同層次上融合特征,在預訓練模型上附加了所提出的網絡MFN。MFN有四個分支,錶示為{B2,B3,B4,B5},每個分支都是一個小網絡。B2、B3、B4和B5依次連接到R2、R3、R4和R5的最後一層。當圖像流經基線網絡時,會按順序生成Ri特征。Ri特征是指剩餘塊Ri最後一層的特征映射輸出,i=2,5.同樣,Bi特征是從MFN批次Bi的最後一層生成的特征圖,i=2,5.然後,每個Ri特征被引導到產生Bi特征的MFN中的相應分支。最後,通過連接來自CNN不同階段的B2、B3、B4和B5特征來獲得多級特征。

最後,MFN具有計算效率高、泛化能力强的特點。MFN可以通過修改1×1 conv的濾波器數量來减少所需的參數。此操作可能會影響精度,但在訓練數據不足的情况下可防止過度擬合。

3.3 提取區域建議

RPN通過在多級特征地圖上滑動來提取區域建議。RPN將任意大小的圖像作為輸入,並輸出錨定框(候選框),每個錨定框都有一個分數,錶示它是否存在缺陷。RPN的原創性在於“錨定”方案,該方案使錨定盒具有多種尺度和縱橫比。然後,將錨定框分層映射到輸入圖像,以便生成多尺度和縱橫比的區域建議。由於最惠國功能的分辨率大小,可將RPN視為在R4功能上滑動。按照[14],我們設置了三個縱橫比{1:1,1:2,2:1}。考慮到缺陷的多種尺寸,我們設置了四個尺度{642、1282、2562、5122}。因此,RPN在每個滑動比特置生產12個錨箱。

區域提案提取器總是以ROI池層結束。該層對每個ROI內的特征映射執行最大池操作,將其轉換為一個固定大小為W×H(本文中為7×7)的小特征向量(ResNet34為512-d,ResNet50為2048-d)。最後,基於這些小立方體,計算每個區域建議與相鄰的地面真相盒的偏移量以及是否存在缺陷的概率。

4.訓練

4.1 多任務損失函數

缺陷檢測任務可以分為兩個子任務,因此DDN有兩個輸出層。cls層為C+1類別(C缺陷類別加上一個背景類別)上的每個ROI輸出一個離散的概率分布,k=(k1,…,kC)。通常,k由softmax函數計算。cls損失Lcls是兩類(缺陷或非缺陷)的日志損失。Lcls=− 原木(k,k)∗) k在哪裏∗ 這是一門基礎真理課。loc層為每個C缺陷類別輸出邊界框回歸偏移量t=(tx,ty,tw,th)。如[28]所述,loc損耗Lloc是一個平滑的L1損耗函數。Lloc=SmoothL1(t− T∗) t在哪裏∗ 是與陽性樣本相關的背景真相框。對於包圍盒回歸,我們采用t和t的參數化∗ 參見[27]

 

其中,下標x、y、w、a、n和h錶示每個盒子的中心坐標及其寬度和高度。變量x,xa,a,n和x∗ 分別錶示預測框、錨定框和地面真相框(y、w、a、n和h的規則相同)。

通過這些定義,我們最小化了一個多任務損失函數,它被定義為:

 

 

其中λ是平衡cls和loc項的權重參數。在培訓期間,我們設置λ=2,錶明DDN致力於實現更好的缺陷比特置。P∗ 是loc術語的激活參數。定比特損失僅涉及陽性樣本的後續計算(p∗ = 1) 在其他情况下禁用(p∗ = 0). 我們遵循[14]中的“IOU”策略來確定錨定的陽性和陰性樣本。

4.2 交替訓練

對於預訓練網絡,MFN和RPN是新的層。因此,我們需要通過訓練使這三個網絡共享共同的卷積特性。預訓練模型本質上是一個分類網絡,由MFN生成的多級特征可以直接輸入到cls層。因此,預訓練網絡和最惠國可以合並成一個網絡,然後進行端到端訓練。沒有RPN,DDN的其餘部分是一個檢測器網絡。為了與RPN共享特性,采用了[14]中的四步交替訓練策略,在訓練RPN和訓練檢測器網絡之間交替進行。結合這兩種策略,我們開發了一種實用的五步聯合訓練算法,如算法1所示。

在第2步和第3步之後,RPN和檢測器網絡依次用ImageNet預訓練模型初始化。然而,這兩個網絡目前還沒有共享卷積特性。他們得到它,直到步驟3和步驟4的微調過程完成。具體來說,我們凍結共享卷積層,只微調非共享層。最後,我們將兩個網絡合並為一個統一的網絡。

4.3 實現細節

對於DDN,我們采用了以圖像為中心的訓練策略。圖像被調整大小,使其短邊為600像素。我們使用隨機梯度descen進行訓練,重量衰减為0.0001,動量為0.9。我們在每個小批量迭代中拍攝一張圖像。探測器網絡培訓(包括MFN培訓)的小批量大小為64,RPN培訓的小批量大小為128。我們使用0.001的學習率(對於200k次小批量迭代)和0.0001的學習率(對於另外100k次小批量迭代)對模型進行微調。我們使用“Xavier”初始化所有新層[33]。為了避免過度擬合,我們還使用了幾種數據增强方法,如旋轉、反射和移比特,但删除了退出模塊。

5. 實驗

5.1 NEU-DET數據集

NEU surface defect1是我們七年前開放的缺陷分類數據集[3]。熱軋鋼板有六種類型的缺陷,包括開裂、夾雜、斑點、麻點錶面、軋屑和劃痕。每個類別有300張圖像,但這並不意味著一張圖像包含一個缺陷。缺陷圖像的示例如圖5所示。

 

為了執行缺陷檢測任務,我們提供了保存為XML文件的注釋。利用它們,分類數據集昇級為檢測數據集。注釋標記了圖像中出現的每個缺陷的類別和邊界框。每個邊界框被視為一個groundtruth框,由其左上角和右下角坐標錶示。總共有近5000個地面真相箱。為簡單起見,我們將原始數據集NEU-CLS和補充數據集NEU-DET稱為NEU-CLS。注釋示例也如圖5所示。

5.2 NEU-CLS的缺陷分類

如上所述,MFN可以合並到基線CNN中,用於缺陷分類任務。因此,我們首先報告缺陷分類的結果,以證明我們的方法可以實現與其他相關方法相比具有競爭力的准確性,並且合並MFN不會顯著影響分類能力。圖6顯示了與其他方法相比的缺陷分類結果。根據圖6,我們可以得出以下結論:

1. 具有MFN的網絡可以很好地進行缺陷分類,因此多層特征仍然具有很强的語義能力;

2. 對於ResNet34,MFN對分類結果有輕微損害。然而,這種影響在更深層次的網絡ResNet50中消失了。這錶明,從更深層次的網絡中提取的特征更加獨特,因此整個網絡變得更加健壯。

3. 有了MFN,ResNet34的准確度達到了ResNet50的99%,這錶明,在實踐中,缺陷分類任務實際上並不需要非常深的網絡。

正如我們所知,更强的缺陷分類性能應該與更强的缺陷檢測性能正相關。良好的分類結果是後續缺陷檢測實驗的前提。

 

5.3  NEU-DET的缺陷檢測

我們在NEU-DET數據集上進行了缺陷檢測實驗。按照慣例,我們將NEU-DET分為訓練集和測試集,並修複訓練/測試分離。包含1260張圖像的訓練集用於微調第IV-B節中介紹的網絡,以及包含540張圖像的測試集。我們在測試集上將DDN與更快的R-CNN和HyperNet[34]進行了比較,兩種方法都使用了他們論文中提到的相同基線網絡(VGG16[40])。此外,由於類似的建議生成器,DDN和更快的R-CNN也在ResNet34\/50上進行了實驗。與缺陷分類不同,在缺陷檢測的情况下,只有准確度不是一個合適的性能度量。因此,我們用平均准確度(AP)來評估檢測實驗的結果,這是兩個重要檢測指標:准確度和召回率之間的一個很好的折衷。這些指數的定義如下:

 

其中TP、FP和FN分別代錶真陽性、假陽性和假陰性的數量。還計算平均AP(mAP)來評估整體性能,即所有類別AP的平均值。

錶II顯示了缺陷檢測實驗的結果。在基線ResNet34\/50下,DNN的mAP為74.8\/82.3,比速度更快的R-CNN高出4.6\/4.4。這一結果錶明,從多級特征中提取的方案優於從單級特征中提取的方案。在相同的基線網絡(VGG16)下,更快的R-CNN實現了72.3的地圖,HyperNet實現了74.8的地圖。DNN實現了76.6的地圖,比速度更快的R-CNN高4.3個點,比HyperNet高1.8個點。HyperNet也是一種基於多種特征的檢測器,但我們的方法可以提取更高質量的區域建議,這將在第六節詳細討論。NEU-DET的檢測結果示例如圖7所示。

通過之前的缺陷分類實驗,證明了MFN對分類精度的影響較小。因此,從多層次特征中提取的質量區域建議有利於地圖的改進。這意味著MFN有助於提高定比特精度。我們在第V-D節中具體評估了MFN的錶現。

 

 

5.4 對MFN網絡的分析

為了驗證MFN能够提高定比特精度,我們比較了幾種區域建議提取器、滑動窗口、邊緣框[35]和選擇性搜索[36]。除了這些方法之外,RPN+MFN還與樸素的RPN(基於單級特征的提取方案)進行了比較。如果提案的質量得到改善,檢測器可以使用更少的提案和更嚴格的IOU閾值,而不會影響召回。因此,我們在NEU-DET測試集上評估不同提案數量和IOU閾值的召回率。提案數量是通過這些方法選擇的排名前K的地區提案。IOU錶示預測框和基本真值框的交集和並集之間的比率。

圖8顯示了在三個不同數量的區域建議下,具有不同IOU閾值的缺陷召回率。借據門檻越大,選擇方案的質量就越高。毫不奇怪,基於卷積特征的方法的性能明顯高於沒有CNN的方法[37]。當IOU>0.7時,與RPN+MFN相比,幼稚RPN的召回率急劇下降。樸素的RPN只從高級功能中提取建議,一些比特置信息由前面的分層過濾導致提案質量下降。隨著提案數量的增加,當IOU>0.7時,樸素RPN的下降幅度更大。這是因為RPN提取了太多低質量的提案,而且隨著提案的增加,這種情况更加明顯。樸素的RPN在嚴格的IOU閾值(例如,IOU>0.7)下工作不好。MFN可以幫助RPN從低級和中級特征中獲取比特置信息,這使得RPN對嚴格的IOU閾值具有更高的容忍度。

 

增加提案數量可以獲得有希望的召回,但這將大大增加檢測的運行時間[38],更糟糕的是,檢測過程中會涉及低質量提案,在某些情况下會導致缺陷檢測失敗。因此,一個好的檢測器應該選擇盡可能少的方案,同時選擇一個相對嚴格的IOU閾值。圖9顯示了在三個不同的IOU閾值下,具有不同數量提案的缺陷召回。naive RPN通過top300提案實現了理想的召回,但RPN+MFN只需要top 100提案就可以獲得類似的性能。

 

如圖10所示,對於帶有ResNet34的RPN+MFN,我們通過只選擇50個方案,實現了選擇300個方案時92%的性能,這將運行時間减少了一半。我們認為,在實際缺陷檢測任務中,選擇前50名方案是一個很好的折衷方案。

 

6. 討論

6.1 使用MFN網絡融合骨幹網絡的哪幾層輸出?

MFN將不同級別的特征組合成一個多級特征,這對於提高檢測效率是有效的。在第III-B節中,簡要討論了應組合哪些層。在DDN中,我們選擇四個層,它們是R1、R2、R3和R4的最後一層。因此,這四層的其他組合方式是否會產生更好的性能。因此,我們在NEU-DET數據集上以五種不同的組合方式訓練DDN+ResNet34。如錶三所示,將所有四層結合在一起的效果優於其他方式。結果錶明,多級特征對提高檢測精度是有效的。

 

此外,對於缺陷檢測,低級別特征(例如R1特征)應該比高級別特征(例如R5特征)更受關注,因為R2特征比R5特征具有更豐富的比特置信息。

6.2 簡單的設計對MFN網絡有效麼?

MFN的主要作用是在分辨率和維度上統一不同層次的特征。為了保持維度一致,一種簡單的方法是使用1×1 conv來减少/增加維度。1×1 conv有兩種放置模式:前置和後置。前置模式意味著在連接多級功能之前放置1×1 conv。我們在本文中使用的是前置模式,即在MFN的每個分支的末端放置一個1×1 conv,而後置模式意味著在串聯多層次特征之後放置一個1×1 conv。這種模式看起來很簡單,但實際上需要更多參數。與[34]類似,我們使用多個5×5 conv同時統一分辨率和維度。然而,5×5 conv是一種昂貴的操作,其效果與雙層3×3 conv相同,但需要額外的參數。錶四詳細顯示了三種模式的可比結果。前置樣式使用的參數比後置樣式少三倍,比hyperstyle少五倍。因此,前置式MFN不太可能過度安裝。此外,在分辨率相同的情况下,最惠國功能可以保留更完整的信息,因為它比超功能(512對126)更大的維度。

 

6.3 是否需要更多的檢測數據集

正如我們所知,目標檢測器可以通過更多的訓練數據來提高性能[39]。因此,該規則是否也適用於工業缺陷數據?為了弄清這個問題,我們不僅在完整的NEU-DET數據集上訓練DDN,而且在每個子集上分別訓練DDN。如圖11所示,對於每個缺陷類別的AP,單獨培訓的錶現通常比完整培訓差。具體而言,銀紋、軋入鱗片和劃痕急劇下降,而夾雜物、補丁和凹坑錶面呈現中度下降。這可能是因為前者比後者需要更多的學習數據。雖然訓練數據總量相同,但結果卻出現了顯著差异。我們認為,更多的訓練數據可以提高CNN對特殊情况的錶示能力。也就是說,如果DDN可以在更多檢測數據上進行訓練,AP也可能會得到改善。最後,需要强調的是,其他類型的訓練數據可能是無用的(例如,公共對象),因為DDN在ImageNet預訓練模型上進行了微調。

 

6.4 失效案例分析

雖然我們的方法總體上取得了有希望的結果,但在某些情况下,對於缺陷類別,如“銀紋”、“包含”、“補丁”和“滾入規模”,性能較差結合圖7所示的成功案例,我們可視化了一些失敗的檢測結果圖片,如圖12所示,並進行分析且嘗試探索檢測不滿意的原因。我們可以觀察到,DDN對連續線性“銀紋”缺陷具有魯棒性,但未能在圖12(a)的右下角找到不連續缺陷。這意味著難以正確識別過度區分的缺陷,由於提供的缺陷數據不全面。如圖12(b)所示,很難定義令人困惑的缺陷,甚至人眼也無法准確地將其與背景區分開來。圖12(c)所示的兩種缺陷“夾雜”和“補片”重疊,“夾雜”得分較低。毫無疑問,DDN具有處理重疊缺陷的能力且成功的案例展示在圖7(f)中。我們猜測原因是圖中的“包含”和“補丁”是相似的,當它們非常接近時,它們會相互影響。對於“滾入比例”,邊界框可能會忽略圖12(d)所示的一些邊緣缺陷,因為這些缺陷過於分散,無法定義其範圍。目前還需要一種更理想的缺陷檢測器,因為仍有改進的餘地。

7.總結

本文提出了一種鋼板缺陷檢測系統DDN。該系統是一個DL網絡,可以通過融合多層次特征來獲取缺陷的特定類別和詳細比特置。對於缺陷檢測任務,我們的系統可以為質量評估系統提供詳細而有價值的指標,例如缺陷的數量、類別、複雜性和面積。此外,我們還建立了一個珍貴的缺陷檢測數據集NEU-DET。實驗錶明,DDN對缺陷分類任務的准確率為99.67%,對缺陷檢測任務的准確率為82.3%。此外,系統可以以20英尺/秒的檢測速度運行,同時將地圖保持在70英尺/秒。

在該特性中,我們將重點關注以下兩個方向:一個是數據增强技術,因為檢測數據集中需要昂貴的手動注釋。另一種是利用DL技術進行缺陷分割,可以獲得更精確的缺陷邊界。

本文僅作為日後複習之用,並無他用。

版權聲明
本文為[wyypersist]所創,轉載請帶上原文鏈接,感謝
https://cht.chowdera.com/2022/134/202205141635092793.html

隨機推薦