一種基于超像素分割以及數據增強的紅外小目標檢測方法與流程
1.本發明涉及紅外圖像檢測技術領域，特別是涉及一種基于超像素分割以及數據增強的紅外小目標檢測方法。
背景技術：
2.紅外圖像的背景和噪聲占有很大比例，目標不清晰、占比小也增加了檢測的難度；另外，實際的紅外小目標檢測任務中，目標與背景之間的語義聯系往往較弱，缺乏明顯的形狀、紋理和顏等信息，難以直接檢測，因此直接使用通用小目標檢測方法進行紅外小目標檢測具有局限性。其次，在真實場景下，虛警也是一個難以解決的問題，它大多由兩個方面的因素造成，首先探測器視場中有時不可避免地會出現各種各樣的復雜背景，如樹木、建筑、云層、海浪等，它們可能具有超過真實目標的亮度和比較復雜的邊緣雜波信息，容易干擾檢測，其次由于器件制造缺陷以及系統工作時的隨機電噪聲等因素，原始圖像中會存在一些高亮度點噪聲，這些點噪聲也容易被錯當成目標；一些實際應用場合(如制導等)對實時性的要求很高，這進一步增加了目標檢測的難度。紅外小目標也存在樣本難以采集、紅外成像紋理信息的缺乏以及紅外小目標圖像的前景和背景之間的嚴重不平衡，更使得精確檢測紅外小目標變得困難。實現對紅外小目標的精確檢測具有重要意義。
技術實現要素：
3.本發明改善了現有技術中紅外圖像小目標檢測方面存在的不足，提供一種容易采集紅外小目標樣本的基于超像素分割以及數據增強的紅外小目標檢測方法。
4.本發明的技術解決方案是，提供一種具有以下步驟的基于超像素分割以及數據增強的紅外小目標檢測方法：含有以下步驟：
5.步驟1、制作數據集并對數據集進行擴充，增加訓練樣本；
6.步驟2、將得到的所有圖像輸入至生成對抗網絡模型得到輸出結果，將原始數據集與生成對抗網絡得到的圖像數據視為新的數據集；
7.步驟3、使用超像素分割算法，將數據集中的原始圖像進行超像素分割；
8.步驟4、建立u-net網絡模型，并使用生成的超像素分割后的圖像與其對應的原真實標簽輸入至u-net 網絡模型進行訓練；
9.步驟5、建立分類網絡模型，使用數據集中的mask標簽圖像和分類標簽輸入至分類網絡進行訓練；
10.步驟6、建立紅外小目標檢測管道，其中包含步驟4訓練好的u-net網絡模型和步驟5訓練好的分類網絡模型，再輸出分類檢測結果。
11.優選地，所述步驟1中通過在包含小目標樣本中多次復制粘貼小目標對數據集進行擴充，粘貼每個目標時保證粘貼的目標與現有的目標不重疊，在任意位置進行粘貼，不與其他對象重疊，每個對象粘貼在一張圖像內不超過3個。
12.優選地，所述步驟2含有以下步驟，
13.步驟2.1、先把原始訓練集中的圖片送入g絡訓練得到gan的生成模型和判別模型，同時將原始訓練集中的圖片送入cnn網絡中訓練得到第一個預測模型；
14.步驟2.2、將原始訓練集中的圖再送步驟2.1中訓練gan后得到的生成模型中，得到若干輸出的假樣本；
15.步驟2.3、將步驟2.2得到的假樣本和原始訓練集組合得到一個在原始數據集上加了假樣本進行擴充后的新訓練集，將原始數據集與生成對抗網絡得到的圖像數據視為新的數據集。
16.優選地，所述步驟3中輸入為數據集中的原始圖像，將其預處理為128
×
128大小，將紅外圖像轉換為三維特征向量v＝[l,x,y]
t
，該特征向量描述亮度空間和坐標空間，算法聚類過程從初始化聚類中心 ck＝[lk,xk,yk]
t
開始，其中k個初始聚類中心在間隔s個像素的規則網格進行上采樣，將聚類中心移動到與3
×
3鄰域中的最低梯度位置相對應的位置，在分配步驟中的每個像素必須與所有聚類中心比較，通過引入距離測量d來實現，該距離測量d確定每個像素的最近聚類中心，由于超像素的預期空間范圍是近似尺寸s
×
s的區域，則在超像素中心周圍的區域2s
×
2s中進行類似像素的搜索，聚類中心到每一個像素之間的距離表示為d，如式m表示空間和像素顏的相對重要性的度量，其中d
l
和ds分別表示顏接近度和空間接近度，在計算距離d時，構造以像素i為中心，大小為的正方形區域來表示i的亮度值，在區域中，排除極端點后的非邊緣像素集合表示為其平均值用于計算像素點和聚類中心的亮度相似度，其中顏接近度如式其中其中表示像素總數，表示的平均值，空間接近度直到每個像素點聚類中心不再發生變化停止迭代得到超像素分割圖像。
[0017]
優選地，所述步驟4中將步驟3中的每一個超像素分割后的圖像像素進行歸一化，方法為p'為歸一化后的像素值，p
min
為圖像中像素值的最小值，p
max
為圖像中像素值的最大值，歸一化后連同其原真實標簽圖像輸入至u-net網絡模型進行訓練，得到訓練好的u-net網絡模型。
[0018]
優選地，所述步驟5中建立分類網絡模型，利用遷移學習，使用預訓練模型darknet-19網絡作為特征提取器，使用5個完全連接的層進行分類，在預訓練模型darknet-19和第一個dense層之間加入dropout 操作再進行flatten操作；第二個dense層和第三個dense之間、第三個dense層和第四個dense層之間加入dropout操作，dropout比率選擇0.2，以最小化過度擬合，且在每一個dense層中，使用“tanh”激活函數，全連接層的末尾，使用具有一個節點的softmax層映射類別標簽，以從紅外圖像中檢測目標，并且使用數據集中的mask標簽圖像和分類標簽輸入至分類網絡進行訓練。
[0019]
優選地，所述步驟6中建立紅外小目標檢測管道，其中包含了步驟4訓練好的u-net網絡模型和步驟 5訓練好的分類網絡模型，將128x128像素的紅外原始圖像作為輸入，輸入圖像將使用超像素分割進行預處理，然后使用步驟4中訓練好的u-net模型，將生成對應的mask圖像，再經過必要的預處理步驟后的 mask圖像將被輸入至步驟5中訓練好的分類模型中，該模型預測圖像中目標的類別。
[0020]
與現有技術相比，本發明基于超像素分割以及數據增強的紅外小目標檢測方法具有以下優點：
[0021]
1、擴充了樣本數據集，發掘了紅外圖像中的局部對比度特征，基于超像素分割以及數據增強，來用于提升對紅外小目標的檢測能力，特別是弱小目標樣本少的數據集下。
[0022]
2、不僅使用了小目標在每張圖像上的復制粘貼，還使用了生成對抗網絡模型，進一步擴充了數據集，增加了弱小目標的正樣本。通過在包含小目標樣本中多次復制粘貼小目標以及生成對抗網絡。增加了小目標位置的多樣性，同時保證目標出現在合適的上下文，擴充了數據集。
[0023]
3、由于引入了超像素分割，紅外圖像被聚類為超級像素，為進一步的語義分割任務提供更好的表示。
[0024]
4、由于結合了分類網絡模型，能夠在分割的基礎上進行分類檢測，對紅外小目標的檢測更加精確。
[0025]
5、利用擴充后的整個數據集，減少過擬合現象，增加模型的泛化能力。再通過改進原始的簡單的線性迭代聚類slic算法，使其適用于紅外圖像，并且構造了以像素點為中心的大小為的正方形區域來表示像素點的亮度值，結合像素鄰域信息提高了對異常像素的魯棒性。為進一步的u-net語義分割提供了更好的表示。
[0026]
6、小目標檢測的管道。包含訓練好的u-net語義分割網絡模型和分類網絡模型，是一種集成的自動化流水線，能夠在分割的基礎上進行分類檢測，以低成本且更加準確地實現紅外小目標的檢測。
附圖說明
[0027]
圖1是本發明的方法流程圖；
[0028]
圖2是本發明中目標檢測的框架流程圖；
[0029]
圖3是本發明目標檢測的框架中的分類模型的具體網絡框架示意圖；
[0030]
圖4是本發明復制粘貼小目標對象的具體實施流程算法圖。
具體實施方式
[0031]
為了使本技術領域的人員更好地理解本發明方案，下面將結合本發明實施例中的附圖，對本發明實施例中的技術方案進行清楚、完整地描述，顯然，所描述的實施例僅僅是本發明一部分的實施例，而不是全部的實施例。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都應當屬于本發明保護的范圍。
[0032]
下面結合附圖和具體實施方式對本發明基于超像素分割以及數據增強的紅外小目標檢測方法作進一步說明：如圖所示，本實施例中包括以下步驟：
[0033]
步驟1、首先，使用labelme標簽標注工具生成yolo格式的標簽txt文件和語義分割的mask標簽，并與原始圖像共同組成數據集。其次，對于語義分割的mask標簽圖像，使用labelme標簽標注工具對其進行分類標注。對于其中已有的yolo格式數據集中的一半圖片中選取所標注標簽真值像素不超過64
×
64的小目標，復制其圖像對象，粘貼至當前圖像當中，粘貼時同時創建其標簽真值，其中，粘貼小目標的具體算法過程為：
[0034]
步驟1.1、讀入待處理圖像，并且讀入待處理圖像的標簽txt文件。
[0035]
步驟1.2、判斷標簽文件中的小目標標簽像素寬高是否小于64
×
64，如果小于則選取沒有目標的位置創建新的標簽真實框并添加到當前圖像中的標簽文件。
[0036]
步驟1.3、將圖片摳出復制至創建的標簽真實框中且count+1。
[0037]
步驟1.4、判斷count值是否大于4，若大于4則停止復制粘貼小目標對象的操作，若小于4，則重復步驟1.2。
[0038]
步驟2、將上述所有圖像輸入至生成對抗網絡模型，得到輸出結果。
[0039]
步驟2.1、先把原始訓練集中的圖片送入g絡訓練得到gan的生成模型和判別模型，同時將原始訓練集中的圖片送入cnn網絡中訓練得到第一個預測模型。
[0040]
步驟2.2、將原始訓練集中的圖再送步驟2.1中訓練gan后得到的生成模型中，得到若干輸出的“假樣本”。
[0041]
步驟2.3、將步驟2.2得到的“假樣本”和原始訓練集組合得到一個在原始數據集上加了“假樣本”進行擴充后的新訓練集。將原始數據集與生成對抗網絡得到的圖像數據視為新的數據集。
[0042]
步驟3、使用超像素分割算法，將數據集中的原始圖像應用尺度比例轉換為128
×
128大小后進行超像素分割，其具體步驟如下：
[0043]
步驟3.1、初始化；步驟3.1.1、初始化聚類中心ck＝[lk,xk,yk]
t
：按照預先設定的超像素個數，在圖像內均勻的分配聚類中心，相鄰聚類中心的距離(步長)近似為其中l表示亮度值，x,y表示坐標圖像的空間信息，n表示圖像像素點個數，k表示預分割相同尺寸的超像素個數。
[0044]
步驟3.1.2、在聚類中心的3
×
3鄰域內重新選擇聚類中心，其具體方法為：計算該鄰域內所有像素點的梯度值，將聚類中心移動到該鄰域內梯度最小的地方。
[0045]
步驟3.1.3、在每個聚類中心周圍的鄰域內為每個像素點分配類標簽label(i)＝-1。
[0046]
步驟3.1.4、在每個聚類中心周圍的鄰域內為每個像素點設置距離d(i)＝∞。
[0047]
步驟3.2、將每一個像素i在每一個聚類中心ck周圍的2s
×
2s區域內計算聚類中心ck和像素i的距離d，設置標簽label(i)＝k，其中m表示空間和像素顏的相對重要性的度量，其中d
l
和ds分別表示顏接近度和空間接近度。
[0048]
步驟3.3、構造以像素i為中心，大小為的正方形區域來表示i的亮度值，在區域中，排除極端點后的非邊緣像素集合表示為其平均值用于計算點i
和聚類中心ck的亮度相似度，其中顏接近度的亮度相似度，其中顏接近度表示像素總數，表示的平均值，空間接近度
[0049]
步驟3.5、直到每個像素點聚類中心不再發生變化停止迭代得到超像素分割圖像。
[0050]
步驟4、建立u-net網絡模型，使用上述步驟3生成的超像素分割后的圖像與其對應的原ground truthmask輸入至u-net網絡模型進行訓練；將步驟3中的每一個超像素分割后的圖像像素進行歸一化。其中歸一化方法為p'為歸一化后的像素值，p
min
為圖像中像素值的最小值，p
max
為圖像中像素值的最大值。歸一化后，連同其原真實標簽(ground truth masks)圖像輸入至u-net網絡模型進行訓練，得到訓練好的u-net網絡模型。
[0051]
步驟5、建立分類網絡模型，利用遷移學習，使用預訓練模型darknet-19網絡作為特征提取器，使用 5個完全連接的層進行分類，在預訓練模型darknet-19和第一個dense層之間加入dropout操作再進行 flatten操作；進一步地，第二個dense層和第三個dense之間、第三個dense層和第四個dense層之間加入dropout操作，dropout比率選擇0.2，以最小化過度擬合，且在每一個dense層中，使用“tanh”激活函數，如式
[0052]
進一步地，全連接層的末尾，使用具有一個節點的softmax層映射類別標簽。其中將數據集中的mask 標簽圖像應用比例轉換為128
×
128大小，并將其圖像像素進行歸一化操作，預處理后和其對應的分類標簽輸入至分類網絡進行訓練。得到訓練好的分類網絡模型。
[0053]
步驟6、建立紅外小目標檢測管道，包含了上述步驟4訓練好的u-net網絡模型和上述步驟5訓練好的分類網絡模型。其中將128x128像素的紅外原始圖像作為輸入，輸入圖像將使用超像素分割進行預處理，然后使用步驟4中訓練好的u-net模型，將生成對應的mask圖像，再經過必要的預處理步驟后的mask 圖像將被輸入至步驟5中訓練好的分類模型中，該模型將預測圖像中目標的類別，其中為“有目標”一類。該管道只需要原始的紅外圖像，它可以自動生成mask的圖像，從而實現最終的檢測結果。
[0054]
其具體包括以下步驟：
[0055]
具體地、x是一組包含原始紅外圖像的數字矩陣表示的向量，創建一個向量t，用于存儲由u-net 分割模型預測的標簽mask圖像。進一步地、在x中的每一個xi上，應用比例轉換，將其轉換為128
×
128 像素的圖像，進行u-net圖像分割，使用最大值歸一化對圖像像素進行標準化處理；通過之前訓練的u-net 分割模型預測相應xi的分割mask圖像，并將其保存在向量t中；在t中的每一個ti上，應用比例轉換，將其轉換為128
×
128像素的圖像；通過先前訓練的分類模型預測變換后的圖像的分類標簽，輸出檢測結果，類別為有目標。
