一種基于自編碼器的全線偏振圖像融合方法
1.本發明屬于偏振圖像的處理及信息融合技術領域，具體涉及一種基于自編碼器的全線偏振圖像融合方法。
背景技術：
2.相比傳統成像技術只能獲得目標的強度圖像和光譜信息，偏振成像能夠獲得目標的應力屬性、雙折射屬性、粗糙度、光照信息、邊緣信息、表面取向等，更適用于水下探測、大氣遙感探測、以及偽裝目標等場景。故偏振成像作為一種獲取目標圖像信息的重要手段，目前在軍事目標、環境監測、生物醫學檢測等領域有著廣泛的應用。
3.偏振成像融合技術是一種利用偏振特征信息和光強信息實現目標檢測的新型光電成像探測技術，能夠揭示目標的多維特征、增強目標的對比度。利用偏振特征可以求出強度、線偏振度、線偏振角圖像，進而獲取目標的結構、粗糙度、陰影等細節。目前針對偏振圖像融合的研究主要是將強度圖、線偏振度圖、線偏振角圖像映射到偽彩空間以提供更多的偏振信息，但是這類研究適用于人眼觀察，難以擴展至機器視覺領域的目標檢測。另一種近期流行的相關研究是從光強圖和線偏振度圖像中提取目標的特征，通過多尺度分解、稀疏表示或者深度學習方法進行圖像重建恢復。但是線偏振度圖像亮度低，在水下探測等領域不具優勢，難以廣泛應用至復雜的場景。由于線偏振度圖和線偏振角圖像對光照環境敏感，且與目標的物理性質密切相關，在自然場景下易表現出顯著的偏振模糊，故目前從信息維度出發的偏振圖像融合首先需要對偏振圖像做去噪處理，但效果仍然不理想，甚至去噪可能會丟失部分圖像細節，對于戶外自然環境仍束手無策(戶外場景噪聲非常顯著)。如何從復雜目標的多種偏振態中提取偏振信息并與光強圖像融合獲得良好的效果，進而提高復雜背景下的目標檢測能力是偏振技術應用的關鍵。
技術實現要素：
4.為了解決上述存在的技術問題，本發明設計了一種基于自編碼器的全線偏振圖像融合方法，利用偏振成像技術和基于卷積神經網絡的自編碼器對光強、線偏振度、線偏振角信息進行深層特征的提取，實現全線偏振圖像的融合與增強，提高了在復雜目標下的目標探測性能。
5.為了解決上述存在的技術問題，本發明采用了以下方案：
6.一種基于自編碼器的全線偏振圖像融合方法，包括以下步驟：
7.步驟1，對由偏振成像技術獲取的偏振圖像進行stokes解算，得到4個stokes參量s0，s1，s2，s3，公式如下：
[0008][0009]
并根據偏振圖像的stokes矢量確定線偏振度圖像dolp和線偏振角圖像aolp：
[0010][0011][0012]
其中，s0表示光強圖像，s1表示線性或垂直線偏振分量圖像，s2表示45度或135度處的線性偏振分量圖像，s3表示光束中右旋或左旋的偏振分量圖像，在自然環境中，圓偏振分量很小，可忽略；i0、i
45
、i
90
、i
135
分別表示0
°
、45
°
、90
°
、135
°
四個偏振方向的出射光強偏振圖像，i
l
和ir分別表示左、右旋圓偏振圖像；
[0013]
步驟2，獲得線偏振度圖像dolp、線偏振角圖像aolp的映射以形成新的偏振特征圖像，將線偏振度圖像dolp、線偏振角圖像aolp的映射分別記為l1、l2：
[0014]
l1＝dolp
·
cos（2aolp)公式(4)
[0015]
l2＝dolp
·
sin(2aolp)公式(5)；
[0016]
步驟3，利用局部直方圖均衡算法對光強圖像s0進行局部均衡處理，調整其像素值分布；
[0017]
步驟4，將所述步驟3處理后的光強圖像s0、由公式(4)和公式(5)獲得的偏振特征圖像l1和l2，送入預訓練好的基于自編碼器的圖像融合網絡，所述圖像融合網絡包括編碼器、融合層、解碼器；所述步驟3處理后的光強圖像s0、l1和l2分別經過編碼器進行特征提取后獲得的高維度特征在融合層對應加權，再通過解碼器重建生成融合圖像。
[0018]
進一步，所述步驟1具體包括：
[0019]
步驟11，利用偏振成像技術采集場景的偏振圖像或者近紅外偏振圖像；其圖片基于分焦平面偏振傳感器捕獲，其關鍵部件是焦平面陣列，其中每四個微偏振器分別收集0
°
、45
°
、90
°
和135
°
方向的偏振光，形成一個2
×
2的超級像素，這些具有周期性的超級像素被排列在焦平面上，使分焦平面偏振傳感器能夠同時獲得四個方向的偏振圖像；
[0020]
步驟12，將所述步驟11中獲得的偏振圖像解碼成四個偏振方向的出射光強偏振圖像i0、i
45
、i
90
、i
135
；此外，i
l
和ir分別表示左、右旋圓偏振圖像；
[0021]
步驟13，對所述步驟12得到的四張偏振圖像分量i0、i
45
、i
90
、i
135
進行stokes偏振態解算，得到偏振圖像的4個stokes參量s0，s1，s2，s3；
[0022]
步驟14，根據偏振圖像的stokes矢量確定線偏振度圖像dolp和線偏振角圖像aolp。
[0023]
進一步，所述步驟12中的解碼方案采用牛頓插值法或雙線性插值法或雙三次插值法。
[0024]
進一步，所述步驟4中，基于自編碼器的圖像融合網絡的訓練，訓練數據集在ms-coco通用數據集上實施，訓練數據集中的訓練數據通過裁剪、旋轉、翻轉數據增強后分別在編碼器中生成不同目標的高維特征，并解碼獲得重建后的圖像，由損失函數約束，不斷調整訓練，直到最后生成器生成的圖像與真實圖像在允許的差異范圍內；
[0025]
其中的網絡設計如下：
[0026]
編碼器，即特征提取階段，使用一個標準卷積層和一個級聯密集連接的卷積塊組合，分別用于提取粗糙特征和深層特征，得到訓練集的源圖像的多維特征圖；其中，級聯密集連接的卷積塊由三個卷積層組成，每一層的輸出被用作所有后續層的輸入；所有的卷積
層由卷積核、批量歸一層和relu激活層組成；網絡中所有卷積核的尺寸都相同，均為3x3，自編碼器的各個卷積層的維度都是16，其中，最后一個卷積層不包含relu層；
[0027]
融合層，融合層的機制是像素加權，不參與網絡訓練；
[0028]
解碼器，即圖像重建階段，該階段從高層次的特征中恢復出最后的融合結果；解碼器由5層卷積層組成，各卷積層的維度分別是64， 32，16，8，1；
[0029]
損失函數對特征提取和圖像重建效果非常重要，將其設計為：
[0030][0031]
通過最小化實現圖像融合的性能，其中經實驗嘗試確定權重
[0032]
為1000，θ是神經網絡中的訓練參數，c指訓練數據集 ms-coco，損失函數由兩部分組成，分別是結構相似性損失函數l
ms-ssim
和梯度損失函數lg：
[0033][0034][0035]
其中ms-ssim常常作為全參考的圖像質量評價指標，用來驅動if融合圖像不斷向is輸入圖像靠近；分別是融合結果和源圖像的梯度量，是拉普拉斯提度算子，||
·
||表示弗羅貝尼烏斯范數，h、w分別為圖像的長和寬。
[0036]
進一步，訓練數據集在ms-coco通用數據集上實施，其中上百萬張圖像參與訓練，參與訓練的圖像既包括通用圖像也包括偏振圖像。
[0037]
進一步，由偏振成像技術獲取的偏振態圖像包括來自室內、室外、還有近紅外場景的圖像。
[0038]
該基于自編碼器的全線偏振圖像融合方法具有以下有益效果：
[0039]
(1)本發明基于自編碼器的全線偏振圖像融合方法，與傳統的將圖像映射到偽彩空間方法相比，更適用于解釋場景的物理屬性，并且便于與硬件設施協作實現工業檢測、醫學診斷檢測、大氣遙感探測、水下成像等領域的目標探測。
[0040]
(2)本發明基于自編碼器的全線偏振圖像融合方法，與僅僅利用光強圖和線偏振度圖像融合方法相比，引入了對偏振度和偏振角圖像的有效提取和融合，并且抑制了來自偏振態的噪聲，即使是在戶外這種光照不可控、物質材料各異的場景，也能重建出場景的絕大部分信息，有效提高了復雜場景下的目標檢測準確率。
[0041]
(3)本發明基于自編碼器的全線偏振圖像融合方法，與常規多尺度分解的偏振圖像融合方法相比，能夠反映圖像中的陰影、邊緣信息，且不會引入偽gibbs效應，更適于偏振圖像融合。
[0042]
(4)本發明基于自編碼器的全線偏振圖像融合方法，使用通用數據集ms-coco訓練，避免了偏振圖像數據集少并且針對偏振融合領域，沒有真實圖像的問題。
[0043]
(5)本發明基于自編碼器的全線偏振圖像融合方法，與通常的偏振圖像融合方法相比，增加了光強圖的目標增強，進一步增加了目標細節，提高了對比度，更適合非相關研究者的觀察和場景的識別。
[0044]
(6)本發明基于自編碼器的全線偏振圖像融合方法，面向卷積神經網絡的特征提取和重建，網絡結構設計簡單，卷積核的大小為3
×
3，最大通道數不超過64維，盡管是基于三張源圖像的融合，但在融合效果和計算效率之間取得較好的平衡。
[0045]
(7)本發明基于自編碼器的全線偏振圖像融合方法，因其分目標提取特征的操作，使得算法適用于多張圖像的融合，可拓展至多曝光圖像融合、多聚焦圖像融合、可見光和紅外圖像融合。
附圖說明
[0046]
圖1：本發明實施方式中基于自編碼器的全線偏振圖像融合方法的流程圖；
[0047]
圖2：本發明實施方式中自編碼器的網絡模型示意圖；
[0048]
圖3：本發明與現有技術的效果對比圖。
具體實施方式
[0049]
下面結合附圖，對本發明做進一步說明：
[0050]
圖1至圖3示出了本發明一種基于自編碼器的全線偏振圖像融合方法的具體實施方式。圖1是本實施方式中基于自編碼器的全線偏振圖像融合方法的流程圖；圖2是本實施方式中自編碼器的網絡模型示意圖；圖3是本實施方式中本發明與現有技術的效果對比圖。
[0051]
如圖1所示，本實施方式中的基于自編碼器的全線偏振圖像融合方法，包括以下步驟：
[0052]
步驟1，對由偏振成像技術獲取的偏振圖像進行stokes解算，得到4個stokes參量s0，s1，s2，s3，公式如下：
[0053][0054]
并根據偏振圖像的stokes矢量確定線偏振度圖像dolp和線偏振角圖像aolp：
[0055][0056][0057]
其中，s0表示光強圖像，s1表示線性或垂直線偏振分量圖像，s2表示45度或135度處的線性偏振分量圖像，s3表示光束中右旋或左旋的偏振分量圖像，在自然環境中，圓偏振分量很小，可忽略；i0、i
45
、i
90
、i
135
分別表示0
°
、45
°
、90
°
、135
°
四個偏振方向的出射光強偏振圖像，i
l
和ir分別表示左、右旋圓偏振圖像；
[0058]
步驟2，獲得線偏振度圖像dolp、線偏振角圖像aolp的映射以形成新的偏振特征圖像，將線偏振度圖像dolp、線偏振角圖像aolp的映射分別記為l1、l2：
[0059]
l1＝dolp
·
cos(2aolp)公式(4)
[0060]
l2＝dolp
·
sin(2aolp)公式(5)；
[0061]
根據公式(2)和公式(3)得到的線偏振度dolp和線偏振角圖像aolp，相比強度圖能夠反映光照、粗糙度、邊緣、應力分布、雙折射性質、表面取向等信息。dolp整體對比度高，亮度低，細節較少；而aolp亮度高、細節多，尤其是在低光照條件下表現出更大的優勢，但同時aolp放大了噪聲，呈過曝的狀態。因此本發明提出上述對線偏振度、線偏振角的映射；
[0062]
步驟3，利用局部直方圖均衡算法對光強圖像s0進行局部均衡處理，調整其像素值
分布；
[0063]
步驟4，將所述步驟3處理后的光強圖像s0、由公式(4)和公式 (5)獲得的偏振特征圖像l1和l2，送入預訓練好的基于自編碼器的圖像融合網絡，所述圖像融合網絡包括編碼器、融合層、解碼器；所述步驟3處理后的光強圖像s0、l1和l2分別經過編碼器進行特征提取后獲得的高維度特征在融合層對應加權，再通過解碼器重建生成融合圖像。
[0064]
優選地，所述步驟1具體包括：
[0065]
步驟11，利用偏振成像技術采集場景的偏振圖像或者近紅外偏振圖像；其圖片基于分焦平面偏振傳感器捕獲，其關鍵部件是焦平面陣列，其中每四個微偏振器分別收集0
°
、45
°
、90
°
和135
°
方向的偏振光，形成一個2
×
2的超級像素，這些具有周期性的超級像素被排列在焦平面上，使分焦平面偏振傳感器能夠同時獲得四個方向的偏振圖像；
[0066]
步驟12，將所述步驟11中獲得的偏振圖像解碼成四個偏振方向的出射光強偏振圖像i0、i
45
、i
90
、i
135
；此外，i
l
和ir分別表示左、右旋圓偏振圖像；
[0067]
步驟13，對所述步驟12得到的四張偏振圖像分量i0、i
45
、i
90
、i
135
進行stokes偏振態解算，得到偏振圖像的4個stokes參量s0，s1，s2， s3；
[0068]
步驟14，根據偏振圖像的stokes矢量確定線偏振度圖像dolp和線偏振角圖像aolp。
[0069]
優選地，所述步驟12中的解碼方案采用牛頓插值法或雙線性插值法或雙三次插值法。本實施例中采用了牛頓插值法。
[0070]
優選地，所述步驟4中，基于自編碼器的圖像融合網絡的訓練，訓練數據集在ms-coco通用數據集上實施，訓練數據集中的訓練數據通過裁剪、旋轉、翻轉等數據增強后分別在編碼器中生成不同目標的高維特征，并解碼獲得重建后的圖像，由損失函數約束，不斷調整訓練，直到最后生成器生成的圖像與真實圖像幾乎沒有差異(即最后生成器生成的圖像與真實圖像在允許的差異范圍內)；
[0071]
其中的網絡設計如下：
[0072]
編碼器，即特征提取階段，使用一個標準卷積層和一個級聯密集連接的卷積塊組合，分別用于提取粗糙特征和深層特征，得到訓練集的源圖像的多維特征圖；其中，級聯密集連接的卷積塊由三個卷積層組成，每一層的輸出被用作所有后續層的輸入；所有的卷積層由卷積核、批量歸一層和relu激活層組成；網絡中所有卷積核的尺寸都相同，均為3x3，自編碼器的各個卷積層的維度都是16，其中，最后一個卷積層不包含relu層；
[0073]
融合層，融合層的機制是像素加權，不參與網絡訓練；
[0074]
解碼器，即圖像重建階段，該階段從高層次的特征中恢復出最后的融合結果；解碼器由5層卷積層組成，各卷積層的維度分別是64， 32，16，8，1；
[0075]
損失函數對特征提取和圖像重建效果非常重要，將其設計為：
[0076][0077]
通過最小化實現圖像融合的性能，其中經實驗嘗試確定權重
[0078]
為1000，θ是神經網絡中的訓練參數，c指訓練數據集 ms-coco，損失函數由兩部分組成，分別是結構相似性損失函數l
ms-ssi 和梯度損失函數lg：
[0079]
[0080][0081]
其中ms-ssim常常作為全參考的圖像質量評價指標，用來驅動if融合圖像不斷向is輸入圖像靠近；分別是融合結果和源圖像的梯度量，是拉普拉斯提度算子，||
·
||表示弗羅貝尼烏斯范數，h、w分別為圖像的長和寬。基于深度學習的自編碼器一方面處理速度快，另一方面特征表示能力強。盡管本發明實現三幅圖像的融合，但處理速度依然很快且避免了原偏振態的噪聲，達到更好的融合效果。
[0082]
優選地，訓練數據集在ms-coco通用數據集上實施，其中上百萬張圖像參與訓練，參與訓練的圖像既包括通用圖像也包括偏振圖像。
[0083]
優選地，由偏振成像技術獲取的偏振態圖像包括來自室內、室外、還有近紅外場景的圖像。其中，室外目標圖像的線偏振度、線偏振角噪聲很大，其偏振模糊最為顯著，本發明中提出的映射l1，l2很大程度上解決了該問題，保留了線偏振度、線偏振角的高頻信息。
[0084]
本實施例中，使用python語言配合tensorflow深度學習框架執行基于自編碼器的全線偏振圖像融合。根據預先構建的損失函數公式 (6)、公式(7)、公式(8)，ms-coco數據集訓練基于自編碼器的圖像融合網絡模型，并保存模型及其參數。
[0085]
本實施例中，如圖3所示，利用偏振成像技術采集場景的偏振圖像或者近紅外偏振圖像；然后，將偏振圖像解碼成四個偏振方向的出射光強偏振圖像i0、i
45
、i
90
、i
135
，并對四張偏振圖像分量i0、i
45
、 i
90
、i
135
進行stokes偏振態解算，得到偏振圖像的4個stokes參量s0， s1，s2，s3，如圖3中的(a)；然后，根據目標圖像的stokes矢量確定線偏振度圖像dolp和線偏振角圖像aolp,如圖3中的(b)和(c)；然后，根據公式(4)和公式(5)得到線偏振度圖像dolp、線偏振角圖像aolp的映射以形成新的偏振特征圖像l1，l2，如圖3中的(d) 和(e)；然后，利用局部直方圖均衡算法對光強圖像s0進行局部均衡處理，調整其像素值分布；然后，將均衡處理后的光強圖像s0、偏振特征圖像l1和l2送入預訓練好的基于自編碼器的圖像融合網絡模型，如圖2所示，利用預訓練好的基于自編碼器的圖像融合網絡模型將均衡處理后的光強圖像s0、偏振特征圖l1，l2送入自編碼器，提取各圖像的高維度特征，經過編碼器提取特征之后，共有3
×
64維的特征圖；來自三幅源圖像的64維特征在融合層對應加權，獲得1
×
64維的特征圖，之后送入解碼器，各卷積層逐步恢復重建出最終的融合圖，如圖3 中的(j)。相比較圖3中(f)-(i)分別是fevip、lpf、pfnet、deepfuse 使用(a)和(b)得到的偏振融合結果，本發明效果更好。本發明獲得線偏振度、線偏振角的映射以形成新的偏振特征圖像，并與光強圖像組合獲得一組新的數據范式，再利用基于卷積神經網絡的自編碼器從目標的光強信息和偏振特征圖像進行特征提取、特征融合，圖像重建。這種偏振數據映射能夠最大程度降低由材料屬性和光照環境引起的偏振模糊，并對各類場景具有魯棒性，通過自編碼器的圖像融合方法能夠使得特征得以充分的提取并融合，保留并增強目標的偏振信息，提高復雜背景下的目標檢測能力。
[0086]
本發明具有以下有益效果：
[0087]
本發明基于自編碼器的全線偏振圖像融合方法，與傳統的將圖像映射到偽彩空間方法相比，更適用于解釋場景的物理屬性，并且便于與硬件設施協作實現工業檢測、醫學診斷檢測、大氣遙感探測、水下成像等領域的目標探測。
[0088]
本發明基于自編碼器的全線偏振圖像融合方法，與僅僅利用光強圖和線偏振度圖
像融合方法相比，引入了對偏振度和偏振角圖像的有效提取和融合，并且抑制了來自偏振態的噪聲，即使是在戶外這種光照不可控、物質材料各異的場景，也能重建出場景的絕大部分信息，有效提高了復雜場景下的目標檢測準確率。
[0089]
本發明基于自編碼器的全線偏振圖像融合方法，與常規多尺度分解的偏振圖像融合方法相比，能夠反映圖像中的陰影、邊緣信息，且不會引入偽gibbs效應，更適于偏振圖像融合。
[0090]
本發明基于自編碼器的全線偏振圖像融合方法，使用通用數據集 ms-coco訓練，避免了偏振圖像數據集少并且針對偏振融合領域，沒有真實圖像的問題。
[0091]
本發明基于自編碼器的全線偏振圖像融合方法，與通常的偏振圖像融合方法相比，增加了光強圖的目標增強，進一步增加了目標細節，提高了對比度，更適合非相關研究者的觀察和場景的識別。
[0092]
本發明基于自編碼器的全線偏振圖像融合方法，面向卷積神經網絡的特征提取和重建，網絡結構設計簡單，卷積核的大小為3
×
3，最大通道數不超過64維，盡管是基于三張源圖像的融合，但在融合效果和計算效率之間取得較好的平衡。
[0093]
本發明基于自編碼器的全線偏振圖像融合方法，因其分目標提取特征的操作，使得算法適用于多張圖像的融合，可拓展至多曝光圖像融合、多聚焦圖像融合、可見光和紅外圖像融合。
[0094]
總之：本發明在深度學習的強大特征提取能力上，設計了基于自編碼器的圖像融合網絡，由損失函數約束圖像融合的性能，在偏振成像的基礎上，設計了一種新的偏振特征圖像與光強圖像融合，增加了融合圖像的細節，利用偏振特征對場景的陰影、粗糙度、邊緣等屬性進行補充增強，且抑制了因光照和物質特性造成的偏振模糊，適用于偏振圖像融合和復雜場景下的目標探測系統中。
[0095]
上面結合附圖對本發明進行了示例性的描述，顯然本發明的實現并不受上述方式的限制，只要采用了本發明的方法構思和技術方案進行的各種改進，或未經改進將本發明的構思和技術方案直接應用于其它場合的，均在本發明的保護范圍內。
