一種基于超像素融合網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測方法
1.本發(fā)明涉及目標(biāo)檢測技術(shù)領(lǐng)域，特別是涉及一種基于超像素融合網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測方法。
背景技術(shù)：
2.運(yùn)動(dòng)目標(biāo)檢測是圖像處理的應(yīng)用之一，通常而言，是通過統(tǒng)計(jì)的方法得到背景模型，并實(shí)時(shí)地對背景模型進(jìn)行更新以適應(yīng)光線變化和場景本身的變化，用形態(tài)學(xué)方法和檢測連通域面積進(jìn)行后處理，消除噪聲和背景擾動(dòng)帶來的影響，在hsv度空間下檢測陰影，得到準(zhǔn)確的運(yùn)動(dòng)目標(biāo)，在復(fù)雜場景中，運(yùn)動(dòng)目標(biāo)檢測仍然是一項(xiàng)具有挑戰(zhàn)性的任務(wù)，現(xiàn)有的基于深度學(xué)習(xí)的方法主要采用u-net網(wǎng)絡(luò)，并取得了驚人的效果，但是，它們忽略了像素之間的局部連續(xù)性，檢測性能有待進(jìn)一步提高，除此之外，上述網(wǎng)絡(luò)中包含了場景的信息，泛化能力有待進(jìn)一步提高。
技術(shù)實(shí)現(xiàn)要素：
3.針對上述情況，為克服現(xiàn)有技術(shù)之缺陷，本發(fā)明之目的在于提供一種基于超像素融合網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測方法。
4.本發(fā)明的上述技術(shù)目的是通過以下技術(shù)方案得以實(shí)現(xiàn)的：一種基于超像素融合網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測方法，包括兩部分階段：
①
訓(xùn)練階段；
②
檢測階段；所述檢測階段包括：步驟1.輸入彩圖像序列r1,將3通道數(shù)值進(jìn)行平均進(jìn)行圖像灰度化，得到灰度化的圖像序列g(shù)1；步驟2.對圖像序列進(jìn)行中值濾波背景圖像b1，并將圖像序列g(shù)1與背景圖像b1進(jìn)行差分，得到候選前景序列，記為像素特征f1；步驟3.對彩圖像序列r1進(jìn)行超像素分割，得到區(qū)域信息c1；步驟4.根據(jù)區(qū)域信息計(jì)算超像素對應(yīng)的候選前景區(qū)域的像素的直方圖，直方圖范圍時(shí)[-1,1]，間隔為0.1；步驟5.將每一個(gè)區(qū)域的直方圖作為該區(qū)域內(nèi)所有像素的特征，記為超像素特征f2；步驟6.構(gòu)建網(wǎng)絡(luò)；步驟7.對模型進(jìn)行訓(xùn)練；步驟8.輸出訓(xùn)練后的網(wǎng)絡(luò)模型m；所述檢測階段包括：步驟9.輸入圖像序列r2,如果圖像為彩圖像則將3通道數(shù)值進(jìn)行平均進(jìn)行圖像灰度化，得到灰度化的圖像序列g(shù)2；如果為灰度圖像，則直接令g2=r2；步驟10.對圖像序列進(jìn)行中值濾波背景圖像b2，并將圖像序列g(shù)2與背景圖像b2進(jìn)
行差分，得到候選前景序列，記為像素特征f3；步驟11.對彩圖像序列r2進(jìn)行超像素分割，得到區(qū)域信息c2；步驟12.根據(jù)區(qū)域信息計(jì)算超像素對應(yīng)的候選前景區(qū)域的像素的直方圖，直方圖范圍時(shí)[-1,1]，間隔為0.1；步驟13.將每一個(gè)區(qū)域的直方圖作為該區(qū)域內(nèi)所有像素的特征，記為超像素特征f4；步驟14.將超像素特征f4和像素特征f3作為已訓(xùn)練好的網(wǎng)絡(luò)模型m的輸入；步驟15.輸出檢測結(jié)果。
[0005]
進(jìn)一步地，所述步驟6的具體方法為：
①
構(gòu)建編碼器：卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、隱含層和輸出層；所述輸入層包括兩個(gè)輸入，分辨率都為240
×
320，超像素特征f2對應(yīng)的編碼器輸入的通道數(shù)為21，像素特征f1對應(yīng)的編碼器輸入為1，卷積神經(jīng)網(wǎng)絡(luò)中的卷積尺寸大小為3
×
3；所述隱含層中第1層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用8個(gè)卷積來生成8個(gè)特征圖；所述隱含層中第2層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用16個(gè)卷積來生成16個(gè)特征圖；所述隱含層中第3層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用32個(gè)卷積來生成32個(gè)特征圖；所述隱含層中第4層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用64個(gè)卷積來生成64個(gè)特征圖；
②
構(gòu)建連接層：所述隱含層中的第5層為連接層，所述連接層采用concatenation對兩個(gè)編碼器進(jìn)行連接；
③
構(gòu)建解碼器：所述隱含層中第6層采用卷積、批歸一化、激活層和池化層conv+bn+relu，使用128個(gè)卷積來生成64個(gè)特征圖；所述隱含層中第7層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用64個(gè)卷積來生成32個(gè)特征圖；所述隱含層中第8層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用32個(gè)卷積來生成16個(gè)特征圖；所述隱含層中第9層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用8個(gè)卷積來生成8個(gè)特征圖；所述隱含層中第10層采用卷積、批歸一化、激活層和池化層deconv+bn+clippedrelu，使用1個(gè)卷積來生成1個(gè)特征圖；所述輸出層中包含了回歸層；將超像素特征和像素特征作為網(wǎng)絡(luò)的輸入，輸出為對應(yīng)輸入圖像的groundtruth。
[0006]
綜上所述，本發(fā)明具有以下有益效果：
本發(fā)明首先使用中值濾波得到候選前景，然后通過超像素融合網(wǎng)絡(luò)來判斷像素是否為前景像素，在進(jìn)行檢測時(shí)只涉及矩陣的簡單乘法，因此本發(fā)明時(shí)間復(fù)雜度小，訓(xùn)練階段以及檢測階段的處理速度快，由于考慮到了動(dòng)態(tài)的特點(diǎn)，通過超像素融合特征可以有效地抑制動(dòng)態(tài)背景，本發(fā)明具有運(yùn)算速度快、魯棒性強(qiáng)的優(yōu)點(diǎn)，像素融合可以去除更多的背景噪聲，比相同深度的網(wǎng)絡(luò)具有更強(qiáng)的表達(dá)能力。
附圖說明
[0007]
此處所說明的附圖是用來提供對本發(fā)明的進(jìn)一步理解，構(gòu)成本技術(shù)的一部分，但并不構(gòu)成對本發(fā)明的不當(dāng)限定，在附圖中：圖1是本發(fā)明的步驟示意圖。
具體實(shí)施方式
[0008]
有關(guān)本發(fā)明的前述及其他技術(shù)內(nèi)容、特點(diǎn)與功效，在以下配合參考附圖1對實(shí)施例的詳細(xì)說明中，將可清楚的呈現(xiàn)。以下實(shí)施例中所提到的結(jié)構(gòu)內(nèi)容，均是以說明書附圖為參考。
[0009]
下面將參照附圖描述本發(fā)明的各示例性的實(shí)施例。
[0010]
實(shí)施例1：一種基于超像素融合網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)檢測方法，包括兩部分階段：
①
訓(xùn)練階段；
②
檢測階段；所述檢測階段包括：步驟1.輸入彩圖像序列r1,將3通道數(shù)值進(jìn)行平均進(jìn)行圖像灰度化，得到灰度化的圖像序列g(shù)1；步驟2.對圖像序列進(jìn)行中值濾波背景圖像b1，并將圖像序列g(shù)1與背景圖像b1進(jìn)行差分，得到候選前景序列，記為像素特征f1；步驟3.對彩圖像序列r1進(jìn)行超像素分割，得到區(qū)域信息c1；步驟4.根據(jù)區(qū)域信息計(jì)算超像素對應(yīng)的候選前景區(qū)域的像素的直方圖，直方圖范圍時(shí)[-1,1]，間隔為0.1；步驟5.將每一個(gè)區(qū)域的直方圖作為該區(qū)域內(nèi)所有像素的特征，記為超像素特征f2；步驟6.構(gòu)建網(wǎng)絡(luò)：
①
構(gòu)建編碼器：卷積神經(jīng)網(wǎng)絡(luò)包含輸入層、隱含層和輸出層；輸入層包括兩個(gè)輸入，分辨率都為240
×
320，超像素特征f2對應(yīng)的編碼器輸入的通道數(shù)為21，像素特征f1對應(yīng)的編碼器輸入為1，卷積神經(jīng)網(wǎng)絡(luò)中的卷積尺寸大小為3
×
3；隱含層中第1層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用8個(gè)卷積來生成8個(gè)特征圖；隱含層中第2層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用16個(gè)卷積來生成16個(gè)特征圖；隱含層中第3層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用32個(gè)卷積來生成32個(gè)特征圖；
隱含層中第4層采用卷積、批歸一化、激活層和池化層conv+bn+relu+maxpool，使用64個(gè)卷積來生成64個(gè)特征圖；
②
構(gòu)建連接層：隱含層中的第5層為連接層，連接層采用concatenation對兩個(gè)編碼器進(jìn)行連接；
③
構(gòu)建解碼器：隱含層中第6層采用卷積、批歸一化、激活層和池化層conv+bn+relu，使用128個(gè)卷積來生成64個(gè)特征圖；隱含層中第7層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用64個(gè)卷積來生成32個(gè)特征圖；隱含層中第8層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用32個(gè)卷積來生成16個(gè)特征圖；隱含層中第9層采用卷積、批歸一化、激活層和池化層deconv+bn+relu，使用8個(gè)卷積來生成8個(gè)特征圖；隱含層中第10層采用卷積、批歸一化、激活層和池化層deconv+bn+clippedrelu，使用1個(gè)卷積來生成1個(gè)特征圖；輸出層中包含了回歸層；將超像素特征和像素特征作為網(wǎng)絡(luò)的輸入，輸出為對應(yīng)輸入圖像的groundtruth；步驟7.對模型進(jìn)行訓(xùn)練；步驟8.輸出訓(xùn)練后的網(wǎng)絡(luò)模型m；所述檢測階段包括：步驟9.輸入圖像序列r2,如果圖像為彩圖像則將3通道數(shù)值進(jìn)行平均進(jìn)行圖像灰度化，得到灰度化的圖像序列g(shù)2；如果為灰度圖像，則直接令g2=r2；步驟10.對圖像序列進(jìn)行中值濾波背景圖像b2，并將圖像序列g(shù)2與背景圖像b2進(jìn)行差分，得到候選前景序列，記為像素特征f3；步驟11.對彩圖像序列r2進(jìn)行超像素分割，得到區(qū)域信息c2；步驟12.根據(jù)區(qū)域信息計(jì)算超像素對應(yīng)的候選前景區(qū)域的像素的直方圖，直方圖范圍時(shí)[-1,1]，間隔為0.1；步驟13.將每一個(gè)區(qū)域的直方圖作為該區(qū)域內(nèi)所有像素的特征，記為超像素特征f4；步驟14.將超像素特征f4和像素特征f3作為已訓(xùn)練好的網(wǎng)絡(luò)模型m的輸入；步驟15.輸出檢測結(jié)果。
[0011]
本發(fā)明利用中值濾波提取候選前景（稱為像素特征），并對圖像序列進(jìn)行超像素分割，然后提取候選前景超像素的直方圖特征（稱為超像素特征），隨后將像素特征和超像素特征分別作為像素融合網(wǎng)絡(luò)的輸入。
[0012]
整個(gè)檢測的過程中，只涉及矩陣的簡單乘法，因此時(shí)間復(fù)雜度小，訓(xùn)練階段以及檢測階段的處理速度快，由于考慮到了動(dòng)態(tài)的特點(diǎn)，通過超像素融合特征可以有效地抑制動(dòng)態(tài)背景，本發(fā)明具有運(yùn)算速度快、魯棒性強(qiáng)的優(yōu)點(diǎn)。
[0013]
實(shí)驗(yàn)表明，像素融合網(wǎng)絡(luò)對cdnet 2014中34幅圖像序列具有良好的效果，像素融合可以去除更多的背景噪聲，比相同深度的網(wǎng)絡(luò)具有更強(qiáng)的表達(dá)能力。
[0014]
以上所述是結(jié)合具體實(shí)施方式對本發(fā)明所作的進(jìn)一步詳細(xì)說明，不能認(rèn)定本發(fā)明具體實(shí)施僅局限于此；對于本發(fā)明所屬及相關(guān)技術(shù)領(lǐng)域的技術(shù)人員來說，在基于本發(fā)明技術(shù)方案思路前提下，所作的拓展以及操作方法、數(shù)據(jù)的替換，都應(yīng)當(dāng)落在本發(fā)明保護(hù)范圍之內(nèi)。
