一種行人重識別方法、裝置、計算機設備及存儲介質與流程
1.本發明涉及計算機視覺領域,尤其涉及一種行人重識別方法、裝置、計算機設備及存儲介質。
背景技術:
2.隨著硬件算力的飛速發展和人工智能計算機視覺技術,尤其是深度學習技術的快速發展和普及,計算機視覺技術在智慧城市安全領域有著廣泛的應用。
3.行人重識別(person re-identification)是一種利用計算機視覺技術,旨在從大規模的分布式監控系統中搜索判斷是否存在特定行人的技術,也稱作行人再識別,簡稱為re-id。在監控攝像頭視頻中,攝像頭的安裝分布存在安裝位置,安裝角度,安裝環境,攝像頭分辨率各異的情況,攝像頭的視頻圖像呈現因背景、時空行人姿態和環境光照影響的不同而存在差異。因此,行人重識別時需要克服監控攝像頭的各種差異。但是,由于監控場景下存在不同光照亮度差異,不同曝光度差異,順逆光差異,甚至環境有光源干擾等一系列光照影響,導致對行人重識別的準確性有很大的影響。在大多數場景下,光照影響導致了行人重識別存在識別準確率低的問題。
4.因此,現有的行人重識別中存在因光照影響而導致的識別準確率低的問題。
技術實現要素:
5.本發明實施例提供一種行人重識別方法、裝置、計算機設備和存儲介質,以提高不同光照影響下的行人重識別準確率。
6.為了解決上述技術問題,本技術實施例提供一種行人重識別方法,包括。
7.獲取待識別圖像,并將所述待識別圖像輸入行人重識別模型,其中,所述行人重識別模型包括主干網絡和光照感知網絡,所述主干網絡包括n+2個卷積層,所述光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,所述i的取值范圍為(1,n)且所述i為正整數。
8.基于所述主干網絡的第一個卷積層,對所述待識別圖像進行特征提取,得到第一特征圖,并將所述主干網絡的第二個卷積層作為當前卷積層。
9.采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖。
10.采用與所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行感知處理,得到感知特征圖。
11.當所述當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將所述第二特征圖作為第一特征圖,所述當前卷積層對應的下一層卷積層作為當前卷積層,并返回所述采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行。
12.當所述當前卷積層對應的下一層卷積層為最后一層卷積層時,則對所述第二特征圖進行卷積計算,得到第三特征圖。
13.基于所有所述感知特征圖和所述第三特征圖,對所述待識別圖像進行重識別處
理,得到行人重識別結果。
14.為了解決上述技術問題,本技術實施例還提供一種行人重識別裝置,包括。
15.待識別圖像獲取模塊,用于獲取待識別圖像,并將所述待識別圖像輸入行人重識別模型,其中,所述行人重識別模型包括主干網絡和光照感知網絡,所述主干網絡包括n+2個卷積層,所述光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,所述i的取值范圍為(1,n)且所述i為正整數。
16.第一特征圖獲取模塊,用于基于所述主干網絡的第一個卷積層,對所述待識別圖像進行特征提取,得到第一特征圖,并將所述主干網絡的第二個卷積層作為當前卷積層。
17.第二特征圖獲取模塊,用于采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖。
18.感知特征圖獲取模塊,用采用與所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行感知處理,得到感知特征圖。
19.循環模塊,用于當所述當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將所述第二特征圖作為第一特征圖,所述當前卷積層對應的下一層卷積層作為當前卷積層,并返回所述采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行。
20.第三特征圖獲取模塊,用于當所述當前卷積層對應的下一層卷積層為最后一層卷積層時,則對所述第二特征圖進行卷積計算,得到第三特征圖。
21.行人重識別模塊,用于基于所有所述感知特征圖和所述第三特征圖,對所述待識別圖像進行重識別處理,得到行人重識別結果。
22.為了解決上述技術問題,本技術實施例還提供一種計算機設備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,所述處理器執行所述計算機程序時實現上述行人重識別方法的步驟。
23.為了解決上述技術問題,本技術實施例還提供一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,所述計算機程序被處理器執行時實現上述行人重識別方法的步驟。
24.本發明實施例提供的行人重識別方法、裝置、計算機設備及存儲介質,通過獲取待識別圖像,并將待識別圖像輸入行人重識別模型;基于主干網絡的第一個卷積層,對待識別圖像進行特征提取,得到第一特征圖,并將主干網絡的第二個卷積層作為當前卷積層;采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖;采用與當前卷積層連接的光照感知模塊,對第二特征圖進行感知處理,得到感知特征圖;當當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將第二特征圖作為第一特征圖,當前卷積層對應的下一層卷積層作為當前卷積層,并返回采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行;當當前卷積層對應的下一層卷積層為最后一層卷積層時,則對第二特征圖進行卷積計算,得到第三特征圖;基于所有感知特征圖和第三特征圖,對待識別圖像進行重識別處理,得到行人重識別結果。通過上述步驟,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
附圖說明
25.為了更清楚地說明本發明實施例的技術方案,下面將對本發明實施例的描述中所需要使用的附圖作簡單地介紹,顯而易見地,下面描述中的附圖僅僅是本發明的一些實施例,對于本領域普通技術人員來講,在不付出創造性勞動性的前提下,還可以根據這些附圖獲得其他的附圖。
26.圖1是本技術可以應用于其中的示例性系統架構圖。
27.圖2是本技術的行人重識別方法的一個實施例的流程圖。
28.圖3是本技術的行人重識別模型的一示例圖。
29.圖4是本技術的光照感知模塊的一示例圖。
30.圖5是根據本技術的行人重識別裝置的一個實施例的結構示意圖。
31.圖6是根據本技術的計算機設備的一個實施例的結構示意圖。
具體實施方式
32.除非另有定義,本文所使用的所有的技術和科學術語與屬于本技術的技術領域的技術人員通常理解的含義相同;本文中在申請的說明書中所使用的術語只是為了描述具體的實施例的目的,不是旨在于限制本技術;本技術的說明書和權利要求書及上述附圖說明中的術語“包括”和“具有”以及它們的任何變形,意圖在于覆蓋不排他的包含。本技術的說明書和權利要求書或上述附圖中的術語“第一”、“第二”等是用于區別不同對象,而不是用于描述特定順序。
33.在本文中提及“實施例”意味著,結合實施例描述的特定特征、結構或特性可以包含在本技術的至少一個實施例中。在說明書中的各個位置出現該短語并不一定均是指相同的實施例,也不是與其它實施例互斥的獨立的或備選的實施例。本領域技術人員顯式地和隱式地理解的是,本文所描述的實施例可以與其它實施例相結合。
34.下面將結合本發明實施例中的附圖,對本發明實施例中的技術方案進行清楚、完整地描述,顯然,所描述的實施例是本發明一部分實施例,而不是全部的實施例。基于本發明中的實施例,本領域普通技術人員在沒有作出創造性勞動前提下所獲得的所有其他實施例,都屬于本發明保護的范圍。
35.請參閱圖1,如圖1所示,系統架構100可以包括終端設備101、102、103,網絡104和服務器105。網絡104用以在終端設備101、102、103和服務器105之間提供通信鏈路的介質。網絡104可以包括各種連接類型,例如有線、無線通信鏈路或者光纖電纜等等。
36.用戶可以使用終端設備101、102、103通過網絡104與服務器105交互,以接收或發送消息等。
37.終端設備101、102、103可以是具有顯示屏并且支持網頁瀏覽的各種電子設備,包括但不限于智能手機、平板電腦、電子書閱讀器、mp3播放器(moving picture e界面顯示perts group audio layer iii,動態影像專家壓縮標準音頻層面3)、mp4(moving picture e界面顯示perts group audio layer iv,動態影像專家壓縮標準音頻層面4)播放器、膝上型便攜計算機和臺式計算機等等。
38.服務器105可以是提供各種服務的服務器,例如對終端設備101、102、103上顯示的頁面提供支持的后臺服務器。
39.需要說明的是,本技術實施例所提供的行人重識別方法由服務器執行,相應地,行人重識別裝置設置于服務器中。
40.應該理解,圖1中的終端設備、網絡和服務器的數目僅僅是示意性的。根據實現需要,可以具有任意數目的終端設備、網絡和服務器,本技術實施例中的終端設備101、102、103具體可以對應的是實際生產中的應用系統。
41.請參閱圖2,圖2示出本發明實施例提供的一種行人重識別方法,以該方法應用在圖1中的服務端為例進行說明,詳述如下。
42.s201、獲取待識別圖像,并將待識別圖像輸入行人重識別模型,其中,行人重識別模型包括主干網絡和光照感知網絡,主干網絡包括n+2個卷積層,光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,i的取值范圍為(1,n)且i為正整數。
43.在步驟s201中,上述待識別圖像是指行人圖像。
44.上述待識別圖像的獲取方式包括但不限于從監控攝像頭拍攝的監控視頻中截取圖像、手機拍攝。具體地,上述獲取待識別圖像的方式根據實際應用場景進行適應性調整。
45.上述行人重識別模型是指用于識別待識別圖像中行人數據的模型。應理解,此處的行人重識別模型可針對特定行人或者非特定行人,具體根據實際應用場景進行適應性調整。
46.具體地,上述行人重識別模型包括主干網絡和光照感知網絡,主干網絡用于對待識別圖像進行行人重識別,主干網絡包括n+2個卷積層,光照感知網絡用于進一步提取待識別圖像的特征,減少光照影響的干擾。光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,i的取值范圍為(1,n)且i為正整數。
47.此處需要說明的是,上述主干網絡中卷積層的層數根據實際應用場景進行適應性調整。
48.通過上述獲取待識別圖像,并將待識別圖像輸入行人重識別模型,以便于后續基于行人重識別模型對待識別圖像進行特征提取,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
49.s202、基于主干網絡的第一個卷積層,對待識別圖像進行特征提取,得到第一特征圖,并將主干網絡的第二個卷積層作為當前卷積層。
50.在步驟s202中,上述特征提取是指對待識別圖像進行卷積計算。
51.上述當前卷積層是指在主干網絡中,當前對特征圖進行處理的卷積層。
52.上述第一特征圖包括但不限于顏特征、姿態特征。
53.其中,顏特征為待識別圖像的整體顏分布特征,例如,通過直方圖算法提取待識別圖像的的整體顏特征。
54.上述姿態特征是指行人的特征,例如,通過姿態估計模型預測出行人的關鍵點,利用仿射變換對齊相同關鍵點進行姿態特征提取。應理解,一個行人通常被分為14個關鍵點,這些關鍵點將人體分為若干個區域,提取這些區域特征,并仿射變換對齊相同關鍵點完成姿態特征提取,得到待識別圖像的行人特征。
55.此處需要說明的是,第一特征圖的特征可根據實際情況進行調整,此處不作具體限制。
56.采用主干網絡的第一個卷積層對待識別圖像進行卷積計算,得到第一特征圖,并采用主干網絡后續卷積層對第一特征圖進行深層次特征提取,以提高對行人的識別準確率。
57.s203、采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖。
58.在步驟s203中,上述特征提取是指對第一特征圖進行卷積計算。
59.上述第二特征圖是指對第一特征圖進行卷積計算得到的特征圖。
60.此處需要說明的是,第二特征圖的特征與第一特征圖的特征相同。例如,當第一特征圖僅包括姿態特征時,則第二特征圖也僅包括姿態特征。
61.采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖,以便于主干網絡后續對該特征圖進行進一步的特征計算,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
62.s204、采用與當前卷積層連接的光照感知模塊,對第二特征圖進行感知處理,得到感知特征圖。
63.在步驟s204中,上述光照感知模塊用于提取第二特征圖中的光照特征。
64.此處需要說明的是,光照特征是指在光線影響下呈現出的特征。例如,當拍攝環境存在紅燈光或者綠燈光,該紅燈光或者綠燈光會造成獲取到的行人圖像中,行人身上會泛紅光。此時,提取出行人身上存在的紅光特征即為光照特征。
65.上述感知特征圖是指剔除第二特征圖中光照影響得到的特征圖。
66.此處需要說明的是,每一個光照感知模塊對應一個感知特征圖。所有的光照感知模塊都屬于光照感知網絡。
67.光照感知網絡的實現方法包括但不限于二分類網絡,注意力網絡。
68.其中,二分類網絡是指采用二分類算法對待識別圖像進行分類,得到分類結果,并根據分類結果采用不同的方式對第二特征圖進行感知處理得到感知特征圖。例如,當分類結果為該待識別圖像對應的時間段為白天,由于白天可見光其的作用和熱紅外的作用相似,因此,賦予可見光和熱紅外的權重一樣對第二特征圖進行感知處理;當分類結果為該待識別圖像對應的時間段為夜晚,由于夜晚由熱紅外為主導,因此,賦予熱紅外更高權重對第二特征圖進行感知處理。
69.注意力網絡是指基于注意力構建多個光照感知網絡分支,分支和行人重識別主干分支,采用多級聯合方式,在主干分支的多級特征圖上進行特征融合,融合光照特征,此處需要說明的是,光照感知網絡的構建方法可根據實際情況進行適應性調整。
70.優選地,本技術采用基于注意力網絡構建光照感知網絡。
71.通過采用多級聯合方式,光照感知網絡的光照感知模塊在主干分支的多級特征圖上進行特征融合,融合光照特征,抑制光照的干擾,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
72.s205、當當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將第二特征圖作為第一特征圖,當前卷積層對應的下一層卷積層作為當前卷積層,并返回采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行。
73.在步驟s205中,當當前卷積層對應的下一層卷積層不是最后一層卷積層時,則當前卷積層對應的下一層卷積層依舊與一個光照感知模塊連接。
74.通過識別當前卷積層對應的下一層卷積層是否最后一層卷積層,可根據識別結果進行不同處理,從而提高對待識別圖像的處理速度。
75.s206、當當前卷積層對應的下一層卷積層為最后一層卷積層時,則對第二特征圖進行卷積計算,得到第三特征圖。
76.在步驟s206中,當當前卷積層對應的下一層卷積層為最后一層卷積層時,則當前卷積層對應的下一層卷積層沒有相連接的光照感知模塊。
77.上述第三特征圖是指對第二特征圖進行卷積計算得到的特征圖。
78.此處需要說明的是,第三特征圖的特征與第二特征圖的特征相同。例如,當第二特征圖僅包括姿態特征時,則第三特征圖也僅包括姿態特征。
79.通過最后一層卷積層,對第二特征圖進行卷積計算,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
80.s207、基于所有感知特征圖和第三特征圖,對待識別圖像進行重識別處理,得到行人重識別結果。
81.在步驟s207中,其具體是。
82.對第三特征圖進行全連接處理,并將全連接得到的特征圖與所有感知特征圖進行連接處理,得到連接特征圖。
83.對該連接特征圖進行全連接和重識別處理,得到行人重識別結果。
84.其中,上述連接處理的順序可根據實際情況具體調整。優選地,本技術采用全連接得到的特征圖和感知特征圖,感知特征圖的順序按照層級依次排列。
85.上述行人重識別結果為是否包含目標行人。
86.通過上述步驟,實現對待識別圖像的重識別,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
87.下面一實施例對上述步驟s201至步驟s207中的行人重識別模型進行解釋說明,如圖3所示,圖3為上述行人重識別模型的一示例圖。其中,conv、conv1_x、conv2_x、conv3_x、conv4_x為主干網絡的5個卷積層,光照感知網絡包括3個光照感知模塊。每一個光照感知模塊與一個卷積層相連接,即主干網絡的第二個卷積層與光照感知網站的第一個光照感知模塊連接,主干網絡的第三個卷積層與光照感知網站的第二個光照感知模塊連接,依次類推。fc為fully connected layers,全連接層,concat是指連接處理。softmax loss在此圖中表示在主干網絡的全連接層接入分類損失函數,triplet loss是使用三元損失度量行人特征。
88.主干網絡的conv1_x、conv2_x和conv3_x中分別連接光照感知模塊,在主干網絡的多層級特征圖上設置光照注意力網絡。最后融合主干網絡的全連接層和三級光照感知模塊輸出,通過全連接生成最終的行人重識別特征。在主干網絡的全連接層接入分類損失,引導行人身份分類,最后的融合特征使用三元損失度量行人特征,提高對行人重識別算法對光照環境的魯棒性,提高不同光照影響下的行人重識別準確率。
89.在本實施例中,通過獲取待識別圖像,并將待識別圖像輸入行人重識別模型;基于主干網絡的第一個卷積層,對待識別圖像進行特征提取,得到第一特征圖,并將主干網絡的第二個卷積層作為當前卷積層;采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖;采用與當前卷積層連接的光照感知模塊,對第二特征圖進行感知處理,得到感知特征
圖;當當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將第二特征圖作為第一特征圖,當前卷積層對應的下一層卷積層作為當前卷積層,并返回采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行;當當前卷積層對應的下一層卷積層為最后一層卷積層時,則對第二特征圖進行卷積計算,得到第三特征圖;基于所有感知特征圖和第三特征圖,對待識別圖像進行重識別處理,得到行人重識別結果。通過上述步驟,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
90.在本實施例的一些可選的實現方式中,步驟s201之前,行人重識別方法還包括。
91.s101、獲取行人圖像集。
92.s102、基于殘差網絡,采用行人圖像集中的行人圖像對初始化主干網絡進行預訓練,得到預訓練主干網絡。
93.s103、基于注意力算法,構建初始化光照感知網絡。
94.s104、基于預訓練主干網絡和初始化光照感知網絡,構建初始化行人重識別模型。
95.s105、基于預設的數據增強方式,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集。
96.s106、根據訓練圖像集,對初始化行人重識別模型進行訓練,得到行人重識別模型。
97.在步驟s101中,上述獲取行人圖像集的方法包括但不限于從監控攝像頭拍攝的監控視頻中截取圖像、手機拍攝。具體地,上述獲取行人圖像集的方式根據實際應用場景進行適應性調整。
98.優選地,本技術實施例采用使用劃定地理區域范圍內的多監控攝像頭,獲取一定時間監控視頻數據。使用行人檢測模型檢測得到行人圖像集。
99.在步驟s102中,其具體是,采用殘差網絡對行人圖像集中的行人圖像進行特征提取。通過使用獲取的行人圖像集,對初始化主干網絡進行訓練,通過多次迭代訓練,訓練出損失和特征指標達到最優的狀態,以此訓練后的網絡作為后續步驟中行人重識別的預訓練主干網絡。
100.上述殘差網絡可為resnet50、resnet101、resnet152,本技術優選resnet50模型。
101.在步驟s104中,其具體是,將預訓練主干網絡的多層卷積層依次和初始化光照感知網絡的光照感知模塊相連接,即在預訓練主干網絡的多層卷積層上設置光照感知網絡,構建初始化行人重識別模型。
102.在步驟s105中,上述數據增強的方法包括但不限于基于生成對抗網絡進行數據增強、隨機增強。
103.應理解,上述數據增強的方法是對行人圖像集中的行人圖像進行光照條件的數據增強。
104.在步驟s106中,其具體是,根據訓練圖像集,對初始化行人重識別模型的初始化光照感知網絡進行訓練,得到帶光照適用性的預訓練模型。
105.采用低學習率,以及訓練圖像集,對預訓練模型進行融合訓練,對預訓練模型的主干網絡和光照感知網絡進行監督學習,微調預訓練模型的主干網絡,得到行人重識別模型。
106.其中,根據訓練圖像集,對初始化行人重識別模型的初始化光照感知網絡進行訓
練,得到帶光照適用性的預訓練模型可通過將預訓練主干網絡導入到初始化光照感知網絡中,采用預設次數迭代凍結主干網絡參數,訓練光照感知網絡的光照感知模塊。此處需要說明的是,預設次數迭代凍結主干網絡參數優選為前20次迭代凍結主干網絡參數。
107.在本實施例中,使用注意力機制網絡構建光照感知及光照估計分支,聯合主干網絡多層級特征圖實現加權機制,融合行人重識別網絡及預訓練權重采用多階段訓練機制,在預訓練模型上微調,自適應抑制光照高級特征在行人重識別特征中的表達,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
108.在本實施例的一些可選的實現方式中,在步驟s105中,基于預設的數據增強方式,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括。
109.從行人圖像集中抽取出預設數量的行人圖像作為待增強圖像,并將所有待增強圖像加入待增強圖像集合中。
110.基于直方圖算法,依次對待增強圖像集合選取出的待增強圖像進行亮度處理,得到待增強圖像對應的增強結果。
111.對所有待增強圖像和待增強圖像對應的增強結果進行匯總,得到訓練圖像集。
112.具體地,上述預設數量可根據實際情況進行調整,本技術不做具體限制。例如,采用從行人圖像集中隨機抽取出20%的行人圖像作為待增強圖像。
113.基于直方圖算法,調整待增強圖像的整體亮度,使得待增強圖像的彩圖像通道分離,并根據分離結果使用比例分級調整不同亮度,得到待增強圖像對應的增強結果。
114.此處需要說明的是,上述亮度處理可根據實際情況進行調整,本技術不做具體限制。
115.在本實施例中,通過直方圖算法,調整待增強圖像的亮度,從而增強樣本的數量,實現了數據增強,以便于對行人重識別模型進行訓練時,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
116.在本實施例的一些可選的實現方式中,在步驟s105中,基于預設的數據增強方式,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括:
117.基于預設的圖像分割方式,對行人圖像集中的行人圖像進行圖像分割,得到每一張行人圖像對應的分割結果,其中,分割結果包括前景區域圖像和背景區域圖像。
118.針對每一張行人圖像,采用高斯分布分別對行人圖像對應的前景區域圖像和背景區域圖像進行亮度調整,得到前景區域圖像對應的前景調整圖像和背景區域圖像對應的背景調整圖像。
119.針對每一張行人圖像,將前景調整圖像和背景調整圖像進行組合,得到行人圖像對應的曝光圖像。
120.對所有曝光圖像進行光源篩選,并將通過光源篩選的曝光圖像對應的行人圖像加入訓練圖像集中。
121.其中,上述預設的圖像分割方式包括但不限于均分圖像、不等分圖像。其中,均分圖像是指將圖像分割成大小一致的圖片塊,不等分圖像是指將圖像分割成大小不一致的圖片塊。
122.優選地,本技術采用均分圖像。同時,本技術采用pspnet分割技術,對行人圖像集中的行人圖像進行圖像分割。pspnet是在fcn上的改進,引入更多的上下文信息進行解決,
當分割層有更多全局信息時,出現誤分割的概率就會降低。
123.針對每一張行人圖像,采用高斯分布分別對行人圖像對應的前景區域圖像和背景區域圖像進行明暗亮度分布調整,得到不同明暗的前景調整圖像和的背景調整圖像。
124.對不同明暗的前景調整圖像和的背景調整圖像進行組合,得到模擬曝光,順逆光情況下的行人圖像。
125.上述光源篩選是指篩選出符合標準的圖像。例如,篩選出光源在亮度20%-80%的圖像。此處需要說明的是,上述光源篩選根據實際情況具體調整,本技術不做具體限制。
126.在本實施例中,通過對圖像進行分割,對分割出的前景區域圖像和后景區域圖像進行明暗處理,得到模擬曝光,順逆光情況下的行人圖像,實現了數據增強,以便于對行人重識別模型進行訓練時,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
127.在本實施例的一些可選的實現方式中,在步驟s105中,基于預設的數據增強方式,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括。
128.基于生成對抗網絡算法,確定預訓練網絡。
129.采用預訓練網絡對行人圖像集進行訓練,得到有光源遷移模型。
130.基于有光源遷移模型,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集。
131.具體地,基于生成對抗網絡算法訓練生成器和判別器網絡,訓練網絡生成有光源遷移模型,可以使用不同的圖像生成多樣的有光源模板,遷移合成有光源環境下行人圖像,形成對有光源條件下的數據增強。
132.在本實施例中,通過上述方法擴展數據集,豐富光照行人數據,以便于對行人重識別模型進行訓練時,能夠減弱甚至去除不同光照條件對行人重識別的影響,提高不同光照影響下的行人重識別準確率。
133.在本實施例的一些可選的實現方式中,在步驟s204中,采用與當前卷積層連接的光照感知模塊,對第二特征圖進行感知處理,得到感知特征圖的步驟包括。
134.基于當前卷積層連接的光照感知模塊,對第二特征圖進行卷積計算,得到第四特征圖和第五特征圖。
135.對第五特征圖進行池化、全連接處理,得到全連接特征圖。
136.將全連接特征圖和第四特征圖進行乘積計算,得到融合特征圖。
137.將第二特征圖和融合特征圖進行融合處理,得到感知特征圖。
138.具體地,如圖4所示,圖4為本技術實施例的光照感知模塊示意圖。
139.上述第四特征圖和第五特征圖是當前卷積層連接的光照感知模塊對第二特征圖進行卷積計算得到的特征圖。此處第五特征圖和第四特征圖本質上相同。
140.基于avarage group pooling層對第五特征圖進行池化,基于fc層對池化后的第五特征圖進行全連接處理。
141.在本實施例中,采用多級聯合方式,在主干分支的多級特征圖上進行特征融合,融合光照特征通過兩個全連接層和激活層通過交換特征圖之間的特征信息,能夠融合通道之間的相關性,抑制光照的干擾。
142.應理解,上述實施例中各步驟的序號的大小并不意味著執行順序的先后,各過程
的執行順序應以其功能和內在邏輯確定,而不應對本發明實施例的實施過程構成任何限定。
143.圖5示出與上述實施例行人重識別方法一一對應的行人重識別裝置的原理框圖。如圖5所示,該行人重識別裝置包括待識別圖像獲取模塊31、第一特征圖獲取模塊32、第二特征圖獲取模塊33、感知特征圖獲取模塊34、循環模塊35、第三特征圖獲取模塊36和行人重識別模塊37。各功能模塊詳細說明如下。
144.待識別圖像獲取模塊31,用于獲取待識別圖像,并將待識別圖像輸入行人重識別模型,其中,行人重識別模型包括主干網絡和光照感知網絡,主干網絡包括n+2個卷積層,光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,i的取值范圍為(1,n)且i為正整數。
145.第一特征圖獲取模塊32,用于基于主干網絡的第一個卷積層,對待識別圖像進行特征提取,得到第一特征圖,并將主干網絡的第二個卷積層作為當前卷積層。
146.第二特征圖獲取模塊33,用于采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖。
147.感知特征圖獲取模塊34,用采用與當前卷積層連接的光照感知模塊,對第二特征圖進行感知處理,得到感知特征圖。
148.循環模塊35,用于當當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將第二特征圖作為第一特征圖,當前卷積層對應的下一層卷積層作為當前卷積層,并返回采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行。
149.第三特征圖獲取模塊36,用于當當前卷積層對應的下一層卷積層為最后一層卷積層時,則對第二特征圖進行卷積計算,得到第三特征圖。
150.行人重識別模塊37,用于基于所有感知特征圖和第三特征圖,對待識別圖像進行重識別處理,得到行人重識別結果。
151.在本實施例的一些可選的實現方式中,待識別圖像獲取模塊31之前,行人重識別裝置還包括。
152.行人圖像集獲取模塊,用于獲取行人圖像集。
153.預訓練主干網絡獲取模塊,用于基于殘差網絡,采用行人圖像集中的行人圖像對初始化主干網絡進行預訓練,得到預訓練主干網絡。
154.初始化光照感知網絡構建模塊,用于基于注意力算法,構建初始化光照感知網絡。
155.初始化行人重識別模型構建模塊,用于基于預訓練主干網絡和初始化光照感知網絡,構建初始化行人重識別模型。
156.訓練圖像集獲取模塊,用于基于預設的數據增強方式,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集。
157.行人重識別模型獲取模塊,用于根據訓練圖像集,對初始化行人重識別模型進行訓練,得到行人重識別模型。
158.在本實施例的一些可選的實現方式中,訓練圖像集獲取模塊包括。
159.待增強圖像獲取單元,用于從行人圖像集中抽取出預設數量的行人圖像作為待增強圖像,并將所有待增強圖像加入待增強圖像集合中。
160.直方圖單元,用于基于直方圖算法,依次對待增強圖像集合選取出的待增強圖像
進行亮度處理,得到待增強圖像對應的增強結果。
161.匯總單元,用于對所有待增強圖像和待增強圖像對應的增強結果進行匯總,得到訓練圖像集。
162.在本實施例的一些可選的實現方式中,訓練圖像集獲取模塊包括。
163.分割單元,用于基于預設的圖像分割方式,對行人圖像集中的行人圖像進行圖像分割,得到每一張行人圖像對應的分割結果,其中,分割結果包括前景區域圖像和背景區域圖像。
164.亮度調整單元,用于針對每一張行人圖像,采用高斯分布分別對行人圖像對應的前景區域圖像和背景區域圖像進行亮度調整,得到前景區域圖像對應的前景調整圖像和背景區域圖像對應的背景調整圖像。
165.曝光圖像獲取單元,用于針對每一張行人圖像,將前景調整圖像和背景調整圖像進行組合,得到行人圖像對應的曝光圖像。
166.光源篩選單元,用于對所有曝光圖像進行光源篩選,并將通過光源篩選的曝光圖像對應的行人圖像加入訓練圖像集中。
167.在本實施例的一些可選的實現方式中,訓練圖像集獲取模塊包括。
168.預訓練網絡獲取單元,用于基于生成對抗網絡算法,確定預訓練網絡,
169.有光源遷移模型構建單元,用于采用預訓練網絡對行人圖像集進行訓練,得到有光源遷移模型。
170.訓練圖像集獲取單元,用于基于有光源遷移模型,對行人圖像集中的行人圖像進行數據增強,得到訓練圖像集。
171.進一步地,感知特征圖獲取模塊34包括。
172.卷積單元,用于基于當前卷積層連接的光照感知模塊,對第二特征圖進行卷積計算,得到第四特征圖和第五特征圖。
173.全連接單元,用于對第五特征圖進行池化、全連接處理,得到全連接特征圖。
174.乘積單元,用于將全連接特征圖和第四特征圖進行乘積計算,得到融合特征圖。
175.感知特征圖獲取單元,用于將第二特征圖和融合特征圖進行融合處理,得到感知特征圖。
176.關于行人重識別裝置的具體限定可以參見上文中對于行人重識別方法的限定,在此不再贅述。上述行人重識別裝置中的各個模塊可全部或部分通過軟件、硬件及其組合來實現。上述各模塊可以硬件形式內嵌于或獨立于計算機設備中的處理器中,也可以以軟件形式存儲于計算機設備中的存儲器中,以便于處理器調用執行以上各個模塊對應的操作。
177.為解決上述技術問題,本技術實施例還提供計算機設備。具體請參閱圖6,圖6為本實施例計算機設備基本結構框圖。
178.所述計算機設備4包括通過系統總線相互通信連接存儲器41、處理器42、網絡接口43。需要指出的是,圖中僅示出了具有組件連接存儲器41、處理器42、網絡接口43的計算機設備4,但是應理解的是,并不要求實施所有示出的組件,可以替代的實施更多或者更少的組件。其中,本技術領域技術人員可以理解,這里的計算機設備是一種能夠按照事先設定或存儲的指令,自動進行數值計算和/或信息處理的設備,其硬件包括但不限于微處理器、專用集成電路(application specific integrated circuit,asic)、可編程門陣列(field-
programmable gate array,fpga)、數字處理器(digital signal processor,dsp)、嵌入式設備等。
179.所述計算機設備可以是桌上型計算機、筆記本、掌上電腦及云端服務器等計算設備。所述計算機設備可以與用戶通過鍵盤、鼠標、遙控器、觸摸板或聲控設備等方式進行人機交互。
180.所述存儲器41至少包括一種類型的可讀存儲介質,所述可讀存儲介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如,sd或d界面顯示存儲器等)、隨機訪問存儲器(ram)、靜態隨機訪問存儲器(sram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、可編程只讀存儲器(prom)、磁性存儲器、磁盤、光盤等。在一些實施例中,所述存儲器41可以是所述計算機設備4的內部存儲單元,例如該計算機設備4的硬盤或內存。在另一些實施例中,所述存儲器41也可以是所述計算機設備4的外部存儲設備,例如該計算機設備4上配備的插接式硬盤,智能存儲卡(smart media card,smc),安全數字(secure digital,sd)卡,閃存卡(flash card)等。當然,所述存儲器41還可以既包括所述計算機設備4的內部存儲單元也包括其外部存儲設備。本實施例中,所述存儲器41通常用于存儲安裝于所述計算機設備4的操作系統和各類應用軟件,例如電子文件的控制的程序代碼等。此外,所述存儲器41還可以用于暫時地存儲已經輸出或者將要輸出的各類數據。
181.所述處理器42在一些實施例中可以是中央處理器(central processing unit,cpu)、控制器、微控制器、微處理器、或其他數據處理芯片。該處理器42通常用于控制所述計算機設備4的總體操作。本實施例中,所述處理器42用于運行所述存儲器41中存儲的程序代碼或者處理數據,例如運行電子文件的控制的程序代碼。
182.所述網絡接口43可包括無線網絡接口或有線網絡接口,該網絡接口43通常用于在所述計算機設備4與其他電子設備之間建立通信連接。
183.本技術還提供了另一種實施方式,即提供一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有界面顯示程序,所述界面顯示程序可被至少一個處理器執行,以使所述至少一個處理器執行如上述的行人重識別方法的步驟。
184.通過以上的實施方式的描述,本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現,當然也可以通過硬件,但很多情況下前者是更佳的實施方式。基于這樣的理解,本技術的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來,該計算機軟件產品存儲在一個存儲介質(如rom/ram、磁碟、光盤)中,包括若干指令用以使得一臺終端設備(可以是手機,計算機,服務器,空調器,或者網絡設備等)執行本技術各個實施例所述的方法。
185.顯然,以上所描述的實施例僅僅是本技術一部分實施例,而不是全部的實施例,附圖中給出了本技術的較佳實施例,但并不限制本技術的專利范圍。本技術可以以許多不同的形式來實現,相反地,提供這些實施例的目的是使對本技術的公開內容的理解更加透徹全面。盡管參照前述實施例對本技術進行了詳細的說明,對于本領域的技術人員來而言,其依然可以對前述各具體實施方式所記載的技術方案進行修改,或者對其中部分技術特征進行等效替換。凡是利用本技術說明書及附圖內容所做的等效結構,直接或間接運用在其他相關的技術領域,均同理在本技術專利保護范圍之內。
技術特征:
1.一種行人重識別方法,其特征在于,所述行人重識別方法包括:獲取待識別圖像,并將所述待識別圖像輸入行人重識別模型,其中,所述行人重識別模型包括主干網絡和光照感知網絡,所述主干網絡包括n+2個卷積層,所述光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,所述i的取值范圍為(1,n)且所述i為正整數;基于所述主干網絡的第一個卷積層,對所述待識別圖像進行特征提取,得到第一特征圖,并將所述主干網絡的第二個卷積層作為當前卷積層;采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖;采用與所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行感知處理,得到感知特征圖;當所述當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將所述第二特征圖作為第一特征圖,所述當前卷積層對應的下一層卷積層作為當前卷積層,并返回所述采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行;當所述當前卷積層對應的下一層卷積層為最后一層卷積層時,則對所述第二特征圖進行卷積計算,得到第三特征圖;基于所有所述感知特征圖和所述第三特征圖,對所述待識別圖像進行重識別處理,得到行人重識別結果。2.如權利要求1所述的行人重識別方法,其特征在于,在所述獲取待識別圖像,并將所述待識別圖像輸入行人重識別模型的步驟之前,所述方法包括:獲取行人圖像集;基于殘差網絡,采用所述行人圖像集中的行人圖像對初始化主干網絡進行預訓練,得到預訓練主干網絡;基于注意力算法,構建初始化光照感知網絡;基于所述預訓練主干網絡和所述初始化光照感知網絡,構建初始化行人重識別模型;基于預設的數據增強方式,對所述行人圖像集中的行人圖像進行數據增強,得到訓練圖像集;根據所述訓練圖像集,對所述初始化行人重識別模型進行訓練,得到行人重識別模型。3.如權利要求2所述的行人重識別方法,其特征在于,所述基于預設的數據增強方式,對所述行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括:從所述行人圖像集中抽取出預設數量的行人圖像作為待增強圖像,并將所有所述待增強圖像加入待增強圖像集合中;基于直方圖算法,依次對所述待增強圖像集合選取出的待增強圖像進行亮度處理,得到所述待增強圖像對應的增強結果;對所有所述待增強圖像和所述待增強圖像對應的增強結果進行匯總,得到訓練圖像集。4.如權利要求2所述的行人重識別方法,其特征在于,所述基于預設的數據增強方式,對所述行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括:基于預設的圖像分割方式,對所述行人圖像集中的行人圖像進行圖像分割,得到每一張所述行人圖像對應的分割結果,其中,所述分割結果包括前景區域圖像和背景區域圖像;
針對每一張所述行人圖像,采用高斯分布分別對所述行人圖像對應的前景區域圖像和背景區域圖像進行亮度調整,得到所述前景區域圖像對應的前景調整圖像和所述背景區域圖像對應的背景調整圖像;針對每一張所述行人圖像,將所述前景調整圖像和所述背景調整圖像進行組合,得到所述行人圖像對應的曝光圖像;對所有所述曝光圖像進行光源篩選,并將通過光源篩選的曝光圖像對應的行人圖像加入訓練圖像集中。5.如權利要求2所述的行人重識別方法,其特征在于,所述基于預設的數據增強方式,對所述行人圖像集中的行人圖像進行數據增強,得到訓練圖像集的步驟包括:基于生成對抗網絡算法,確定預訓練網絡;采用所述預訓練網絡對所述行人圖像集進行訓練,得到有光源遷移模型;基于所述有光源遷移模型,對所述行人圖像集中的行人圖像進行數據增強,得到訓練圖像集。6.如權利要求1所述的行人重識別方法,其特征在于,所述采用與所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行感知處理,得到感知特征圖的步驟包括:基于所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行卷積計算,得到第四特征圖和第五特征圖;對所述第五特征圖進行池化、全連接處理,得到全連接特征圖;將所述全連接特征圖和所述第四特征圖進行乘積計算,得到融合特征圖;將所述第二特征圖和所述融合特征圖進行融合處理,得到感知特征圖。7.一種行人重識別裝置,其特征在于,所述行人重識別裝置包括:待識別圖像獲取模塊,用于獲取待識別圖像,并將所述待識別圖像輸入行人重識別模型,其中,所述行人重識別模型包括主干網絡和光照感知網絡,所述主干網絡包括n+2個卷積層,所述光照感知網絡包括n個光照感知模塊,第i+1個卷積層與第i個光照感知模塊連接,所述i的取值范圍為(1,n)且所述i為正整數;第一特征圖獲取模塊,用于基于所述主干網絡的第一個卷積層,對所述待識別圖像進行特征提取,得到第一特征圖,并將所述主干網絡的第二個卷積層作為當前卷積層;第二特征圖獲取模塊,用于采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖;感知特征圖獲取模塊,用采用與所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行感知處理,得到感知特征圖;循環模塊,用于當所述當前卷積層對應的下一層卷積層不是最后一層卷積層時,則將所述第二特征圖作為第一特征圖,所述當前卷積層對應的下一層卷積層作為當前卷積層,并返回所述采用所述當前卷積層對所述第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行;第三特征圖獲取模塊,用于當所述當前卷積層對應的下一層卷積層為最后一層卷積層時,則對所述第二特征圖進行卷積計算,得到第三特征圖;行人重識別模塊,用于基于所有所述感知特征圖和所述第三特征圖,對所述待識別圖像進行重識別處理,得到行人重識別結果。
8.如權利要求7所述的行人重識別裝置,其特征在于,所述感知特征圖獲取模塊包括:卷積單元,用于基于所述當前卷積層連接的光照感知模塊,對所述第二特征圖進行卷積計算,得到第四特征圖和第五特征圖;全連接單元,用于對所述第五特征圖進行池化、全連接處理,得到全連接特征圖;乘積單元,用于將所述全連接特征圖和所述第四特征圖進行乘積計算,得到融合特征圖;感知特征圖獲取單元,用于將所述第二特征圖和所述融合特征圖進行融合處理,得到感知特征圖。9.一種計算機設備,包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序,其特征在于,所述處理器執行所述計算機程序時實現如權利要求1至6任一項所述的行人重識別方法。10.一種計算機可讀存儲介質,所述計算機可讀存儲介質存儲有計算機程序,其特征在于,所述計算機程序被處理器執行時實現如權利要求1至6任一項所述的行人重識別方法。
技術總結
本發明公開了一種行人重識別方法、裝置、計算機設備及存儲介質,所述方法包括:獲取待識別圖像;基于主干網絡對待識別圖像進行特征提取,得到第一特征圖,采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖;對第二特征圖進行感知處理,得到感知特征圖;當下一層卷積層不是最后一層卷積層時,則將第二特征圖作為第一特征圖,當前卷積層對應的下一層卷積層作為當前卷積層,并返回采用當前卷積層對第一特征圖進行特征提取,得到第二特征圖的步驟繼續執行;否則對第二特征圖進行卷積計算得到第三特征圖;基于感知特征圖和第三特征圖對待識別圖像進行重識別處理,得到行人重識別結果,采用本發明提高不同光照影響下的行人重識別準確率。別準確率。別準確率。
