圖像背景特征提取方法、裝置、設備及介質與流程
1.本發明涉及人工智能技術領域，尤其涉及一種圖像背景特征提取方法、裝置、設備及介質。
背景技術：
2.在業務過程中需要分析客戶提交的自拍圖像，自拍圖像主要包含有人像部分和背景部分，從圖像中提取背景信息來分析客戶的信息。
3.通常，現有技術中對圖像進行人像分割，對圖像的人像部分的數值統一置位為0，去除人像部分的像素信息，但圖像中仍然保留有人像部分的位置信息，當cnn模型對分割后圖像進行特征提取時，受人像部分在圖像中的面積占比較大和人像部分的位置信息的影響和干擾，使得cnn模型的網絡卷積核不能準確提取到圖像的背景特征。
技術實現要素：
4.鑒于以上內容，本發明提供一種圖像背景特征提取方法、裝置、設備及介質，其目的在于解決現有技術中對圖像背景特征提取準確率低的技術問題。
5.為實現上述目的，本發明提供一種圖像背景特征提取方法，該方法包括：
6.利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖；
7.對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 x n2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域；
8.對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽；
9.將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
10.優選的，所述利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，包括：
11.對所述待處理圖像進行特征提取，得到所述待處理圖像的特征圖；
12.根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜。
13.優選的，所述根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜，包括：
14.對所述特征圖進行上采樣處理，擴充所述特征圖至預設分辨率得到擴充特征圖；
15.根據所述人像區域取選框，區分所述擴充特征圖的每一個像素得到所述特征圖的
人像部分并進行分割，根據分割的人像部分生成所述待處理圖像的人像掩膜。
16.優選的，所述對所述人像分割圖進行填充得到填充圖像，包括：
17.讀取所述人像分割圖的各邊長的數值，選取數值最大的一條邊；
18.以所述選取的邊對所述人像分割圖參照預設正方框按比例進行縮放，以使所述選取的邊的邊長等于所述預設正方框的邊長；
19.對所述人像分割圖未超過預設正方框的區域進行圖像填充，得到所述填充圖像。
20.優選的，所述對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，包括：
21.提取所述非背景掩膜的每個小區塊的特征進行矩陣計算得到非背景注意力掩膜；
22.及提取所述人像填充分割圖的每個小區塊的特征生成所述分割圖矩陣；
23.讀取所述掩膜矩陣的每個元素和所述分割圖矩陣的每個元素進行矩陣相乘生成所述自注意力矩陣。
24.優選的，所述根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽，包括：
25.根據所述非背景自注意力掩膜，對所述人像填充分割圖的每個小區塊之間的關聯性進行判斷；
26.若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽。
27.優選的，在所述若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽之后，該方法包括：
28.若判斷兩兩為一組的小區塊的數值同時小于預設值，則將所述兩兩為一組的小區塊作為非背景區域并標記為非關注標簽。
29.為實現上述目的，本發明還提供一種圖像背景特征提取裝置，所述裝置包括：
30.分割模塊：用于利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖；
31.排序模塊：用于對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 x n2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域；
32.標記模塊：用于對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽；
33.輸出模塊：用于將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
34.為實現上述目的，本發明還提供一種電子設備，所述電子設備包括：
35.至少一個處理器；以及，
36.與所述至少一個處理器通信連接的存儲器；其中，
37.所述存儲器存儲有可被所述至少一個處理器執行的程序，所述程序被所述至少一個處理器執行，以使所述至少一個處理器能夠執行如權利要求1至7中任一項所述圖像背景特征提取方法。
38.為實現上述目的，本發明還提供一種計算機可讀介質，所述計算機可讀介質存儲有圖像背景特征，所述圖像背景特征被處理器執行時，實現如權利要求1至7中任一項所述圖像背景特征提取方法的步驟。
39.本發明對待處理圖像進行分割得到人像掩膜和人像分割圖，對人像分割圖進行填充和分割處理后，得到人像填充分割圖，對人像填充分割圖的每個小區塊展開成一維形狀生成非背景掩膜。利用人像填充分割圖分割成的多個小區塊，解決了現有技術中人像部分在圖像中的面積占比較大的問題，讓預設自注意力模型能夠對每個像素點區域進行有效的分辨和分析。
40.對人像填充分割圖生成分割圖矩陣，對非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據非背景自注意力掩膜和分割圖矩陣生成自注意力矩陣，根據非背景自注意力掩膜，背景區域的小區塊兩兩為一組標記關注標簽，根據關注標簽對人像填充分割圖的非背景區域的位置信息進行屏蔽，使得人像部分在待處理圖像的位置信息不能夠干擾背景區域的特征提取，提高了預設自注意力模型對待處理圖像的背景區域的特征的準確率。
附圖說明
41.圖1為本發明圖像背景特征提取方法較佳實施例的流程圖示意圖；
42.圖2為本發明圖像背景特征提取裝置較佳實施例的模塊示意圖；
43.圖3為本發明電子設備較佳實施例的示意圖；
44.本發明目的實現、功能特點及優點將結合實施例，參照附圖做進一步說明。
具體實施方式
45.為了使本發明的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本發明進行進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。基于本發明中的實施例，本領域普通技術人員在沒有做出創造性勞動前提下所獲得的所有其他實施例，都屬于本發明保護的范圍。
46.本發明實施例可以基于人工智能技術對相關的數據進行獲取和處理。其中，人工智能(artificialintelligence，ai)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。
47.人工智能基礎技術一般包括如傳感器、專用人工智能芯片、云計算、分布式存儲、大數據處理技術、操作/交互系統、機電一體化等技術。人工智能軟件技術主要包括計算機視覺技術、機器人技術、生物識別技術、語音處理技術、自然語言處理技術以及機器學習/深度學習等幾大方向。
48.本發明提供一種圖像背景特征提取方法。參照圖1所示，為本發明圖像背景特征提取方法的實施例的方法流程示意圖。該方法可以由一個電子設備執行，該電子設備可以由軟件和/或硬件實現。圖像背景特征提取方法包括以下步驟s10-s40：
49.步驟s10：利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖。
50.本實施例，為了滿足準確提取出待處理圖像的背景信息的需求，將待處理圖像輸入預設分割模型進行分割，預設分割模型是指預先訓練好的人像分割模型(maskregion-cnn)，是一種將深度學習應用到目標檢測上的算法模型。待處理圖像是指包含有目標物和背景的圖像。目標物包括但不限于人像、動物等，背景是指在待處理圖像中襯托目標物的要素或景物。
51.通過預設分割模型對待處理圖像的分割后，得到待處理圖像的背景部分和人像部分，雖然背景部分和人像部分已經分割開，但背景部分和人像部分之間還存在位置信息的關聯性，這種關聯性會影響對人像部分或背景部分的特征提取，容易導致分析出來的數據準確率低。
52.提取人像部分的特征生成待處理圖像的人像掩膜，將人像掩膜對準在待處理圖像的人像部分的位置進行合并得到人像分割圖，也就是說，為了待處理圖像的人像部分不能參與提取特征的處理，利用人像掩膜的屏蔽性將待處理圖像的人像部分進行圖像填充(例如，圖像填充將人像部分統一填充為黑)。其實，掩膜就是二維矩陣數組。人像掩膜是指將人像部分框選出來并進行屏蔽，使人像部分不參加處理參數的計算，減少圖像處理過程的程序，便于提高對圖像處理的處理效率。
53.在一個實施例中，所述利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，包括：
54.對所述待處理圖像進行特征提取，得到所述待處理圖像的特征圖；
55.根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜。
56.讀取待處理圖像的特征參數(n
×h×
w)輸入預設分割模型，根據預設分割模型的特征分割模塊對該特征參數處理，輸出待處理圖像的特征圖，該待處理圖像的特征圖包括n'
×
h'
×
w'。其中，n表示待處理圖像的圖像通道數，h表示待處理圖像的高，w表示待處理圖像的寬，n'表示特征圖的通道數，h'表示特征圖的高，w'表示特征圖的寬，通常，h'小于h，w'小于w。該特征分割模塊的具體結構可選用vgg網絡、深度殘差網絡(deepresidualnetwork-resnet)等網絡提取結構。
57.預設人像區域取選框是基于采用區域網絡(例如，regionproposalnet-rpn網絡)對預設數量的特征圖的正樣本和負樣本進行切片，訓練好的錨框標簽。該錨框標簽能夠自動識別圖像中人像部分的真實邊框并分割出人像部分。也可以采用基于區域候選提取的其它網絡，本技術實施例對人像區域取選框的提取網絡不作限制，只要能在特征圖中提取出人像區域取選框即可。利用人像區域取選框對待處理圖像的人像部分進行分割，得到待處理圖像的人像掩膜。
58.在一個實施例中，所述根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜，包括：
59.對所述特征圖進行上采樣處理，擴充所述特征圖至預設分辨率得到擴充特征圖；
60.根據所述人像區域取選框，區分所述擴充特征圖的每一個像素得到所述特征圖的人像部分并進行分割，根據分割的人像部分生成所述待處理圖像的人像掩膜。
61.對特征圖進行上采樣處理包括：根據區域網絡的反卷積，將特征圖的分辨率擴充至預設分辨率(例如預設分辨率為1920或2k)。
62.根據人像區域取選框，對擴充特征圖的每一個像素的灰度值的差值和harr特征(區域像素和特征)區分出人像部分并進行分割，讀取分割的人像部分輸入的張量與預設分割模型的核張量(kernel)的每個元素逐個相乘，放在對應矩陣位置上進行特征映射，生成待處理圖像的人像掩膜。為了更好檢測區分人像部分和背景部分，提取人像掩膜的細分到每一個像素，有利于背景特征的提取的準確率。
63.在利用上述預設分割模型對待處理圖像進行對待處理圖像進行分割之前，要預先建立特征分割模塊，然后利用樣本圖像對其進行訓練，最后利用訓練完畢的特征分割模塊對待處理圖像進行特征提取，以獲得相應的特征圖。
64.步驟s20：對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 xn2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域。
65.本實施例，在對人像分割圖進行填充得到填充圖像之前，要提前預設正方框為參考物，對人像分割圖按比例進行縮放以達到預設正方框的尺寸。預設正方框的尺寸為滿足邊長能整除16，本發明為了舉例方便說明，將預設正方框的尺寸設為224x224像素，及相關的實施例中也以預設正方框的尺寸設為224x224像素的基礎展開的，但不作為對預設正方框的尺寸的限定。若人像分割圖為正方形，直接對人像分割圖按比例進行縮放以達到預設正方框的尺寸即可。但在實際場景中，大部分的自拍圖像是16:9的格式，若判斷人像分割圖為長方形，則對不滿足預設正方框的區域進行圖像填充(例如，圖像填充將未超過預設正方框的區域統一填充為黑)，將填充好的區域與人像分割圖進行合并，得到填充圖像，即，得到的填充圖像的尺寸也為224x224像素，填充圖像包含有填充好的區域和人像分割圖的兩部分。
66.將填充圖像進行n x n次的分割,n為正整數，n x n次的分割相對非對稱的分割，更加利于模型的編碼器encode與解碼器decode的分析處理。例如，填充圖像的尺寸分別除以16，相當于14x14次分割，將填充圖像不重疊分割成196個小區塊，每個小區塊為16x16像素，每個小區塊還包含有rgb這3種顏通道數，也就是說，每個小區塊的總像素為(16x16x3像素)，根據這196個小區塊的圖像得到人像填充分割圖，根據自注意力網絡，再將人像填充分割圖的196個小區塊在人像分割圖中位置從左到右、從上到下的順序進行排序展開為1xn2的一維形狀(1，196，16x16x3像素)生成非背景掩膜(1，196)。若16x16區塊為填充區域或人像區域，則非背景掩膜對應位置數值為0的元素，否則為1的元素。非背景掩膜是指指將人像部分和后面統一格式的填充部分并進行屏蔽，使人像部分和填充部分不參加處理參數的計算，減少圖像處理過程的程序，便于提高對圖像處理的處理效率。即，在人像填充分割圖中除了非背景掩膜以外的區域都是背景區域。人像填充分割圖包含有背景區域、非背景區域，非背景區域包含有人像區域和填充區域。
67.為了解決現有技術中，非背景區域在待處理圖像的面積占比較大，cnn模型的網絡卷積核不能準確提取到圖像的背景特征的問題，本發明將填充圖像不重疊分割成196個小區塊，每個小區塊為16x16像素，每個小區塊還包含有rgb這3種顏通道數，能夠讓網絡分辨每個像素點代表的區域，對提取非背景區域的特征有更高的準確率。
68.在一個實施例中，所述對所述人像分割圖進行填充得到填充圖像，包括：
69.讀取所述人像分割圖的各邊長的數值，選取數值最大的一條邊；
70.以所述選取的邊對所述人像分割圖參照預設正方框按比例進行縮放，以使所述選取的邊的邊長等于所述預設正方框的邊長；
71.對所述人像分割圖未超過預設正方框的區域進行圖像填充，得到所述填充圖像。
72.讀取人像分割圖的高度和寬度并比對大小，選取數值(例如，數值的單位為像素)最大的一條邊，若長方形的高度大于寬度，則對人像分割圖按比例進行縮放，以使該長方形的高度等于預設正方框的邊長，對人像分割圖未超過預設正方框的區域進行圖像填充(例如，圖像填充將未超過預設正方框的區域統一填充為黑)，得到填充圖像，使得待處理圖像的高度和寬度分別達到224x224像素。為了對每張待處理圖像在輸入模型提取特征時，將待處理圖像統一格式，可以提高模型識別效率和減少提取特征的時間，也是提高大批量地對待處理圖像的處理時間。
73.步驟s30：對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽。
74.本實施例，在得到非背景自注意力掩膜(1，196，196)后，非背景自注意力掩膜對人像填充分割圖的196個小區塊之間關聯性進行判斷，從而確定哪兩個小區塊需要標記關注標簽，和哪兩個小區塊需要標記非關注標簽。非背景自注意力掩膜中數值為1的元素所對應的行和列的兩個小區塊需要關注關聯性，數值為0的元素所對應的行和列的兩個小區塊不需要關注關聯性。
75.在一個實施例中，所述對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，包括：
76.提取所述非背景掩膜的每個小區塊的特征進行矩陣計算得到非背景注意力掩膜；
77.及提取所述人像填充分割圖的每個小區塊的特征生成所述分割圖矩陣；
78.讀取所述掩膜矩陣的每個元素和所述分割圖矩陣的每個元素進行矩陣相乘生成所述自注意力矩陣。
79.提取非背景掩膜的每個小區塊的特征進行矩陣計算得到非背景注意力掩膜，非背景掩膜的特征是指在196個小區塊中哪些區塊是背景區域，哪些區塊是非背景區域。提取人像填充分割圖的特征(1，196，16x16x3像素)生成分割圖矩陣，人像填充分割圖的特征值是指1維度的196個小區塊，每個小區塊的像素16x16x3。3代表每個小區塊還包含有rgb這3種顏通道數。
80.根據非背景自注意力掩膜的二維矩陣數組得到掩膜矩陣，讀取掩膜矩陣的每個元素和分割圖矩陣的每個元素進行矩陣相乘生成自注意力矩陣，具體包括：根據矩陣的計算單元，將分割圖矩陣進行矩陣計算，建立特征之間的關系，得到注意力矩陣。根據注意力矩陣的點乘單元，對分割圖矩陣得到自注意力矩陣和掩膜矩陣對應位置的數值進行相乘，將每個對應位置的數值相乘的積輸入該注意力矩陣，得到(1，196，196像素)自注意力矩陣。該自注意力矩陣的作用是利用矩陣的query(giver)和key(receiver)的內積除以其維度的平
方根，每個小區塊通過query來匹配作為注意力的目標小區塊的key，從而對所有小區塊產生注意力。
81.在一個實施例中，所述根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽，包括：
82.根據所述非背景自注意力掩膜，對所述人像填充分割圖的每個小區塊之間的關聯性進行判斷；
83.若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽。
84.在一個實施例中，在所述若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽之后，該方法包括：
85.若判斷兩兩為一組的小區塊的數值同時小于預設值，則將所述兩兩為一組的小區塊作為非背景區域并標記為非關注標簽。
86.根據非背景自注意力掩膜，對所有(196個)的小區塊之間的關聯性進行判斷，對于關聯性的判斷規則為：兩個小區塊的數值的元素會存在以下四種情況(0，0)或(0，1)或(1，1)或(1，0)，其中，(0，0)代表人像區域與人像區域(例如，一張待處理圖像包含有多個人像)、人像區域與填充區域，(0，1)代表人像區域與背景區域、填充區域與背景區域。兩個區域是指不用區分區域的相鄰關系，指任意兩個區域相隔很遠或很近都會建立關聯，非背景與背景區域建立的關聯(0，1)以及背景區域建立的關聯(0，0)都標記為非關注，標記為非關注標簽的區域不需要關注，網絡不需要對其學習。
87.步驟s40：將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
88.本實施例，預設自注意力模型包含多個自注意力模塊和輸出全連接層，每個自注意力模塊包括由三個全連接線性單元、第一矩陣計算單元、點乘單元、softmax單元組成的第一特征網絡，及由第二矩陣計算單元、第一全連接單元、激活單元、第二全連接單元、歸一化單元組成的第二特征網絡，自注意力矩陣和分割圖矩陣分別經過第一特征網絡、第二特征網絡進行特征計算后，再輸入輸出全連接層參與處理。
89.以第一自注意力模塊舉例說明，在自注意力矩陣與人像填充分割圖輸入第一自注意力模塊的第一特征網絡后，將人像填充分割圖的特征(1，196，16x16x3像素)復制成三份，每份的特征為(1，196，16x16x3像素)，第一份特征輸入第一全連接線性單元進行特征維度改變(例如壓縮和擴展)，輸出特征為(1，196，512)，第二份特征輸入第二全連接線性單元進行特征維度改變，輸出特征為(1，512，196)，將特征為(1，196，512)與特征為(1，512，196)輸入第一矩陣計算單元進行矩陣運算，建立特征之間的關系得到注意力矩陣(1，196，196)，根據點乘單元對注意力矩陣(1，196，196)和自注意力矩陣(1，196，196)對應位置元素進行相乘，輸出與輸入的矩陣大小一致的矩陣(1，196，196)。
90.在本實施例中，根據關注標簽，運行softmax單元的函數對輸出矩陣(1，196，196)各個位置的相對注意力值進行計算，只對矩陣相乘的結果中提取所有數值為1的元素在人像填充分割圖中對應的小區塊的特征進行計算，得到第一輸出結果(1，196，512)。
91.在其他實施例中，還可以根據非關注標簽，運行softmax單元的函數對輸出矩陣
(1，196，196)各個位置的相對注意力值進行計算，對矩陣相乘的結果中提取所有數值為0的元素在人像填充分割圖中對應的小區塊的特征進行忽略計算，從而忽略該小區塊的注意力值，實現對人像填充分割圖的非背景區域的位置信息進行屏蔽，只對為1的數值對應的小區塊的特征進行計算，得到第一輸出結果(1，196，512)。也就是說，可以選擇關注標簽或非關注標簽對其對應的區域進行提取或屏蔽。
92.在第一自注意力模塊的第二特征網絡中，將第一輸出結果與復制的第三份的特征輸入第三全連接線性單元的結果輸入第二矩陣計算單元對，得到第二輸出結果(1，196，512)，將第二輸出結果再輸入第一全連接單元、激活單元、第二全連接單元、歸一化單元中處理得到人像填充分割圖的處理后矩陣(1，196，786)，其中，激活單元對輸入的第二輸出結果進行非線性處理，及歸一化單元中處理輸入的第二輸出結果進行歸一化操作，改變輸入的分布，使得網絡更容易學習，不改變輸入的第二輸出結果的矩陣大小。
93.最后，將第一自注意力模塊輸出的人像填充分割圖的處理后矩陣(1，196，786)和注意力矩陣(1，196，196)，再輸入第二自注意力模塊至最后一個自注意力模塊，執行上述第一自注意力模塊的第一特征網絡、第二特征網絡的所有處理步驟，最后通過輸出全連接層輸出為待處理圖像的背景區域的特征(1，512)。
94.在利用上述預設自注意力模型提取背景區域的特征之前，通過深度學習框架搭建自注意力模型的深度網絡結構，通過收集的自拍圖像數據集訓練深度學習網絡模型，直自注意力模型型收斂。自注意力模型輸入為經過預處理步驟后的人像填充分割圖(1，196，786)786＝16x16x3(像素點)，輸出為(1，512)維特征。
95.本發明對待處理圖像的背景特征提取的技術構思為：將待處理圖像統一尺寸格式化，將待處理圖像進行填充、分割等處理，得到人像填充分割圖，對人像填充分割圖的每個小區塊展開成一維形狀生成非背景掩膜。利用人像填充分割圖分割成的多個小區塊，解決了現有技術中人像部分在圖像中的面積占比較大的問題，讓預設自注意力模型能夠對每個像素點區域進行有效的分辨和分析。
96.對人像填充分割圖生成分割圖矩陣，對非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據非背景自注意力掩膜和分割圖矩陣生成自注意力矩陣，根據非背景自注意力掩膜，背景區域的小區塊兩兩為一組標記關注標簽，根據關注標簽對人像填充分割圖的非背景區域的位置信息進行屏蔽，使得人像部分在待處理圖像的位置信息不能夠干擾背景區域的特征提取，提高了預設自注意力模型對待處理圖像的背景區域的特征的準確率。
97.而本發明沒有采用現有技術中cnn模型來提取特征，避免了cnn模型對每個小區塊的關注判斷性不夠準確的問題，主要通過對背景區域和非背景區域標記標簽，讓預設自注意力模型只對關注標簽的區域提取特征，對非關注標簽的區域的位置信息進行屏蔽。
98.參照圖2所示，為本發明圖像背景特征提取裝置100的功能模塊示意圖。
99.本發明所述圖像背景特征提取裝置100可以安裝于電子設備中。根據實現的功能，所述圖像背景特征提取裝置100可以包括分割模塊110、分割模塊20、標記模塊130及輸出模塊140。本發所述模塊也可以稱之為單元，是指一種能夠被電子設備處理器所執行，并且能夠完成固定功能的一系列計算機程序段，其存儲在電子設備的存儲器中。
100.本實施例，關于各模塊/單元的功能如下：
101.分割模塊110：用于利用預設分割模型對待處理圖像進行分割，得到所述待處理圖
像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖；
102.排序模塊120：用于對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 xn2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域；
103.標記模塊130：用于對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽；
104.輸出模塊140：用于將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
105.在一個實施例中，所述利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，包括：
106.對所述待處理圖像進行特征提取，得到所述待處理圖像的特征圖；
107.根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜。
108.在一個實施例中，所述根據預設人像區域取選框對所述特征圖的人像部分進行分割，得到所述人像掩膜，包括：
109.對所述特征圖進行上采樣處理，擴充所述特征圖至預設分辨率得到擴充特征圖；
110.根據所述人像區域取選框，區分所述擴充特征圖的每一個像素得到所述特征圖的人像部分并進行分割，根據分割的人像部分生成所述待處理圖像的人像掩膜。
111.在一個實施例中，所述對所述人像分割圖進行填充得到填充圖像，包括：
112.讀取所述人像分割圖的各邊長的數值，選取數值最大的一條邊；
113.以所述選取的邊對所述人像分割圖參照預設正方框按比例進行縮放，以使所述選取的邊的邊長等于所述預設正方框的邊長；
114.對所述人像分割圖未超過預設正方框的區域進行圖像填充，得到所述填充圖像。
115.在一個實施例中，所述對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，包括：
116.提取所述非背景掩膜的每個小區塊的特征進行矩陣計算得到非背景注意力掩膜；
117.及提取所述人像填充分割圖的每個小區塊的特征生成所述分割圖矩陣；
118.讀取所述掩膜矩陣的每個元素和所述分割圖矩陣的每個元素進行矩陣相乘生成所述自注意力矩陣。
119.在一個實施例中，所述根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽，包括：
120.根據所述非背景自注意力掩膜，對所述人像填充分割圖的每個小區塊之間的關聯性進行判斷；
121.若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽。
122.在一個實施例中，在所述若判斷兩兩為一組的小區塊的數值同時大于或等于預設值，則將所述兩兩為一組的小區塊作為背景區域并標記為關注標簽之后，該方法包括：
123.若判斷兩兩為一組的小區塊的數值同時小于預設值，則將所述兩兩為一組的小區塊作為非背景區域并標記為非關注標簽。
124.參照圖3所示，為本發明電子設備1較佳實施例的示意圖。
125.該電子設備1包括但不限于：存儲器11、處理器12、顯示器13及網絡接口14。所述電子設備1通過網絡接口14連接網絡，獲取原始數據。其中，所述網絡可以是企業內部網(intranet)、互聯網(internet)、全球移動通訊系統(globalsystemofmobilecommunication，gsm)、寬帶碼分多址(widebandcodedivisionmultipleaccess，wcdma)、4g網絡、5g網絡、藍牙(bluetooth)、wi-fi、通話網絡等無線或有線網絡。
126.其中，存儲器11至少包括一種類型的可讀介質，所述可讀介質包括閃存、硬盤、多媒體卡、卡型存儲器(例如，sd或dx存儲器等)、隨機訪問存儲器(ram)、靜態隨機訪問存儲器(sram)、只讀存儲器(rom)、電可擦除可編程只讀存儲器(eeprom)、可編程只讀存儲器(prom)、磁性存儲器、磁盤、光盤等。在一些實施例中，所述存儲器11可以是所述電子設備1的內部存儲單元，例如該電子設備1的硬盤或內存。在另一些實施例中，所述存儲器11也可以是所述電子設備1的外部存儲設備，例如該電子設備1配備的插接式硬盤，智能存儲卡(smartmediacard，smc)，安全數字(securedigital，sd)卡，閃存卡(flashcard)等。當然，所述存儲器11還可以既包括所述電子設備1的內部存儲單元也包括其外部存儲設備。本實施例中，存儲器11通常用于存儲安裝于所述電子設備1的操作系統和各類應用軟件，例如圖像背景特征提取10的程序代碼等。此外，存儲器11還可以用于暫時地存儲已經輸出或者將要輸出的各類數據。
127.處理器12在一些實施例中可以是中央處理器(centralprocessingunit，cpu)、控制器、微控制器、微處理器、或其他數據處理芯片。該處理器12通常用于控制所述電子設備1的總體操作，例如執行數據交互或者通信相關的控制和處理等。本實施例中，所述處理器12用于運行所述存儲器11中存儲的程序代碼或者處理數據，例如運行圖像背景特征提取10的程序代碼等。
128.顯示器13可以稱為顯示屏或顯示單元。在一些實施例中顯示器13可以是led顯示器、液晶顯示器、觸控式液晶顯示器以及有機發光二極管(organiclight-emittingdiode，oled)觸摸器等。顯示器13用于顯示在電子設備1中處理的信息以及用于顯示可視化的工作界面，例如顯示數據統計的結果。
129.網絡接口14可選地可以包括標準的有線接口、無線接口(如wi-fi接口)，該網絡接口14通常用于在所述電子設備1與其它電子設備之間建立通信連接。
130.圖3僅示出了具有組件11-14以及圖像背景特征提取10的電子設備1，但是應理解的是，并不要求實施所有示出的組件，可以替代的實施更多或者更少的組件。
131.可選地，所述電子設備1還可以包括用戶接口，用戶接口可以包括顯示器(display)、輸入單元比如鍵盤(keyboard)，可選的用戶接口還可以包括標準的有線接口、無線接口。可選地，在一些實施例中，顯示器可以是led顯示器、液晶顯示器、觸控式液晶顯示器以及有機發光二極管(organiclight-emittingdiode，oled)觸摸器等。其中，顯示器也可以適當的稱為顯示屏或顯示單元，用于顯示在電子設備1中處理的信息以及用于顯示可
視化的用戶界面。
132.該電子設備1還可以包括射頻(radiofrequency，rf)電路、傳感器和音頻電路等等，在此不再贅述。
133.在上述實施例中，處理器12執行存儲器11中存儲的圖像背景特征提取10時可以實現如下步驟：
134.利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖；
135.對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 xn2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域；
136.對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽；
137.將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
138.所述存儲設備可以為電子設備1的存儲器11，也可以為與電子設備1通訊連接的其它存儲設備。
139.關于上述步驟的詳細介紹，請參照上述圖2關于圖像背景特征提取裝置100實施例的功能模塊圖以及圖1關于圖像背景特征提取方法實施例的流程圖的說明。
140.此外，本發明實施例還提出一種計算機可讀介質，所述計算機可讀介質可以是非易失性的，也可以是易失性的。該計算機可讀介質可以是硬盤、多媒體卡、sd卡、閃存卡、smc、只讀存儲器(rom)、可擦除可編程只讀存儲器(eprom)、便攜式緊致盤只讀存儲器(cd-rom)、usb存儲器等等中的任意一種或者幾種的任意組合。所述計算機可讀介質中包括存儲數據區和存儲程序區，存儲數據區存儲根據區塊鏈節點的使用所創建的數據，存儲程序區存儲有圖像背景特征10，所述圖像背景特征提取10被處理器執行時實現如下操作：
141.利用預設分割模型對待處理圖像進行分割，得到所述待處理圖像的人像掩膜，合并所述人像掩膜與所述待處理圖像得到人像分割圖；
142.對所述人像分割圖進行填充得到填充圖像，分割所述填充圖像得到n x n個小區塊的人像填充分割圖，將所述n x n個小區塊展開成1 xn2的非背景掩膜，所述人像填充分割圖包含有背景區域、非背景區域；
143.對所述非背景掩膜進行矩陣計算得到非背景自注意力掩膜，根據所述非背景自注意力掩膜對應的掩膜矩陣和所述人像填充分割圖對應的分割圖矩陣生成自注意力矩陣，根據所述非背景自注意力掩膜，對所述背景區域的小區塊兩兩為一組標記關注標簽；
144.將所述自注意力矩陣和所述分割圖矩陣輸入預設自注意力模型進行矩陣相乘，根據所述關注標簽，從所述矩陣相乘的結果中提取所有數值為1的元素在所述人像填充分割圖中對應的小區塊的特征，作為所述待處理圖像的背景特征。
145.本發明之計算機可讀介質的具體實施方式與上述圖像背景特征提取方法的具體實施方式大致相同，在此不再贅述。
146.在另一個實施例中，本發明所提供的圖像背景特征提取方法，為進一步保證上述所有出現的數據的私密和安全性，上述所有數據還可以存儲于一區塊鏈的節點中。例如關注標簽、背景特征，這些數據均可存儲在區塊鏈節點中。
147.需要說明的是，本發明所指區塊鏈是分布式數據存儲、點對點傳輸、共識機制、加密算法等計算機技術的新型應用模式。區塊鏈(blockchain)，本質上是一個去中心化的數據庫，是一串使用密碼學方法相關聯產生的數據塊，每一個數據塊中包含了一批次網絡交易的信息，用于驗證其信息的有效性(防偽)和生成下一個區塊。區塊鏈可以包括區塊鏈底層平臺、平臺產品服務層以及應用服務層等。
148.需要說明的是，上述本發明實施例序號僅僅為了描述，不代表實施例的優劣。并且本文中的術語“包括”、“包含”或者其任何其他變體意在涵蓋非排他性的包含，從而使得包括一系列要素的過程、裝置、物品或者方法不僅包括那些要素，而且該方法還包括沒有明確列出的其他要素，或者是該方法還包括為這種過程、裝置、物品或者方法所固有的要素。在沒有更多限制的情況下，由語句“包括一個
……”
限定的要素，并不排除在包括該要素的過程、裝置、物品或者方法中還存在另外的相同要素。
149.通過以上的實施方式的描述，本領域的技術人員可以清楚地了解到上述實施例方法可借助軟件加必需的通用硬件平臺的方式來實現，當然也可以通過硬件，但很多情況下前者是更佳的實施方式。基于這樣的理解，本發明的技術方案本質上或者說對現有技術做出貢獻的部分可以以軟件產品的形式體現出來，該計算機軟件產品存儲在如上所述的一個介質(如rom/ram、磁碟、光盤)中，包括若干指令用以使得一臺終端設備(可以是手機，計算機，電子裝置，或者網絡設備等)執行本發明各個實施例所述的方法。
150.以上僅為本發明的優選實施例，并非因此限制本發明的專利范圍，凡是利用本發明說明書及附圖內容所作的等效結構或等效流程變換，或直接或間接運用在其他相關的技術領域，均同理包括在本發明的專利保護范圍內。
