模型推理結果的解釋方法、裝置和存儲介質與流程
1.本技術涉及人工智能技術領域，尤其涉及一種模型推理結果的解釋方法、裝置和存儲介質。
背景技術：
2.人工智能(artificial intelligence，ai)是利用數字計算機或者數字計算機控制的機器模擬、延伸和擴展人的智能，感知環境、獲取知識并使用知識獲得最佳結果的理論、方法、技術及應用系統。也就是說，人工智能研究各種智能機器的設計原理與實現方法，使機器具有感知、推理與決策的功能。
3.其中，ai模型通常為黑盒模型，用戶往往知其然不知其所以然，目前，相關技術在針對ai模型的推理結果進行解釋時，通常時耗時大，且解釋效果差，導致無法滿足相關的需求。
技術實現要素：
4.有鑒于此，提出了一種模型推理結果的解釋方法、裝置和存儲介質。
5.第一方面，本技術的實施例提供了一種模型推理結果的解釋方法，該方法包括：獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
6.根據本技術實施例，通過獲取至少一個第一標簽，將所述至少一個第一標簽分為至少一個簇，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，可以實現自動地確定用于對比解釋的對象，無需人工選擇，節省了大量的資源，且可以對所有第一標簽進行對比解釋，使得解釋的內容更加完備，從而更有助于對推理模型進行改進調試，使得推理的結果更加精確，簇間的對比解釋可以解決多主體對象解釋的問題，可以應用于多標簽圖像的場景中，通過簇內第一標簽的對比解釋，且同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高，可以實現對于簇內的標簽更加精細化的區別關鍵特征，使得對比解釋的結果更具有價值，通過以對比顯著圖進行顯示，可以實現對比解釋的結果系統而簡潔地進行可視化顯示。
7.根據第一方面，在所述模型推理結果的解釋方法的第一種可能的實現方式中，該第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，該第二對比顯著
圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
8.根據本技術實施例，通過以第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據，可以實現更直觀地對推理結果進行解釋，并且可以使得解釋內容更加豐富，有助于對推理模型進行改進調試，得到更精確的推理模型。
9.根據第一方面或第一方面的第一種可能的實現方式，在所述模型推理結果的解釋方法的第二種可能的實現方式中，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，包括：消除各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的共有特征，確定各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖；根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，包括：確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，在所述圖像區域內，消除簇內各第一標簽對應的第一顯著圖、相對于簇內其他第一標簽的第一顯著圖的共有特征，確定簇內各第一標簽對應的第一顯著圖中、相對于簇內其他第一標簽的第一顯著圖的差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖。
10.根據本技術實施例，通過消除共有特征，根據差異性特征確定對比顯著圖，可以實現對比解釋結果展示對比主體和對比對象之間的精細化差異，使得解釋的內容更加精準、具體，通過確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，可以使得同一簇內的標簽的對比解釋結果可以局限在圖像中的同一塊區域，使得對比解釋的內容更加精準。
11.根據第一方面或第一方面的第一種或第二種可能的實現方式，在所述模型推理結果的解釋方法的第三種可能的實現方式中，將所述至少一個第一標簽分為至少一個簇，包括：將至少一個第二標簽分為至少一個簇，所述第二標簽表示所有圖像樣本的推理結果，各簇內包括所述第二標簽中的至少一個，同一簇內的第二標簽相比其他簇內的第二標簽，出現在同一圖像樣本內的概率更高；根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇。
12.根據本技術實施例，通過將至少一個第二標簽分為至少一個簇，根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇，可以實現自動地確定對比解釋的對象，無需人工選擇，節省了大量資源，且可以使得易混淆的標簽被分為一個簇內，從而使得對比解釋的結果更具有參考性、更有價值。
13.根據第一方面或第一方面的第一種或第二種或第三種可能的實現方式，在所述模型推理結果的解釋方法的第四種可能的實現方式中，該方法還包括：根據所述第一對比顯著圖，確定所述圖像樣本中、像素對應的第一排序；根據所述第一排序，依次抹去所述圖像樣本中、預定數量的像素；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價；和/或根據所述第二對比顯著圖，確定所述圖像樣本中、像素對應的第二排序；根據所述第二排序，依次抹去所述圖像樣本中、預定數量的像素；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價。
14.根據本技術實施例，通過根據對比顯著圖，確定所述圖像樣本中、像素對應的排序，根據排序，依次抹去所述圖像樣本中、預定數量的像素，根據抹去像素過程中得到的至少一張圖像樣本，確定對比顯著圖對應的評價，可以實現定量的對對比解釋的結果進行評價，從而可以直觀的展示對比解釋內容的價值。
15.根據第一方面的第四種可能的實現方式，在所述模型推理結果的解釋方法的第五種可能的實現方式中，所述第一排序根據所述第一對比顯著圖中、各像素的亮度確定，所述第二排序根據所述第二對比顯著圖中、各像素的亮度確定。
16.根據本技術實施例，可以實現更精準的對對比顯著圖指示的對比解釋結果進行評價。
17.根據第一方面的第四種或第五種可能的實現方式，在所述模型推理結果的解釋方法的第六種可能的實現方式中，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的簇的第一預測概率、以及所述簇以外的其他簇的第二預測概率，所述第一預測概率表示圖像樣本的推理結果為對應的簇的概率，所述第二預測概率表示圖像樣本的推理結果為所述簇以外的其他簇的概率；根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的簇內第一標簽的第三預測概率、以及所述簇內第一標簽以外的簇內其他第一標簽的第四預測概率，所述第三預測概率表示圖像樣本的推理結果為對應的簇內第一標簽的概率，所述第四預測概率表示圖像樣本的推理結果為所述簇內第一標簽以外的其他第一標簽的概率；根據所述第三預測概率和所述第四預測概率，確定所述第二對比顯著圖的評價。
18.根據本技術實施例，可以實現進行評價時，考慮到對比解釋結果所展示的解釋依據對對比主體的支持程度，且對對比對象的否定程度，從而可以綜合度量對比解釋結果的忠誠度，使得評價的結果更加精準。
19.第二方面，本技術的實施例提供了一種模型推理結果的解釋裝置，該裝置包括：獲取模塊，用于獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；第一確定模塊，用于將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；第二確定模塊，用于根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
20.根據第二方面，在所述模型推理結果的解釋裝置的第一種可能的實現方式中，該第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，該第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
21.根據第二方面或第二方面的第一種可能的實現方式，在所述模型推理結果的解釋裝置的第二種可能的實現方式中，根據各簇對應的各第一顯著圖，確定各簇對應的第一對
比顯著圖，包括：消除各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的共有特征，確定各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖；根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，包括：確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，在所述圖像區域內，消除簇內各第一標簽對應的第一顯著圖、相對于簇內其他第一標簽的第一顯著圖的共有特征，確定簇內各第一標簽對應的第一顯著圖中、相對于簇內其他第一標簽的第一顯著圖的差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖。
22.根據第二方面或第二方面的第一種或第二種可能的實現方式，在所述模型推理結果的解釋裝置的第三種可能的實現方式中，將所述至少一個第一標簽分為至少一個簇，包括：將至少一個第二標簽分為至少一個簇，所述第二標簽表示所有圖像樣本的推理結果，各簇內包括所述第二標簽中的至少一個，同一簇內的第二標簽相比其他簇內的第二標簽，出現在同一圖像樣本內的概率更高；根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇。
23.根據第二方面或第二方面的第一種或第二種或第三種可能的實現方式，在所述模型推理結果的解釋裝置的第四種可能的實現方式中，該裝置還包括：第三確定模塊，用于根據所述第一對比顯著圖，確定所述圖像樣本中、像素對應的第一排序；第一像素抹去模塊，用于根據所述第一排序，依次抹去所述圖像樣本中、預定數量的像素；第四確定模塊，用于根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價；和/或第五確定模塊，用于根據所述第二對比顯著圖，確定所述圖像樣本中、像素對應的第二排序；第二像素抹去模塊，用于根據所述第二排序，依次抹去所述圖像樣本中、預定數量的像素；第六確定模塊，用于根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價。
24.根據第二方面的第四種可能的實現方式，在所述模型推理結果的解釋裝置的第五種可能的實現方式中，所述第一排序根據所述第一對比顯著圖中、各像素的亮度確定，所述第二排序根據所述第二對比顯著圖中、各像素的亮度確定。
25.根據第二方面的第四種或第五種可能的實現方式，在所述模型推理結果的解釋裝置的第六種可能的實現方式中，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的簇的第一預測概率、以及所述簇以外的其他簇的第二預測概率，所述第一預測概率表示圖像樣本的推理結果為對應的簇的概率，所述第二預測概率表示圖像樣本的推理結果為所述簇以外的其他簇的概率；根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的簇內第一標簽的第三預測概率、以及所述簇內第一標簽以外的簇內其他第一標簽的第四預測概率，所述第三預測概率表示圖像樣本的推理結果為對應的簇內第一標簽的概率，所述第四預測概率表示圖像樣本的推理結果為所述簇內第一標簽以外的其他第一標簽的概率；根據所述第三預測概率和所述第四預測概率，確定所述第
二對比顯著圖的評價。
26.第三方面，本技術的實施例提供了一種模型推理結果的解釋裝置，該裝置包括：處理器；用于存儲處理器可執行指令的存儲器；其中，所述處理器被配置為執行所述指令時實現上述第一方面或者第一方面的多種可能的實現方式中的一種或幾種的模型推理結果的解釋方法。
27.第四方面，本技術的實施例提供了一種非易失性計算機可讀存儲介質，其上存儲有計算機程序指令，所述計算機程序指令被處理器執行時實現上述第一方面或者第一方面的多種可能的實現方式中的一種或幾種的模型推理結果的解釋方法。
28.第五方面，本技術的實施例提供了一種終端設備，該終端設備可以執行上述第一方面或者第一方面的多種可能的實現方式中的一種或幾種的模型推理結果的解釋方法。
29.第六方面，本技術的實施例提供了一種計算機程序產品，包括計算機可讀代碼，或者承載有計算機可讀代碼的非易失性計算機可讀存儲介質，當所述計算機可讀代碼在電子設備中運行時，所述電子設備中的處理器執行上述第一方面或者第一方面的多種可能的實現方式中的一種或幾種的模型推理結果的解釋方法。
30.本技術的這些和其他方面在以下(多個)實施例的描述中會更加簡明易懂。
附圖說明
31.包含在說明書中并且構成說明書的一部分的附圖與說明書一起示出了本技術的示例性實施例、特征和方面，并且用于解釋本技術的原理。
32.圖1示出根據本技術一實施例的模型推理結果的解釋方法的應用場景的示意圖。
33.圖2示出了根據本技術一實施例的模型推理結果的解釋裝置的結構圖。
34.圖3示出了根據本技術一實施例的模型推理結果的解釋方法的對比解釋階段的流程圖。
35.圖4示出了根據本技術一實施例對標簽進行聚類的示意圖。
36.圖5示出了根據本技術一實施例的層次樹示意圖。
37.圖6示出根據本技術一實施例的確定圖像樣本中、標簽對應的簇的示意圖。
38.圖7示出根據本技術一實施例的對比顯著圖的示意圖。
39.圖8示出了根據本技術一實施例的模型推理結果的解釋方法的評價階段的流程圖。
40.圖9示出了根據本技術一實施例的對圖像樣本抹去像素的示意圖。
41.圖10示出了根據本技術一實施例的確定對比忠誠度的示意圖。
42.圖11示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。
43.圖12示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。
44.圖13示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。
45.圖14示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。
46.圖15示出了根據本技術一實施例的模型推理結果的解釋裝置的結構圖。
47.圖16示出根據本技術一實施例的模型推理結果的解釋裝置的結構圖。
48.附圖標記
49.高亮區域h
具體實施方式
50.以下將參考附圖詳細說明本技術的各種示例性實施例、特征和方面。附圖中相同的附圖標記表示功能相同或相似的元件。盡管在附圖中示出了實施例的各種方面，但是除非特別指出，不必按比例繪制附圖。
51.在這里專用的詞“示例性”意為“用作例子、實施例或說明性”。這里作為“示例性”所說明的任何實施例不必解釋為優于或好于其它實施例。
52.另外，為了更好的說明本技術，在下文的具體實施方式中給出了眾多的具體細節。本領域技術人員應當理解，沒有某些具體細節，本技術同樣可以實施。在一些實例中，對于本領域技術人員熟知的方法、手段、元件和電路未作詳細描述，以便于凸顯本技術的主旨。
53.圖1示出根據本技術一實施例的模型推理結果的解釋方法的應用場景的示意圖。本技術實施例的模型推理結果的解釋方法可以應用于數據標注系統中，如圖1所示，數據標注系統可以包括解釋裝置和模型推理裝置，其中，模型推理裝置可以以深度學習模型為基礎，用于對數據進行推理預測，得到數據的標注結果(即推理結果)，解釋裝置可用于實現本技術實施例的模型推理結果的解釋方法，可以用于對數據的標注結果進行對比解釋，在一種可能的實現方式中，該解釋裝置還可以用于對解釋結果進行定量評價。數據標注系統可以與數據庫進行交互，數據庫中可用于存儲數據，并向模型推理裝置提供需要的數據。如圖所示，通過數據標注系統，可以對模型推理裝置中的模型進行訓練，根據模型推理裝置對數據的標注結果，可以對用戶進行推薦服務，通過解釋裝置，可以使得模型推理的標注結果可解釋，還可以實現解釋結果可視化。
54.例如，本技術實施例可用于對圖片進行標注的場景中，模型推理裝置可以用于推理得到圖片對應的標簽，解釋裝置可以用于對推理出的各標簽進行對比解釋，如對于某一張圖片，可以說明圖片的標注結果為a標簽而非b標簽/c標簽的依據，也可以說明圖片的標注結果為b標簽而非a標簽/c標簽的依據，還可以根據對比解釋結果向用戶展示對比顯著圖，使得可以對標注結果進行更直觀的解釋。其中，顯著圖可以是以特定形式，例如高亮的形式，顯示圖片中對于某一標簽的解釋結果的圖像，例如顯著圖中的高亮區域可以表示圖片的標注結果為a標簽的依據，在此基礎上，對比顯著圖可以是以特定形式，例如高亮的形式，顯示圖片中對于某一標簽相對于其他標簽的對比解釋結果的依據，例如對比顯著圖中的高亮區域可以表示圖片的標注結果為a標簽而非b標簽/c標簽的依據。
55.通過本技術實施例，可以針對數據的標注結果為用戶提供認知友好的解釋，使得滿足法律法規對可解釋ai的要求，同時可以幫助用戶理解模型，基于解釋結果，用戶還可以對模型推理裝置中的模型進行調優，以實現更精確的推理效果。
56.需要說明的是，上述對圖片進行標注的場景僅為本技術的一個示例，本技術實施例還可以用于除上述場景以外的場景中，本技術對此不作限制。
57.圖2示出了根據本技術一實施例的模型推理結果的解釋裝置的結構圖。如圖2所示，該解釋裝置可與數據庫和模型推理裝置進行交互，以實現對模型推理結果的解釋，其中，解釋裝置可包括用戶界面(user interface，ui)、對比解釋模塊、基礎解釋器和評價模塊，其中，基礎解釋器可用于對推理結果進行顯著圖(saliency map)解釋，對比解釋模塊可用于根據顯著圖解釋的結果，對推理結果進行對比解釋，ui可用于根據對比解釋的結果進行可視化顯示，評價模塊可用于對對比解釋的結果進行定量評價。
58.需要說明的是，上述解釋裝置的結構僅為一個示例，解釋裝置中還可以僅包括其中的部分模塊，或可以包括更多的模塊，本技術對此不作限制。
59.以下結合圖3-圖10，以結合上述裝置對圖像樣本的標注結果進行對比解釋為例，說明本技術實施例提供的模型推理結果的解釋方法的流程。
60.其中，本技術實施例的模型推理結果的解釋方法的流程可包括對比解釋階段和評價階段。
61.圖3示出了根據本技術一實施例的模型推理結果的解釋方法的對比解釋階段的流程圖。
62.如圖3所示，對比解釋階段的流程可包括：
63.步驟s301，對比解釋模塊基于概率共現關系對標簽集中的所有標簽進行聚類，得到簇分類信息。
64.其中，概率共現關系可以是標簽集中、所有標簽之間，在同一張圖片中共同出現的概率關系，標簽集可以表示數據集中、所有圖像樣本對應的標簽(即所有圖像樣本的推理結果)的集合，例如，模型推理裝置可以對數據集中、每個圖像樣本進行推理，得到對應的標簽，對比解釋模塊可以由此確定標簽集中、l*n個高概率標簽。其中，l個高概率標簽，可以是推理出的每個圖像樣本對應的標簽中，預測概率最高的l個標簽，或者預測概率超過閾值的標簽(例如為l個)，n可以表示數據集中、圖像樣本的數量，對應于數據集中的n個圖像樣本，可以得到l*n個高概率標簽。對比解釋模塊可以根據這l*n個標簽在模型推理裝置下的輸出分布(即標簽出現在哪些圖像樣本里)，對標簽集中的所有標簽進行聚類，即如果兩個標簽經常在同一圖像樣本內出現(或者是兩個標簽出現在同一圖像樣本內的概率較高)，則可以認為它們是難以區分的兩個標簽，可以被分為同一簇；如果兩個標簽不經常在同一圖像樣本內出現，則可以認為它們是容易區分的兩個標簽，可以被分為不同的簇中。例如，可以通過l*n個標簽在模型推理裝置下的輸出分布，通過學習擬合等方式，確定標簽集中的兩個標簽是否經常在同一圖像樣本內。
65.l的大小和用于判斷是否為高概率標簽的閾值可以根據需要確定，本技術對此不作限制。學習擬合的方式可以例如根據層次隱樹模型(hierarchical latent tree model，hltm)對標簽集中、所有標簽進行學習擬合，還可以利用其他模型，本技術對此不作限制。
66.以下以圖4、圖5為例對s301的過程進行示意性的說明。圖4示出了根據本技術一實施例對標簽進行聚類的示意圖。如圖4(a)所示，以數據集中的圖像樣本的數量為9張為例，對于這9張圖像樣本，可以利用模型推理裝置中的推理模型，分別對每張圖像樣本進行推理，得到對應的標簽。圖中以resnet50作為推理模型，推理模型還可以是別的模型，例如googlenet，本技術對此不作限制。如圖4(a)，根據標簽對應的預測概率從高至低的順序列出了各圖片對應的標簽，對于圖片1，經過推理模型得到的標簽可以包括大提琴、知更鳥、小提琴(對應的預測概率依次降低，對于圖片2-9同理)；對于圖片2，經過推理模型得到的標簽可以包括大提琴、小提琴、雙簧管；對于圖片3，經過推理模型得到的標簽可以包括大提琴、小提琴、長袍、長號；對于圖片4，經過推理模型得到的標簽可以包括木吉他、電吉他；對于圖片5，經過推理模型得到的標簽可以包括木吉他、電吉他；對于圖片6，經過推理模型得到的標簽可以包括木吉他、電吉他、班卓琴；對于圖片7，經過推理模型得到的標簽可以包括電吉他、木吉他；對于圖片8，經過推理模型得到的標簽可以包括電吉他、木吉他、班卓琴；對于圖
片9，經過推理模型得到的標簽可以包括電吉他、木吉他。可以確定每張圖像樣本中、前l個高概率標簽，在l設定為2的情況下，可以確定推理出的樣本中的18個標簽，在一種可能的實現方式中，還可以設定預測概率的概率閾值作為選擇標簽的條件，例如以對應的預測概率大于95％的標簽作為選出的標簽，本技術對此不做限制。
67.對比解釋模塊可以根據這18個標簽在圖像樣本中的分布關系(即在模型推理裝置下的輸出分布)，對標簽集中的所有標簽利用hltm進行學習擬合，得到如圖4(b)所示的基于概率共現關系的層次樹。其中，圖4(b)僅作為示例顯示了標簽集中的部分標簽的概率共現關系，層次樹中還可以包括除小提琴、大提琴、木吉他、電吉他、班卓琴以外的標簽集中的其他標簽，如知更鳥、長號、長袍、雙簧管等等。在層次樹中，同一節點下的標簽可以表示高概率共現(即高概率出現在同一張圖像樣本內)的標簽，z66、z1396、z2138、z1284可以表示隱式節點名稱，可以根據層次樹表示的概率共現關系進行聚類，例如選定某一層級作為分簇依據，同一父節點下的標簽可以是同一簇內的標簽，兩個節點之間的路徑越短，可以表示兩個節點分別對應的標簽、出現在同一張圖像樣本內的概率越高，由此，得到的同一簇內的標簽可以是易混淆的標簽。
68.其中，可以根據需要確定選擇層次樹中的哪一層級作為分簇依據，本技術對此不作限制。
69.例如，可以將z1396對應的標簽作為一簇，則該簇內的標簽可以包括大提琴、小提琴,可以表示標簽“大提琴”和“小提琴”為高概率出現在同一張圖像樣本內的標簽；以z2138對應的標簽作為另一簇，則該簇內的標簽可以包括電吉他、木吉他、班卓琴，可以表示標簽“電吉他”、“木吉他”和“班卓琴”為高概率出現在同一張圖像樣本內的標簽。其中，z2138還可以包括z1284和班卓琴這兩個子節點，可以表示，在z2138中，標簽“電吉他”和“木吉他”，相對于標簽“班卓琴”，為更高概率出現在同一張圖像樣本內的標簽。
70.以下是利用來自imagenet標簽集的圖像樣本、利用resnet50對圖像樣本進行推理得到標簽，并根據標簽中前l*n個高概率標簽在模型推理裝置下的輸出分布，確定標簽集中所有標簽對應的層次樹的一個示例。圖5示出了根據本技術一實施例的層次樹示意圖。
71.如圖5所示，使用的圖像樣本可以來自imagenet標簽集，推理模型可以是resnet50,圖5中僅以大提琴、小提琴、長笛、單簧管、電吉他、木吉他、班卓琴、手風琴、低音管、薩克斯、長號、短號為例進行說明，層次樹中還可以包括除此之外的imagenet標簽集內的其他標簽。對于如圖5所示的層次樹中的每一個節點，同一節點下的標簽可以是高概率共現的標簽，標簽下方為對應的圖像樣本，例如，大提琴和小提琴在同一節點下，長笛和單簧管在同一節點下。
72.重新參見圖3，在得到簇分類信息后，在步驟s302中，模型推理裝置根據輸入的圖像樣本，確定對應該圖像樣本的前k個高概率標簽，對比解釋模塊根據簇分類信息將這k個高概率標簽分為m個簇。
73.圖6示出根據本技術一實施例的確定圖像樣本中、標簽對應的簇的示意圖。如圖6所示，圖6(a)中的圖像樣本可以例如圖6(b)中最左側的圖片，推理模型可以是resnet50，根據推理模型的推理結果確定的前k個(k＝5)標簽可以例如圖6(b)中、中間圖片所示的大提琴、小提琴、木吉他、五弦琴、電吉他，對比解釋模塊可以根據s301中得到的簇分類信息，對上述5個標簽進行分簇，例如，在s301中，將大提琴、小提琴分為一簇、將吉他、五弦琴、電吉
他分為另一簇的情況下，可以根據上述5個標簽和在s301中、用于分簇的標簽的對應關系，在上述5個標簽和在s301中、用于分簇的標簽的內容相同的情況下，可以認為二者對應，例如上述5個標簽中的大提琴和在s301中、用于分簇的標簽中的大提琴的內容一致，可以認為二者對應，以此類推，根據s301中的分簇情況，該圖像樣本對應的5個標簽可以分為m1和m2兩個簇，m1包括大提琴和小提琴，m2包括木吉他、五弦琴和電吉他。
74.其中，可以設置k作為數量閾值、確定模型推理裝置推理出的標簽中，概率最高的前k個標簽作為用于分簇的標簽，還可以設置概率閾值，選取概率高于概率閾值的標簽(例如為k個)作為用于分簇的標簽，本技術對此不作限制。
75.步驟s303，基礎解釋器根據確定的圖像樣本中的k個類和m個簇分別進行顯著圖解釋，得到對應的顯著圖。
76.其中，k個類可以分別對應圖像樣本中確定的k個標簽，m個簇可以是s302中，基于k個標簽確定的簇，基礎解釋器可以利用加權梯度的類激活映射(gradient-weighted class activation mapping，gradcam)或基于隨機輸入采樣的解釋(randomized input sampling for explanation，rise)分別對k個類和m個簇進行解釋，得到k+m個顯著圖，對于k個類對應的顯著圖，每個顯著圖中的高亮區域解釋了推理結果為什么是此類的依據，即顯著圖中、高亮的區域區別于其他區域，可以表示模型推理裝置判斷出推理結果為此類的依據，例如在類k1為大提琴的情況下，k1對應的顯著圖中的高亮區域解釋了推理結果為什么是大提琴的依據，對于m個簇對應的顯著圖，每個顯著圖中的高亮區域解釋了推理結果為什么是此簇的依據，即顯著圖中、高亮的區域區別于其他區域，可以表示模型推理裝置判斷推理結果為此簇的依據，例如在簇m1包括大提琴和小提琴，m1對應的顯著圖中的高亮區域解釋了推理結果為什么是大提琴和小提琴的依據。
77.需要說明的是，除了gradcam和rise，還可以利用其它方法得到顯著圖，本技術對此不作限制。
78.步驟s304，對比解釋模塊根據顯著圖分別進行簇間對比和同簇內的類間對比，得到簇間以及同簇內類間的對比解釋結果。
79.其中，可以通過消除簇間或同簇內類間的顯著圖中的共有特征，突出差異性特征的方式分別進行簇間對比和同簇內的類間對比，例如，可以通過下述公式(1)得到簇間的對比解釋結果，通過下述公式(2)和公式(3)得到同簇內類間的對比解釋結果：
[0080][0081]
其中，可以表示第i個簇對應的對比解釋結果，m可以表示簇的數量，relu可以表示修正線性單元，hi可以表示第i個簇對應的顯著圖，hi′
可以表示第i
′
個簇對應的顯著圖，其中，i和i
′
分別對應m個簇中的不同的簇，hi和hi′
可以在s303中獲得。其中h
i-hi′
的運算可以實現消除hi和hi′
之間的共有特征，確定hi和hi′
之間的差異性特征。
[0082][0083]
其中，可以表示第i個簇內、第j個類對應的對比解釋結果，support函數可以通
過下述公式(3)獲得，表示支撐函數，δ為預定參數，ji可以表示第i個簇內、類的數量，h
ij
可以表示第i個簇內、第j個類對應的顯著圖，h
ij
′
可以表示第i個簇內、第j
′
個類對應的顯著圖，其中，j和j
′
分別對應第i個簇內的不同的類，h
ij
和h
ij
′
可以在s303中獲得。其中h
ij-h
ij
′
的運算可以實現消除h
ij
和h
ij
′
之間的共有特征，確定h
ij
和h
ij
′
間的差異性特征。
[0084][0085]
其中可以表示坐標為(a,b)的像素點對應的支撐函數，其中，可以表示第i個簇對應的對比解釋結果對應的顯著圖中、坐標為(a,b)的像素點的值，通過公式(2)中以修正線性單元乘以support函數，可以使得同簇內的標簽之間的對比解釋結果可以局限于圖像樣本中的同一塊區域，即可以使得局限于第i個簇對應的圖像樣本中的范圍(圖像區域)內。support函數中的預定參數δ可以用于過濾對應顯著圖中、像素值低于的像素。
[0086]
需要說明的是，簇間以及同簇內類間的對比解釋結果還可以根據除公式(1)-公式(3)所示的方式以外的其他方式確定，本技術對此不作限制。
[0087]
步驟s305，ui根據簇間以及同簇內類間的對比解釋結果，分別顯示對比顯著圖。
[0088]
其中，可根據以公式(1)得到的計算結果確定的像素值進行顯示，得到第i個簇對應的對比顯著圖(下文中第一對比顯著圖的一個示例)，可以以公式(2)得到的結果確定的像素值進行顯示，得到第i個簇內、第j個類對應的對比顯著圖(下文中第二對比顯著圖的一個示例)。
[0089]
圖7示出根據本技術一實施例的對比顯著圖的示意圖。如圖7所示，以圖6(b)中最左側的圖片作為圖像樣本為例，可以得到5個標簽(大提琴、小提琴、木吉他、班卓琴、電吉他)，這5個標簽可以分別對應5個類，并將5個標簽分為2個簇，其中，第1個簇內可以包括大提琴、小提琴，第2個簇內可以包括木吉他、班卓琴、電吉他。圖7(a)和圖7(b)可以表示簇間的對比解釋結果，圖7(a.1)、圖7(a.2)、圖7(b.1)、圖7(b.2)、圖7(b.3)可以表示同簇內、類間的對比解釋結果。
[0090]
圖7(a)示出了第1個簇的對比顯著圖，該對比顯著圖右半邊的高亮區域h可以表示圖像樣本中、第1個簇對應的圖像樣本的范圍，并且，高亮區域可以用于表示模型推理裝置以大提琴、小提琴而非木吉他、班卓琴、電吉他作為推理結果的依據，即模型推理裝置可以是通過高亮區域推理出圖像對應的標簽為大提琴、小提琴而非木吉他、班卓琴、電吉他的，從而解釋了推理結果為大提琴、小提琴而非木吉他、班卓琴、電吉他的原因；圖7(b)示出了第2個簇的對比顯著圖，該對比顯著圖左半邊的高亮區域h可以表示圖像樣本中、第2個簇對應的圖像樣本的范圍，并且，高亮區域可以用于表示模型推理裝置以木吉他、班卓琴、電吉他而非大提琴、小提琴作為推理結果的依據，即模型推理裝置可以是通過高亮區域推理出圖像對應的標簽為木吉他、班卓琴、電吉他而非大提琴、小提琴的，從而解釋了推理結果為木吉他、班卓琴、電吉他而非大提琴、小提琴的原因。
[0091]
圖7(a.1)示出了第1個簇內、第1類的對比顯著圖，該對比顯著圖對應的對比解釋結果可以局限于圖像樣本中、第1個簇對應的圖像樣本的范圍，即該對比顯著圖的高亮區域h可以局限于圖7(a)對應的對比顯著圖中、右半邊的高亮區域內，并且，該對比顯著圖的高
亮區域可以用于表示模型推理裝置以大提琴而非小提琴作為推理結果的依據，即模型推理裝置可以是通過高亮區域推理出圖像對應的標簽為大提琴而非小提琴的，從而解釋了推理結果為大提琴而非小提琴的原因；圖7(a.2)示出了第1個簇內、第2類的對比顯著圖，該對比顯著圖對應的對比解釋結果同樣可以局限于圖像樣本中、第1個簇對應的圖像樣本的范圍，并且，該對比顯著圖的高亮區域h可以用于表示模型推理裝置以小提琴而非大提琴作為推理結果的依據，從而解釋了可以表示推理結果為小提琴而非大提琴的原因；圖7(b.1)示出了第2個簇內、第1類的對比解釋結果，該對比顯著圖對應的對比解釋結果可以局限于圖像樣本中、第2個簇對應的圖像樣本的范圍，即該對比顯著圖的高亮區域h可以局限于圖7(b)對應的對比顯著圖中、左半邊的高亮區域內，并且，該對比顯著圖的高亮區域可以用于表示模型推理裝置以木吉他而非班卓琴、電吉他作為推理結果的依據，從而解釋了推理結果為木吉他而非班卓琴、電吉他的原因；圖7(b.2)示出了第2個簇內、第2類的對比解釋結果，該對比顯著圖對應的對比解釋結果同樣可以局限于圖像樣本中、第2個簇對應的圖像樣本的范圍，并且，該對比顯著圖的高亮區域h可以用于表示模型推理裝置以班卓琴而非木吉他、電吉他作為推理結果的依據，從而解釋了推理結果為班卓琴而非木吉他、電吉他的原因；圖7(b.3)示出了第2個簇內、第3類的對比解釋結果，該對比顯著圖對應的對比解釋結果同樣可以局限于圖像樣本中、第2個簇對應的圖像樣本的范圍，并且，該對比顯著圖的高亮區域h可以用于表示模型推理裝置以電吉他而非木吉他、班卓琴作為推理結果的依據，從而解釋了推理結果為電吉他而非木吉他、班卓琴的原因。
[0092]
由此，可以更全面豐富地展示對比解釋結果，且通過對比解釋的方式，解釋為什么是a而不是b，而非僅僅解釋為什么是a，可以讓用戶可以更好地理解模型推理裝置的推理結果，并可以根據對比解釋結果對模型推理裝置中的模型進行改進。
[0093]
上述對比顯著圖中，高亮的部分h可以表示上述對比解釋結果的證據，例如通過圖7(a.1)高亮的區域，可以確定推理結果為大提琴而非小提琴的依據是由于琴體下方的特征，由此可以認為模型推理裝置推理的依據可能是小提琴琴體下方通常有保護墊，而大提琴琴體下方通常沒有保護墊。
[0094]
圖8示出了根據本技術一實施例的模型推理結果的解釋方法的評價階段的流程圖。如圖8所示，評價階段的流程可包括：
[0095]
步驟s801，根據像素重要性，評價模塊對對應的圖像樣本中的像素進行排序。
[0096]
其中，像素重要性可以根據圖3中s305中的對應的對比顯著圖中、各像素的亮度確定，像素的亮度越高，可以表示該像素越重要。對應的對比顯著圖可以根據評價的對比主體和對比對象確定，如圖7所示的對比顯著圖中，在評價模塊評價的對比主體為大提琴、對比對象為同簇內的小提琴，即對應的對比解釋結果解釋的是為什么是大提琴而不是小提琴的情況下，評價模塊的評價對象可以是“為什么是大提琴而不是小提琴”的對比解釋結果，可以選擇對應該對比解釋結果的圖7(a.1)作為對比顯著圖。在評價模塊評價的對比主體為簇1，對比對象為簇2，即對應的對比解釋結果解釋的是“為什么是簇1而不是簇2”的情況下，評價模塊的評價對象可以是“為什么是簇1而不是簇2”的對比解釋結果，可以選擇對應該對比解釋結果的圖7(a)作為對比顯著圖。
[0097]
步驟s802，根據排序的順序，評價模塊對圖像樣本中的像素依次抹去，直至抹去的像素數量達到預定閾值，每次抹去時，模型推理裝置根據輸入的抹去像素后的圖像樣本，分
別得到對比主體和對比對象的預測概率。
[0098]
其中，每次抹去的像素的數量可以根據需要確定，每次抹去的像素可以是根據排序確定的所有像素中、更重要的像素，可以是亮度更高的像素，抹去像素的方式可以例如將圖像樣本中、需要抹去的像素設置為白。
[0099]
對比主體和對比對象的預測概率可以分別表示模型推理裝置推理出的推理結果中、對應對比主體和對比對象的概率。
[0100]
步驟s803，評價模塊根據對比主體和對比對象的預測概率確定對應的對比解釋結果的對比忠誠度。
[0101]
其中，對比忠誠度的計算方法可以如公式(4)所示：
[0102][0103]
其中，cauc可以表示對比線下面積，可以用于衡量對比忠誠度，cauc的值越小，可以表示對應的對比解釋結果的對比忠誠度越高，即對比解釋結果越能真實反映區分對比主體和對比對象的證據。pm(c|x
[r,n]
)可以表示抹去像素的過程中，第r次抹去像素時，對比主體對應的預測概率，pm(c|x
[r,n]
)可以表示抹去像素的過程中，第r次抹去像素時，對比對象對應的預測概率，h可以表示對比主體的對比顯著圖，m可以表示模型推理裝置中、對應的推理模型(例如是resnet50、googlenet)。x可以表示圖像樣本，c可以表示對比主體，c可以表示對比對象，n可以表示抹去像素的總次數。
[0104]
圖9示出了根據本技術一實施例的對圖像樣本抹去像素的示意圖。如圖9所示，圖像樣本可以例如圖9(a)，在對比主體為大提琴、對比對象為同簇內的小提琴的情況下，對應的圖像樣本的對比顯著圖可以例如圖9(b)，可以參照s801，根據對比顯著圖中、像素的重要性對圖像樣本中的像素進行排序，而后參照s802，依次抹去圖像樣本中的像素，圖9(c.1)-圖9(c.3)可以分別表示每次抹去預定數量的像素后的圖像樣本，每次抹去的像素的數量可以如圖9(c.1)-圖9(c.3)中的白區域所示。
[0105]
圖10示出了根據本技術一實施例的確定對比忠誠度的示意圖。如圖10(a)所示，橫坐標可以表示圖像樣本中、被抹去的像素數量占整體像素數量的百分比，縱坐標可以表示預測概率，圖10(a)示出了在抹去圖像樣本中的像素的過程中，對比主體和對比對象的預測概率的變化。
[0106]
其中，以圖9中所示的過程為例，對比主體為大提琴、對比對象為小提琴，在對圖像樣本依次抹去像素的過程中，對比主體(即大提琴)對應的預測概率(即p(c))下降，對比對象(即小提琴)對應的預測概率(即p(c))上升，這是因為，在抹去的像素能夠真實地反映區分對比主體和對比對象的證據的情況下，在抹去像素的過程中、模型推理裝置會更難區分對比主體和對比對象。
[0107]
如圖10(b)，橫坐標可以表示圖像樣本中、被抹去的像素數量占整體像素數量的百分比，縱坐標可以表示對比主體的預測概率和1與對比對象的預測概率之差的乘積(即p(c)*(1-p(c))，在被圖像樣本被抹去像素的過程中，對比主體和對比對象的預測概率的乘積在逐漸下降。而乘積越小，可以表示當前圖像樣本中、被抹去的像素越能夠真實地反映區分對比主體和對比對象的證據。
[0108]
根據抹去像素的過程中確定的上述乘積，可以確定關于對比主體和對比對象的對
比解釋結果的對比忠誠度。例如可以參照s803的示例計算cauc，cauc的值越小，對應的對比忠誠度越高。
[0109]
圖11示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。該方法可通過服務器或終端設備執行，例如可通過服務器執行下述方法，并控制終端設備或顯示裝置顯示可視化的執行結果，例如顯著圖，對比顯著圖等，如圖11所示，該方法包括：
[0110]
步驟s1101，獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；
[0111]
步驟s1102，將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；
[0112]
步驟s1103，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
[0113]
根據本技術實施例，通過獲取至少一個第一標簽，將所述至少一個第一標簽分為至少一個簇，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，可以實現自動地確定用于對比解釋的對象，無需人工選擇，節省了大量的資源，且可以對所有第一標簽進行對比解釋，使得解釋的內容更加完備，從而更有助于對推理模型進行改進調試，使得推理的結果更加精確，簇間的對比解釋可以解決多主體對象解釋的問題，可以應用于多標簽圖像的場景中，通過簇內第一標簽的對比解釋，且同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高，可以實現對于簇內的標簽更加精細化的區別關鍵特征，使得對比解釋的結果更具有價值，通過以對比顯著圖進行顯示，可以實現對比解釋的結果系統而簡潔地進行可視化顯示。
[0114]
其中，第一標簽可以例如圖3中、步驟s302中的k個標簽(也可以對應上文中的k個類)，簇可以例如s302中的m個簇，本技術對于第一標簽和簇的數量不作限制，第一顯著圖可以例如s303中，得到的顯著圖，第一對比顯著圖和第二對比顯著圖s305中，得到的對比顯著圖。
[0115]
例如，某一圖像樣本對應的第一標簽可以例如大提琴、小提琴、電吉他、木吉他。將所述至少一個第一標簽分為至少一個簇，可以例如將大提琴、小提琴分為一簇，將電吉他、木吉他分為另一簇。根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，可以例如分別確定第一個簇和第二個簇對應的對比顯著圖，第一個簇對應的對比顯著圖可以表示大提琴、小提琴相對于電吉他、木吉他作為圖像樣本的推理結果的依據，第二個簇對應的對比顯著圖可以表示電吉他、木吉他相對于大提琴、小提琴作為圖像樣本的推理結果的依據。根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，可以例如在第一個簇中，分別確定大提琴、小提琴對應的對比顯著圖，在第二個簇中，分別確定電吉他、木吉他對應的第二對比顯著圖，其中，以大提琴對應的對比顯著圖為例，可以表示第一個簇中，大提琴相對于小提琴作為圖像樣本的推理結果的依據。
[0116]
步驟s1101-s1103的示例可參見圖3中s302-s305。
[0117]
在一種可能的實現方式中，所述第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
[0118]
根據本技術實施例，通過以第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據，可以實現更直觀地對推理結果進行解釋，并且可以使得解釋內容更加豐富，有助于對推理模型進行改進調試，得到更精確的推理模型。
[0119]
其中，第一對比顯著圖的高亮區域可以參照圖7(a)、圖7(b)中高亮區域的示例，第二對比顯著圖的高亮區域可以參照圖7(a.1)、圖7(a.2)、圖7(b.1)、圖7(b.2)、圖7(b.3)中高亮區域的示例。
[0120]
在一種可能的實現方式中，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，包括：消除各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的共有特征，確定各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖；根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，包括：確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，在所述圖像區域內，消除簇內各第一標簽對應的第一顯著圖、相對于簇內其他第一標簽的第一顯著圖的共有特征，確定簇內各第一標簽對應的第一顯著圖中、相對于簇內其他第一標簽的第一顯著圖的差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖。
[0121]
根據本技術實施例，通過消除共有特征，根據差異性特征確定對比顯著圖，可以實現對比解釋結果展示對比主體和對比對象之間的精細化差異，使得解釋的內容更加精準、具體，通過確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，可以使得同一簇內的標簽的對比解釋結果可以局限在圖像中的同一塊區域，使得對比解釋的內容更加精準。
[0122]
其中，共有特征可以例如第一顯著圖中、像素亮度相同的區域，差異性特征可以例如第一顯著圖中、像素亮度不同的區域，消除共有特征、確定差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖，可以例如根據公式(1)所示的方式確定。確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，可以例如通過公式(3)中所示的方式確定，在所述圖像區域內，消除共有特征、確定差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖，可以例如根據公式(2)所示的方式確定
[0123]
需要說明的是，上述過程還可以是通過除公式(1)-公式(3)所示的方式以外的其他方式確定，本技術對此不作限制。
[0124]
上述過程的示例可參照圖3中步驟s304的相關過程。
[0125]
圖12示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。如圖12所示，將所述至少一個第一標簽分為至少一個簇，包括：
[0126]
步驟s1201，將至少一個第二標簽分為至少一個簇，所述第二標簽表示所有圖像樣本的推理結果，各簇內包括所述第二標簽中的至少一個，同一簇內的第二標簽相比其他簇內的第二標簽，出現在同一圖像樣本內的概率更高；
[0127]
步驟s1202，根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇。
[0128]
根據本技術實施例，通過將至少一個第二標簽分為至少一個簇，根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇，可以實現自動地確定對比解釋的對象，無需人工選擇，節省了大量資源，且可以使得易混淆的標簽被分為一個簇內，從而使得對比解釋的結果更具有參考性、更有價值。
[0129]
其中，第二標簽可以例如圖3中，步驟s301中的標簽集中的所有標簽，本技術對此不作限制。所述至少一個第一標簽與所述至少一個第二標簽的對應關系可以根據需要設定，例如是在第一標簽和第二標簽的內容相同的情況下，表示第一標簽與第二標簽相對應。
[0130]
例如，第二標簽可以例如小提琴、大提琴、木吉他、電吉他、班卓琴，將至少一個第二標簽分為至少一個簇，可以例如將小提琴、大提琴分為一簇，將木吉他、電吉他、班卓琴分為另一簇，根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇，可以例如，在第一標簽包括小提琴、大提琴、木吉他、電吉他的情況下，根據上述分簇情況，將第一標簽中的小提琴、大提琴分為一簇，將第一標簽中的木吉他、電吉他分為另一簇。
[0131]
步驟s1201-步驟s1202的示例可參照圖3中步驟s301以及圖4。
[0132]
圖13示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。如圖13所示，該方法還包括：
[0133]
步驟s1301，根據所述第一對比顯著圖，確定所述圖像樣本中、像素對應的第一排序；
[0134]
步驟s1302，根據所述第一排序，依次抹去所述圖像樣本中、預定數量的像素；
[0135]
步驟s1303，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價；和/或
[0136]
步驟s1304，根據所述第二對比顯著圖，確定所述圖像樣本中、像素對應的第二排序；
[0137]
步驟s1305，根據所述第二排序，依次抹去所述圖像樣本中、預定數量的像素；
[0138]
步驟s1306，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價。
[0139]
根據本技術實施例，通過根據對比顯著圖，確定所述圖像樣本中、像素對應的排序，根據排序，依次抹去所述圖像樣本中、預定數量的像素，根據抹去像素過程中得到的至少一張圖像樣本，確定對比顯著圖對應的評價，可以實現定量的對對比解釋的結果進行評價，從而可以直觀的展示對比解釋內容的價值。
[0140]
其中，像素的數量可以根據需要確定，每次抹去的像素的數量可以相同、也可以不同，本技術對此不作限制，確定的對應的評價可以例如上文中的對比忠誠度。
[0141]
步驟s1301、s1304的示例可以參照圖8中s801，步驟s1302、s1305的示例可以參照圖8中s802，步驟s1303、s1306的示例可以參照圖8中s803。
[0142]
在一種可能的實現方式中，所述第一排序根據所述第一對比顯著圖中、各像素的亮度確定，所述第二排序根據所述第二對比顯著圖中、各像素的亮度確定。
[0143]
根據本技術實施例，可以實現更精準的對對比顯著圖指示的對比解釋結果進行評價。
[0144]
其中，第一排序和第二排序可以例如按像素的亮度又高到低進行排序。
[0145]
上述過程的示例可參照圖8中s801的相關描述。
[0146]
圖14示出了根據本技術一實施例的模型推理結果的解釋方法的流程圖。如圖14所示，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價，包括：
[0147]
步驟s1401，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的簇的第一預測概率、以及所述簇以外的其他簇的第二預測概率，所述第一預測概率表示圖像樣本的推理結果為對應的簇的概率，所述第二預測概率表示圖像樣本的推理結果為所述簇以外的其他簇的概率；
[0148]
步驟s1402，根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價；
[0149]
根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價，包括：
[0150]
步驟s1403，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的簇內第一標簽的第三預測概率、以及所述簇內第一標簽以外的簇內其他第一標簽的第四預測概率，所述第三預測概率表示圖像樣本的推理結果為對應的簇內第一標簽的概率，所述第四預測概率表示圖像樣本的推理結果為所述簇內第一標簽以外的其他第一標簽的概率；
[0151]
步驟s1404，根據所述第三預測概率和所述第四預測概率，確定所述第二對比顯著圖的評價。
[0152]
根據本技術實施例，可以實現進行評價時，考慮到對比解釋結果所展示的解釋依據對對比主體的支持程度，且對對比對象的否定程度，從而可以綜合度量對比解釋結果的忠誠度，使得評價的結果更加精準。
[0153]
其中，第一預測概率和第三預測概率可以根據上文公式(4)中的pm(c|x
[r,n]
)確定，第二預測概率和第四預測概率可以根據上文公式(4)中的pm(c|x
[r,n]
)確定，第一預測概率、第二預測概率、第三預測概率、第四預測概率還可以根據除此之外的其他方式確定，本技術對此不作限制，根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價，以及根據所述第三預測概率和所述第四預測概率，確定所述第二對比顯著圖的評價的方式，可以例如參照上述公式(4)，也可以根據除公式(4)之外的其他方式確定，本技術對此不作限制。
[0154]
步驟s1401-s1404的示例可參照圖8中s803的相關描述。
[0155]
圖15示出了根據本技術一實施例的模型推理結果的解釋裝置的結構圖。如圖15所示，該裝置1500包括：
[0156]
獲取模塊1501，用于獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；
[0157]
第一確定模塊1502，用于將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在
同一圖像樣本內的概率更高；
[0158]
第二確定模塊1503，用于根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
[0159]
根據本技術實施例，通過獲取至少一個第一標簽，將所述至少一個第一標簽分為至少一個簇，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，可以實現自動地確定用于對比解釋的對象，無需人工選擇，節省了大量的資源，且可以對所有第一標簽進行對比解釋，使得解釋的內容更加完備，從而更有助于對推理模型進行改進調試，使得推理的結果更加精確，簇間的對比解釋可以解決多主體對象解釋的問題，可以應用于多標簽圖像的場景中，通過簇內第一標簽的對比解釋，且同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高，可以實現對于簇內的標簽更加精細化的區別關鍵特征，使得對比解釋的結果更具有價值，通過以對比顯著圖進行顯示，可以實現對比解釋的結果系統而簡潔地進行可視化顯示。
[0160]
在一種可能的實現方式中，該第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，該第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。
[0161]
根據本技術實施例，通過以第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據，可以實現更直觀地對推理結果進行解釋，并且可以使得解釋內容更加豐富，有助于對推理模型進行改進調試，得到更精確的推理模型。
[0162]
在一種可能的實現方式中，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，包括：消除各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的共有特征，確定各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖；根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，包括：確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，在所述圖像區域內，消除簇內各第一標簽對應的第一顯著圖、相對于簇內其他第一標簽的第一顯著圖的共有特征，確定簇內各第一標簽對應的第一顯著圖中、相對于簇內其他第一標簽的第一顯著圖的差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖。
[0163]
根據本技術實施例，通過消除共有特征，根據差異性特征確定對比顯著圖，可以實現對比解釋結果展示對比主體和對比對象之間的精細化差異，使得解釋的內容更加精準、具體，通過確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，可以使得同一簇內的標簽的對比解釋結果可以局限在圖像中的同一塊區域，使得對比解釋的內容更加精準。
[0164]
在一種可能的實現方式中，將所述至少一個第一標簽分為至少一個簇，包括：將至
少一個第二標簽分為至少一個簇，所述第二標簽表示所有圖像樣本的推理結果，各簇內包括所述第二標簽中的至少一個，同一簇內的第二標簽相比其他簇內的第二標簽，出現在同一圖像樣本內的概率更高；根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇。
[0165]
根據本技術實施例，通過將至少一個第二標簽分為至少一個簇，根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇，可以實現自動地確定對比解釋的對象，無需人工選擇，節省了大量資源，且可以使得易混淆的標簽被分為一個簇內，從而使得對比解釋的結果更具有參考性、更有價值。
[0166]
在一種可能的實現方式中，該裝置還包括：第三確定模塊，用于根據所述第一對比顯著圖，確定所述圖像樣本中、像素對應的第一排序；第一像素抹去模塊，用于根據所述第一排序，依次抹去所述圖像樣本中、預定數量的像素；第四確定模塊，用于根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價；和/或第五確定模塊，用于根據所述第二對比顯著圖，確定所述圖像樣本中、像素對應的第二排序；第二像素抹去模塊，用于根據所述第二排序，依次抹去所述圖像樣本中、預定數量的像素；第六確定模塊，用于根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價。
[0167]
根據本技術實施例，通過根據對比顯著圖，確定所述圖像樣本中、像素對應的排序，根據排序，依次抹去所述圖像樣本中、預定數量的像素，根據抹去像素過程中得到的至少一張圖像樣本，確定對比顯著圖對應的評價，可以實現定量的對對比解釋的結果進行評價，從而可以直觀的展示對比解釋內容的價值。
[0168]
在一種可能的實現方式中，所述第一排序根據所述第一對比顯著圖中、各像素的亮度確定，所述第二排序根據所述第二對比顯著圖中、各像素的亮度確定。
[0169]
根據本技術實施例，可以實現更精準的對對比顯著圖指示的對比解釋結果進行評價。
[0170]
在一種可能的實現方式中，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的簇的第一預測概率、以及所述簇以外的其他簇的第二預測概率，所述第一預測概率表示圖像樣本的推理結果為對應的簇的概率，所述第二預測概率表示圖像樣本的推理結果為所述簇以外的其他簇的概率；根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的簇內第一標簽的第三預測概率、以及所述簇內第一標簽以外的簇內其他第一標簽的第四預測概率，所述第三預測概率表示圖像樣本的推理結果為對應的簇內第一標簽的概率，所述第四預測概率表示圖像樣本的推理結果為所述簇內第一標簽以外的其他第一標簽的概率；根據所述第三預測概率和所述第四預測概率，確定所述第二對比顯著圖的評價。
[0171]
根據本技術實施例，可以實現進行評價時，考慮到對比解釋結果所展示的解釋依據對對比主體的支持程度，且對對比對象的否定程度，從而可以綜合度量對比解釋結果的
忠誠度，使得評價的結果更加精準。
[0172]
圖16示出根據本技術一實施例的模型推理結果的解釋裝置的結構圖。該解釋裝置可適用于圖1示出的數據標注系統中，執行上述圖3-圖14中任一項所示出模型推理結果的解釋方法。例如，該解釋裝置可以是服務器，也可以是可設置于該服務器內部的芯片(系統)或其他部件或組件。又例如，該解釋裝置也可以是上述解釋裝置1500。本技術實施例對此不作限定。
[0173]
如圖16所示，解釋裝置700可以包括處理器701和收發器702。可選地，解釋裝置700可以包括存儲器703。其中，處理器701與收發器702和存儲器703耦合，如可以通過通信總線連接。
[0174]
下面結合圖16對解釋裝置700的各個構成部件進行具體的介紹。
[0175]
上述處理器701是解釋裝置700的控制中心，可以是一個處理器，也可以是多個處理元件的統稱。例如，處理器701是一個或多個中央處理器(central processing unit，cpu)，也可以是特定集成電路(application specific integrated circuit，asic)，或者是被配置成實施本技術實施例的一個或多個集成電路，例如：一個或多個微處理器(digital signal processor，dsp)，或，一個或者多個現場可編程門陣列(field programmable gate array，fpga)。
[0176]
可選地，處理器701可以通過運行或執行存儲在存儲器703內的軟件程序，以及調用存儲在存儲器703內的數據，執行解釋處理裝置700的各種功能。
[0177]
在具體的實現中，作為一種實施例，處理器701可以包括一個或多個cpu，例如圖16中所示出的cpu0和cpu1。
[0178]
在一種可能的實現方式中，解釋裝置700也可以包括多個處理器，例如圖16中所示的處理器701和處理器704。這些處理器中的每一個可以是一個單核處理器(single-cpu)，也可以是一個多核處理器(multi-cpu)。這里的處理器可以指一個或多個通信設備、電路、和/或用于處理數據(例如計算機程序指令)的處理核。
[0179]
上述收發器702，用于與其他解釋裝置之間的通信。例如，解釋裝置700為服務器，收發器702可以用于與另一服務器通信。
[0180]
可選地，收發器702可以包括接收器和發送器(圖16中未單獨示出)。其中，接收器用于實現接收功能，發送器用于實現發送功能。
[0181]
可選地，收發器702可以和處理器701集成在一起，也可以獨立存在，并通過解釋裝置700的輸入/輸出端口(圖16中未示出)與處理器701耦合，本技術實施例對此不作限定。
[0182]
上述存儲器703可用于存儲執行本技術方案的軟件程序，并由處理器701來控制執行，具體實現方式可以參考上述方法實施例，此處不再贅述。
[0183]
其中，存儲器703可以是只讀存儲器(read-only memory，rom)或可存儲靜態信息和指令的其他類型的靜態存儲通信設備，隨機存取存儲器(random access memory，ram)或者可存儲信息和指令的其他類型的動態存儲通信設備，也可以是電可擦可編程只讀存儲器(electrically erasable programmable read-only memory，eeprom)、只讀光盤(compact disc read-only memory，cd-rom)或其他光盤存儲、光碟存儲(包括壓縮光碟、激光碟、光碟、數字通用光碟、藍光光碟等)、磁盤存儲介質或者其他磁存儲通信設備、或者能夠用于攜帶或存儲具有指令或數據結構形式的期望的程序代碼并能夠由計算機存取的任何其他介
質，但不限于此。需要說明的是，存儲器703可以和處理器701集成在一起，也可以獨立存在，并通過解釋裝置700的輸入/輸出端口(圖16中未示出)與處理器701耦合，本技術實施例對此不作限定。
[0184]
需要說明的是，圖16中所示出解釋裝置700的結構并不構成對解釋裝置的實現方式的限定，實際的解釋裝置可以包括比圖示更多或更少的部件，或者組合某些部件，或者不同的部件布置。
[0185]
本技術的實施例提供了一種模型推理結果的解釋裝置，包括：處理器以及用于存儲處理器可執行指令的存儲器；其中，所述處理器被配置為執行所述指令時實現上述方法。
[0186]
本技術的實施例提供了一種終端設備，該終端設備可以執行上述方法。
[0187]
本技術的實施例提供了一種非易失性計算機可讀存儲介質，其上存儲有計算機程序指令，所述計算機程序指令被處理器執行時實現上述方法。
[0188]
本技術的實施例提供了一種計算機程序產品，包括計算機可讀代碼，或者承載有計算機可讀代碼的非易失性計算機可讀存儲介質，當所述計算機可讀代碼在電子設備的處理器中運行時，所述電子設備中的處理器執行上述方法。
[0189]
計算機可讀存儲介質可以是可以保持和存儲由指令執行設備使用的指令的有形設備。計算機可讀存儲介質例如可以是――但不限于――電存儲設備、磁存儲設備、光存儲設備、電磁存儲設備、半導體存儲設備或者上述的任意合適的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括：便攜式計算機盤、硬盤、隨機存取存儲器(random access memory，ram)、只讀存儲器(read only memory，rom)、可擦式可編程只讀存儲器(electrically programmable read-only-memory，eprom或閃存)、靜態隨機存取存儲器(static random-access memory，sram)、便攜式壓縮盤只讀存儲器(compact disc read-only memory，cd-rom)、數字多功能盤(digital video disc，dvd)、記憶棒、軟盤、機械編碼設備、例如其上存儲有指令的打孔卡或凹槽內凸起結構、以及上述的任意合適的組合。
[0190]
這里所描述的計算機可讀程序指令或代碼可以從計算機可讀存儲介質下載到各個計算/處理設備，或者通過網絡、例如因特網、局域網、廣域網和/或無線網下載到外部計算機或外部存儲設備。網絡可以包括銅傳輸電纜、光纖傳輸、無線傳輸、路由器、防火墻、交換機、網關計算機和/或邊緣服務器。每個計算/處理設備中的網絡適配卡或者網絡接口從網絡接收計算機可讀程序指令，并轉發該計算機可讀程序指令，以供存儲在各個計算/處理設備中的計算機可讀存儲介質中。
[0191]
用于執行本技術操作的計算機程序指令可以是匯編指令、指令集架構(instruction set architecture，isa)指令、機器指令、機器相關指令、微代碼、固件指令、狀態設置數據、或者以一種或多種編程語言的任意組合編寫的源代碼或目標代碼，所述編程語言包括面向對象的編程語言—諸如smalltalk、c++等，以及常規的過程式編程語言—諸如“c”語言或類似的編程語言。計算機可讀程序指令可以完全地在用戶計算機上執行、部分地在用戶計算機上執行、作為一個獨立的軟件包執行、部分在用戶計算機上部分在遠程計算機上執行、或者完全在遠程計算機或服務器上執行。在涉及遠程計算機的情形中，遠程計算機可以通過任意種類的網絡—包括局域網(local area network，lan)或廣域網(wide area network，wan)—連接到用戶計算機，或者，可以連接到外部計算機(例如利用因特網服務提供商來通過因特網連接)。在一些實施例中，通過利用計算機可讀程序指令的狀態信
息來個性化定制電子電路，例如可編程邏輯電路、現場可編程門陣列(field-programmable gate array，fpga)或可編程邏輯陣列(programmable logic array，pla)，該電子電路可以執行計算機可讀程序指令，從而實現本技術的各個方面。
[0192]
這里參照根據本技術實施例的方法、裝置(系統)和計算機程序產品的流程圖和/或框圖描述了本技術的各個方面。應當理解，流程圖和/或框圖的每個方框以及流程圖和/或框圖中各方框的組合，都可以由計算機可讀程序指令實現。
[0193]
這些計算機可讀程序指令可以提供給通用計算機、專用計算機或其它可編程數據處理裝置的處理器，從而生產出一種機器，使得這些指令在通過計算機或其它可編程數據處理裝置的處理器執行時，產生了實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的裝置。也可以把這些計算機可讀程序指令存儲在計算機可讀存儲介質中，這些指令使得計算機、可編程數據處理裝置和/或其他設備以特定方式工作，從而，存儲有指令的計算機可讀介質則包括一個制造品，其包括實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作的各個方面的指令。
[0194]
也可以把計算機可讀程序指令加載到計算機、其它可編程數據處理裝置、或其它設備上，使得在計算機、其它可編程數據處理裝置或其它設備上執行一系列操作步驟，以產生計算機實現的過程，從而使得在計算機、其它可編程數據處理裝置、或其它設備上執行的指令實現流程圖和/或框圖中的一個或多個方框中規定的功能/動作。
[0195]
附圖中的流程圖和框圖顯示了根據本技術的多個實施例的裝置、系統、方法和計算機程序產品的可能實現的體系架構、功能和操作。在這點上，流程圖或框圖中的每個方框可以代表一個模塊、程序段或指令的一部分，所述模塊、程序段或指令的一部分包含一個或多個用于實現規定的邏輯功能的可執行指令。在有些作為替換的實現中，方框中所標注的功能也可以以不同于附圖中所標注的順序發生。例如，兩個連續的方框實際上可以基本并行地執行，它們有時也可以按相反的順序執行，這依所涉及的功能而定。
[0196]
也要注意的是，框圖和/或流程圖中的每個方框、以及框圖和/或流程圖中的方框的組合，可以用執行相應的功能或動作的硬件(例如電路或asic(application specific integrated circuit，專用集成電路))來實現，或者可以用硬件和軟件的組合，如固件等來實現。
[0197]
盡管在此結合各實施例對本發明進行了描述，然而，在實施所要求保護的本發明過程中，本領域技術人員通過查看所述附圖、公開內容、以及所附權利要求書，可理解并實現所述公開實施例的其它變化。在權利要求中，“包括”(comprising)一詞不排除其他組成部分或步驟，“一”或“一個”不排除多個的情況。單個處理器或其它單元可以實現權利要求中列舉的若干項功能。相互不同的從屬權利要求中記載了某些措施，但這并不表示這些措施不能組合起來產生良好的效果。
[0198]
以上已經描述了本技術的各實施例，上述說明是示例性的，并非窮盡性的，并且也不限于所披露的各實施例。在不偏離所說明的各實施例的范圍的情況下，對于本技術領域的普通技術人員來說許多修改和變更都是顯而易見的。本文中所用術語的選擇，旨在最好地解釋各實施例的原理、實際應用或對市場中的技術的改進，或者使本技術領域的其它普通技術人員能理解本文披露的各實施例。
技術特征：
1.一種模型推理結果的解釋方法，其特征在于，所述方法包括：獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。2.根據權利要求1所述的方法，其特征在于，所述第一對比顯著圖的高亮區域表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖的高亮區域表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。3.根據權利要求1或2所述的方法，其特征在于，根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，包括：消除各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的共有特征，確定各簇對應的第一顯著圖中、相對于其他簇的第一顯著圖的差異性特征，根據所述差異性特征，確定各簇對應的第一對比顯著圖；根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，包括：確定各第一標簽對應的簇的第一顯著圖所指示的該簇的對應的圖像區域，在所述圖像區域內，消除簇內各第一標簽對應的第一顯著圖、相對于簇內其他第一標簽的第一顯著圖的共有特征，確定簇內各第一標簽對應的第一顯著圖中、相對于簇內其他第一標簽的第一顯著圖的差異性特征，根據所述差異性特征，確定簇內各第一標簽對應的第二對比顯著圖。4.根據權利要求1-3任一項所述的方法，其特征在于，將所述至少一個第一標簽分為至少一個簇，包括：將至少一個第二標簽分為至少一個簇，所述第二標簽表示所有圖像樣本的推理結果，各簇內包括所述第二標簽中的至少一個，同一簇內的第二標簽相比其他簇內的第二標簽，出現在同一圖像樣本內的概率更高；根據所述至少一個第一標簽與所述至少一個第二標簽的對應關系，將所述至少一個第一標簽中、對應的所述第二標簽為同一簇的第一標簽分為一簇。5.根據權利要求1-4任一項所述的方法，其特征在于，所述方法還包括：根據所述第一對比顯著圖，確定所述圖像樣本中、像素對應的第一排序；根據所述第一排序，依次抹去所述圖像樣本中、預定數量的像素；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價；和/或根據所述第二對比顯著圖，確定所述圖像樣本中、像素對應的第二排序；根據所述第二排序，依次抹去所述圖像樣本中、預定數量的像素；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價。
6.根據權利要求5所述的方法，其特征在于，所述第一排序根據所述第一對比顯著圖中、各像素的亮度確定，所述第二排序根據所述第二對比顯著圖中、各像素的亮度確定。7.根據權利要求5-6任一項所述的方法，其特征在于，根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第一對比顯著圖對應的簇的第一預測概率、以及所述簇以外的其他簇的第二預測概率，所述第一預測概率表示圖像樣本的推理結果為對應的簇的概率，所述第二預測概率表示圖像樣本的推理結果為所述簇以外的其他簇的概率；根據所述第一預測概率和所述第二預測概率，確定所述第一對比顯著圖的評價；根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的評價，包括：根據抹去像素過程中得到的至少一張圖像樣本，確定所述第二對比顯著圖對應的簇內第一標簽的第三預測概率、以及所述簇內第一標簽以外的簇內其他第一標簽的第四預測概率，所述第三預測概率表示圖像樣本的推理結果為對應的簇內第一標簽的概率，所述第四預測概率表示圖像樣本的推理結果為所述簇內第一標簽以外的其他第一標簽的概率；根據所述第三預測概率和所述第四預測概率，確定所述第二對比顯著圖的評價。8.一種模型推理結果的解釋裝置，其特征在于，所述裝置包括：獲取模塊，用于獲取至少一個第一標簽，所述第一標簽表示圖像樣本的推理結果；第一確定模塊，用于將所述至少一個第一標簽分為至少一個簇，其中，各簇內包括所述第一標簽中的至少一個，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；第二確定模塊，用于根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖，其中，所述第一顯著圖表示各簇或簇內的各第一標簽作為推理結果的依據，所述第一對比顯著圖表示各簇相對于其他簇作為推理結果的依據，所述第二對比顯著圖表示簇內各第一標簽相對于簇內其他第一標簽作為推理結果的依據。9.一種模型推理結果的解釋裝置，其特征在于，包括：處理器；用于存儲處理器可執行指令的存儲器；其中，所述處理器被配置為執行所述指令時實現權利要求1-7任意一項所述的方法。10.一種非易失性計算機可讀存儲介質，其上存儲有計算機程序指令，其特征在于，所述計算機程序指令被處理器執行時實現權利要求1-7中任意一項所述的方法。11.一種計算機程序產品，包括計算機可讀代碼，或者承載有計算機可讀代碼的非易失性計算機可讀存儲介質，當所述計算機可讀代碼在電子設備中運行時，所述電子設備中的處理器執行權利要求1-7中任意一項所述的方法。
技術總結
本申請涉及一種模型推理結果的解釋方法、裝置和存儲介質，所述方法包括：獲取至少一個第一標簽；將所述至少一個第一標簽分為至少一個簇，同一簇內的第一標簽相比其他簇內的第一標簽，出現在同一圖像樣本內的概率更高；根據各簇對應的各第一顯著圖，確定各簇對應的第一對比顯著圖，或者，根據各簇對應的各第一顯著圖和簇內的各第一標簽對應的各第一顯著圖，確定簇內各第一標簽對應的第二對比顯著圖。根據本申請實施例，可以實現自動地確定用于對比解釋的對象，無需人工選擇，減少了解釋時的時耗，且可以更加精細化的區別關鍵特征，解釋效果更佳，通過以對比顯著圖進行顯示，可以實現對比解釋的結果系統而簡潔地進行可視化顯示。解釋的結果系統而簡潔地進行可視化顯示。解釋的結果系統而簡潔地進行可視化顯示。
