一種手術階段識別方法、系統、介質及電子設備
1.本發明涉及一種醫學圖像處理方法，特別是涉及一種手術階段識別方法、系統、介質及電子設備。
背景技術：
2.手術階段識別旨在有效評估并在線跟蹤手術進程，提高現代手術室的安全性與智能水平，且可為現代化手術培訓提供解決方案。然而，現有手術階段識別方法普遍存在識別精度較低的問題。
技術實現要素：
3.鑒于以上所述現有技術的缺點，本發明的目的在于提供一種手術階段識別方法、系統、介質及電子設備，用于解決現有技術中手術階段識別方法識別精度較低的問題。
4.為實現上述目的及其他相關目的，本發明的第一方面提供一種手術階段識別方法，所述手術階段識別方法包括：獲取手術視頻；獲取所述手術視頻在第一時刻的視頻幀特征；利用手術階段識別模型對所述第一時刻的視頻幀特征、第二時刻的視頻幀特征以及所述第二時刻的手術階段進行處理，以獲取所述第一時刻的手術階段，其中，所述第二時刻在所述第一時刻之前，所述手術階段識別模型為基于自回歸transformer的機器學習模型。
5.于所述第一方面的一實施例中，所述手術階段識別模型包括編碼器和解碼器，利用手術階段識別模型對第一時刻的視頻幀特征、第二時刻的視頻幀特征以及所述第二時刻的手術階段進行處理以獲取所述第一時刻的手術階段包括：將所述第一時刻的視頻幀特征和所述第二時刻的視頻幀特征輸入所述編碼器，并將所述第二時刻的手術階段作為條件信息輸入所述解碼器，以獲取所述第一時刻的手術階段。
6.于所述第一方面的一實施例中，將所述第二時刻的手術階段作為條件信息輸入所述解碼器包括：將所述第二時刻的手術階段編碼為與視頻幀特征的維度一致的向量，并將該向量作為條件信息輸入所述解碼器。
7.于所述第一方面的一實施例中，所述手術階段識別模型采用條帶狀掩膜來計算多頭注意力中的注意力依賴關系。
8.于所述第一方面的一實施例中，所述手術階段識別模型的訓練方法包括：獲取訓練數據；根據所述訓練數據，基于教師強制策略對所述手術階段識別模型進行并行化訓練。
9.于所述第一方面的一實施例中，所述第一時刻的手術階段相較于之前時刻未發生轉變，所述手術階段識別方法還包括：獲取所述手術視頻在第三時刻的視頻幀特征，所述第三時刻在所述第一時刻之后；利用所述手術階段識別模型對所述第三時刻的視頻幀特征、所述第一時刻的視頻幀特征以及所述第一時刻的手術階段進行處理，以獲取所述第三時刻的手術階段。
10.于所述第一方面的一實施例中，所述第一時刻的手術階段相較于之前時刻發生轉變，所述手術階段識別方法還包括：獲取所述手術視頻在第三時刻的視頻幀特征，所述第三
時刻在所述第一時刻之后；利用所述手術階段識別模型對所述第三時刻的視頻幀特征、所述第二時刻的視頻幀特征以及所述第二時刻的手術階段進行處理，以獲取所述第三時刻的手術階段；若所述第三時刻的手術階段與所述第一時刻的手術階段不一致，則將所述第一時刻的手術階段修正為轉變前的手術階段。
11.本發明的第二方面提供一種手術階段識別系統，所述手術階段識別系統包括：手術視頻獲取模塊，用于獲取手術視頻；視頻幀特征獲取模塊，用于獲取所述手術視頻在第一時刻的視頻幀特征；手術階段識別模塊，用于利用手術階段識別模型對第一時刻的視頻幀特征、第二時刻的視頻幀特征以及所述第二時刻的手術階段進行處理，以獲取所述第一時刻的手術階段，其中，所述第二時刻在所述第一時刻之前，所述手術階段識別模型為基于自回歸transformer的機器學習模型。
12.本發明的第三方面提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現本發明第一方面中任一項所述的手術階段識別方法。
13.本發明的第四方面提供一種電子設備，所述電子設備包括：存儲器，存儲有一計算機程序；處理器，與所述存儲器通信相連，調用所述計算機程序時執行本發明第一方面中任一項所述的手術階段識別方法。
14.如上所述，本發明一個或多個實施例中所述的手術階段識別方法、系統、介質及電子設備具有以下有益效果：
15.所述手術階段識別方法利用基于自回歸transformer的機器學習模型對當前時刻的視頻幀特征、過去時刻的視頻幀特征以及過去時刻的手術階段進行處理，以獲取當前時刻的手術階段。該過程可以利用條件概率分布來隱式建模不同手術階段之間的依賴關系，因而能夠有效提高手術階段在線識別的精度。
16.此外，所述手術階段識別方法可以采用一致性約束推理策略，通過約束條件信息來進一步約束推理所得手術階段的連續性，有利于進一步提高手術階段識別的精度、可靠性與合理性。
17.進一步地，所述手術階段識別方法中采用的手術階段識別模型可以采用條帶狀掩膜來計算多頭注意力中的注意力依賴關系，并利用教師強制策略對所述手術階段識別模型進行并行化訓練。通過此種方式能夠有效提升手術階段識別模型的處理性能。
附圖說明
18.圖1顯示為本發明實施例中手術階段識別方法的流程圖。
19.圖2顯示為本發明實施例中手術階段識別系統的訓練方法流程圖。
20.圖3顯示為本發明實施例中的相關步驟流程圖。
21.圖4顯示為本發明實施例中的相關步驟流程圖。
22.圖5顯示為本發明實施例中手術階段識別系統的結構示意圖。
23.圖6顯示為本發明實施例中電子設備的結構示意圖。
24.元件標號說明
25.500
???????
手術階段識別系統
26.510
???????
手術視頻獲取模塊
27.520
???????
視頻幀特征獲取模塊
28.530
???????
手術階段識別模塊
29.600
???????
電子設備
30.610
???????
存儲器
31.620
???????
處理器
32.630
???????
顯示器
33.s11～s13
??
步驟
34.s21～s22
??
步驟
35.s31～s33
??
步驟
36.s41～s42
??
步驟
具體實施方式
37.以下通過特定的具體實例說明本發明的實施方式，本領域技術人員可由本說明書所揭露的內容輕易地了解本發明的其他優點與功效。本發明還可以通過另外不同的具體實施方式加以實施或應用，本說明書中的各項細節也可以基于不同觀點與應用，在沒有背離本發明的精神下進行各種修飾或改變。需說明的是，在不沖突的情況下，以下實施例及實施例中的特征可以相互組合。
38.需要說明的是，以下實施例中所提供的圖示僅以示意方式說明本發明的基本構想，圖示中僅顯示與本發明中有關的組件而非按照實際實施時的組件數目、形狀及尺寸繪制，其實際實施時各組件的型態、數量及比例可為一種隨意的改變，且其組件布局型態也可能更為復雜。此外，在本文中，諸如“第一”、“第二”等之類的關系術語僅僅用來將一個實體或者操作與另一個實體或操作區分開來，而不一定要求或者暗示這些實體或操作之間存在任何這種實際的關系或者順序。
39.手術階段識別旨在有效評估并在線跟蹤手術進程，提高現代手術室的安全性與智能水平，且可為現代化手術培訓提供解決方案。然而，現有手術階段識別方法普遍存在識別精度較低的問題。
40.至少針對上述問題，本發明提供一種手術階段識別方法。接下來將通過具體實施例結合附圖的方式對該手術階段識別方法進行介紹。
41.圖1顯示為本發明的一實施例中手術階段識別方法的流程圖。如圖1所示，本實施例中手術階段識別方法包括以下步驟s11至步驟s13。
42.s11，獲取手術視頻，該手術視頻可以由圖像采集設備對手術現場進行采集得到，但本發明并不以此為限。
43.s12，獲取手術視頻在第一時刻的視頻幀特征。
44.s13，利用手術階段識別模型對第一時刻的視頻幀特征、第二時刻的視頻幀特征以及第二時刻的手術階段進行處理，以獲取第一時刻的手術階段。其中，第二時刻在第一時刻之前，例如可以為第一時刻之前的某一時間點，也可以為第一時刻之前某一時間段內的兩個或多個時間點。手術階段識別模型可以為基于自回歸transformer的機器學習模型。
45.可選地，本實例提供的手術階段在線識別方法可用于手術階段在線識別。此時，步驟s11中實時獲取圖像采集設備采集到的手術視頻，步驟s12中獲取手術視頻在當前時刻的視頻幀特征，步驟s13中利用手術階段識別模型根據當前時刻的視頻幀特征、過去時刻的視
頻幀特征以及過去時刻的手術階段獲取當前時刻的手術階段。
46.由于手術階段識別模型為基于自回歸transformer的機器學習模型，因而能夠利用條件概率分布來隱式建模不同手術階段之間的依賴關系，有利于提高手術階段在線識別的精度。
47.于本發明的一實施例中，在獲取手術視頻以后，所述手術階段識別方法還可以包括以下步驟：對手術視頻進行預處理。其中，對手術視頻進行的預處理例如可以包括以下操作中的任意一種或多種：對手術視頻按照一定幀率進行幀采樣，通過形態學操作裁切掉視頻幀邊界上可能存在的黑無效區域，壓縮視頻幀的分辨率。對手術視頻進行預處理能夠有效減小計算量并提高模型輸出的準確度。
48.于本發明的一實施例中，手術視頻的視頻幀特征可以通過特征提取器得到，包括空間特征和/或時間特征。其中，空間特征可以由卷積神經網絡(如resnet-50等)視覺特征提取器逐幀提取得到。時間特征可以在空間特征的基礎上采用其他時序建模方法(如lstm、tcn等)對手術視頻時序進行建模后得到。
49.于本發明的一實施例中，手術階段識別模型包括編碼器和解碼器。利用手術階段識別模型對第一時刻的視頻幀特征、第二時刻的視頻幀特征以及第二時刻的手術階段進行處理以獲取第一時刻的手術階段包括：將第一時刻的視頻幀特征和第二時刻的視頻幀特征輸入編碼器，并將第二時刻的手術階段作為條件信息輸入解碼器，以獲取第一時刻的手術階段。
50.可選地，手術階段識別模型可以采用條帶狀掩膜來計算多頭注意力中的注意力依賴范圍，以使手術階段的決策不會受到長程過去信息與以及噪聲的影響。
51.可選地，本實施例中將第二時刻的手術階段作為條件信息輸入解碼器可以包括以下步驟：將第二時刻的手術階段編碼為與視頻幀特征的維度一致的向量，并將該向量作為條件信息輸入解碼器。例如，可以將全0向量按照手術階段的類數平均分段，并將每一段賦值為1即可得到對應手術階段的編碼表示。
52.可選地，圖2顯示為本實施例中手術階段識別模型的訓練方法流程圖。如圖2所示，本實施例中手術階段識別模型的訓練方法包括以下步驟s21和步驟s22。
53.s21，獲取訓練數據，該訓練數據包括手術視頻的視頻幀特征以及對應的手術階段化。
54.s22，根據訓練數據，基于教師強制策略對手術階段識別模型進行并行化訓練。
55.可選地，本實施例中手術階段識別模型的訓練方法還可以包括：對訓練數據進行數據增強，以在優先數據上提高算法的泛化性能。其中，對訓練數據進行的數據增強例如隨機裁切、翻轉、旋轉和顏抖動等。
56.本實施例中，通過基于教師強制策略對手術階段識別模型進行并行化訓練，以及通過在解碼器處給入手術階段真實標注的編碼實現，能夠加快模型訓練和收斂，從而使得模型輸出盡可能地接近真實標注。此外，得益于條帶狀掩膜的設計，所有時刻的視頻幀特征都可以并行計算且能夠保持在線特征，此種方式可以使得注意力關系更好地學習條件概率分布，隱式建模不同手術階段之間的以來關系，有利于網絡主動學習手術階段轉變的模式。
57.于本發明的一實施例中，若在第一時刻，根據手術階段識別模型獲取的第一時刻的手術階段相較于之前時刻發生轉變，也即，第一時刻預測得到的手術階段與其之前時刻
不同，則采用一致性約束策略來減少推理過程中可能出現的手術階段頻繁跳變現象。其中，第一時刻預測得到的手術階段與之前時刻不同，例如，第一時刻預測得到的手術階段與第二時刻的手術階段不同。具體地，請參閱圖3，所述手術階段識別方法還可以包括以下步驟s31至步驟s33。
58.s31，獲取手術視頻在第三時刻的視頻幀特征，第三時刻在第一時刻之后。第三時刻可以為第一時刻的下一采樣時刻，也可以為第一時刻之后一段時間內的一個或多個時刻。
59.s32，利用手術階段識別模型對第三時刻的視頻幀特征、第二時刻的視頻幀特征以及第二時刻的手術階段進行處理，以獲取第三時刻的手術階段。本實施例中可以采用與步驟s13類似的方法獲取所述第三時刻的手術階段，此處不做過多贅述。
60.s33，若第三時刻的手術階段與第一時刻的手術階段不一致，則將第一時刻的手術階段修正為轉變前的手術階段；否則，不對第一時刻的手術階段進行調整。例如，若手術階段識別模型預測得到的第一時刻的手術階段為a，其之前時刻，例如第二時刻，的手術階段為b，且手術階段識別模型預測得到的第三時刻的手術階段為b，則將第一時刻的手術階段修正為b。
61.可選地，若在第一時刻，根據手術階段識別模型獲取的第一時刻的手術階段與之前時刻相同，則所述手術階段識別方法還可以包括圖4所示的步驟s41和步驟s42。
62.s41，獲取手術視頻在第三時刻的視頻幀特征，第三時刻在第一時刻之后。第三時刻可以為第一時刻的下一采樣時刻，也可以為第一時刻之后一段時間內的一個或多個時刻。
63.s42，利用手術階段識別模型對第三時刻的視頻幀特征、第一時刻的視頻幀特征以及第一時刻的手術階段進行處理，以獲取第三時刻的手術階段。本實施例中可以采用與步驟s13類似的方法獲取所述第三時刻的手術階段，此處不做過多贅述。
64.如上所述，本實施例提供了一種一致性約束策略，在第三時刻的預測手術階段與第一時刻的預測手術階段不一致時，對第一時刻的預測手術階段進行修正，以避免由于困難幀或者噪聲引起的手術階段跳變。在第三時刻的預測手術階段與第一時刻的預測手術階段一致時，不對第一時刻的預測手術階段進行修正。因此，本實施例提供的一致性約束策略不會影響方法的在線推理性能。
65.基于以上對手術階段識別方法的描述，本發明還提供一種手術階段識別系統。圖5顯示為本發明一實施例中手術階段識別系統的結構示意圖。如圖5所示，本實施例中手術階段識別系統500包括手術視頻獲取模塊510、視頻幀特征獲取模塊520以及手術階段識別模塊530。其中，手術視頻獲取模塊510用于獲取手術視頻。視頻幀特征獲取模塊520與手術視頻獲取模塊510相連，用于獲取所述手術視頻在第一時刻的視頻幀特征。手術階段識別模塊530與手術視頻獲取模塊510相連，用于利用手術階段識別模型對第一時刻的視頻幀特征、第二時刻的視頻幀特征以及所述第二時刻的手術階段進行處理，以獲取所述第一時刻的手術階段，其中，所述第二時刻在所述第一時刻之前，所述手術階段識別模型為基于自回歸transformer的機器學習模型。
66.需要說明的是，應理解以上系統的各個模塊的劃分僅僅是一種邏輯功能的劃分，實際實現時可以全部或部分集成到一個物理實體上，也可以物理上分開。且這些模塊可以
全部以軟件通過處理元件調用的形式實現；也可以全部以硬件的形式實現；還可以部分模塊通過處理元件調用軟件的形式實現，部分模塊通過硬件的形式實現。例如，手術視頻獲取模塊510可以為單獨設立的處理元件，也可以集成在上述裝置的某一個芯片中實現，此外，也可以以程序代碼的形式存儲于上述裝置的存儲器中，由上述裝置的某一個處理元件調用并執行以上手術視頻獲取模塊510的功能。其它模塊的實現與之類似。此外這些模塊全部或部分可以集成在一起，也可以獨立實現。這里所述的處理元件可以是一種集成電路，具有信號的處理能力。
67.可選地，手術階段識別模塊530將第一時刻的視頻幀特征和第二時刻的視頻幀特征輸入編碼器，并將第二時刻的手術階段作為條件信息輸入解碼器，以獲取第一時刻的手術階段。
68.可選地，手術階段識別模塊530將第二時刻的手術階段作為條件信息輸入解碼器包括：將第二時刻的手術階段編碼為與視頻幀特征的維度一致的向量，并將該向量作為條件信息輸入解碼器。
69.可選地，手術階段識別模型采用條帶狀掩膜來計算多頭注意力中的注意力依賴關系。
70.可選地，手術階段識別模型的訓練方法包括：獲取訓練數據；根據訓練數據，基于教師強制策略對手術階段識別模型進行并行化訓練。
71.可選地，第一時刻的手術階段相較于之前時刻未發生轉變，手術階段識別系統300還可用于：獲取手術視頻在第三時刻的視頻幀特征，第三時刻在第一時刻之后；利用手術階段識別模型對第三時刻的視頻幀特征、第一時刻的視頻幀特征以及第一時刻的手術階段進行處理，以獲取第三時刻的手術階段。
72.可選地，第一時刻的手術階段相較于之前時刻發生轉變，手術階段識別系統300還可用于：獲取手術視頻在第三時刻的視頻幀特征，第三時刻在第一時刻之后；利用手術階段識別模型對第三時刻的視頻幀特征、第二時刻的視頻幀特征以及第二時刻的手術階段進行處理，以獲取第三時刻的手術階段；若第三時刻的手術階段與第一時刻的手術階段不一致，則將第一時刻的手術階段修正為轉變前的手術階段。
73.本發明還提供一種計算機可讀存儲介質，其上存儲有計算機程序，該計算機程序被處理器執行時實現本發明實施例中所述的手術階段識別方法。
74.本發明中，可以采用一個或多個存儲介質的任意組合。存儲介質可以是計算機可讀信號介質或者計算機可讀存儲介質。計算機可讀存儲介質例如可以是——但不限于——電、磁、光、電磁、紅外線、或半導體的系統、裝置或器件，或者任意以上的組合。計算機可讀存儲介質的更具體的例子(非窮舉的列表)包括：具有一個或多個導線的電連接、便攜式計算機盤、硬盤、ram、rom、可擦式可編程只讀存儲器(eprom或閃存)、光纖、便攜式緊湊盤只讀存儲器(cd-rom)、光存儲器件、磁存儲器件、或者上述的任意合適的組合。在本文件中，計算機可讀存儲介質可以是任何包含或存儲程序的有形介質，該程序可以被指令執行系統、裝置或者器件使用或者與其結合使用。
75.本發明還提供一種電子設備。圖6顯示為本發明的一實施例中電子設備600的結構示意圖。如圖6所示，本實施例中電子設備600包括存儲器610和處理器620。
76.存儲器610用于存儲計算機程序；優選地，存儲器610包括：rom、ram、磁碟、u盤、存
儲卡或者光盤等各種可以存儲程序代碼的介質。
77.具體地，存儲器610可以包括易失性存儲器形式的計算機系統可讀介質，例如隨機存取存儲器(ram)和/或高速緩存存儲器。電子設備600可以進一步包括其它可移動/不可移動的、易失性/非易失性計算機系統存儲介質。存儲器610可以包括至少一個程序產品，該程序產品具有一組(例如至少一個)程序模塊，這些程序模塊被配置以執行本發明各實施例的功能。
78.處理器620與存儲器610相連，用于執行存儲器610存儲的計算機程序，以使電子設備600執行手術階段識別方法。
79.可選地，處理器620可以是通用處理器，包括中央處理器(central processing unit，簡稱cpu)、網絡處理器(network processor，簡稱np)等；還可以是數字信號處理器(digital signal processor，簡稱dsp)、專用集成電路(application specific integrated circuit，簡稱asic)、現場可編程門陣列(field programmable gate array，簡稱fpga)或者其他可編程邏輯器件、分立門或者晶體管邏輯器件、分立硬件組件。
80.可選地，本實施例中電子設備600還可以包括顯示器630。顯示器630與存儲器610和處理器620通信相連，用于顯示手術階段識別方法的相關gui交互界面。
81.本發明所述的手術階段識別方法的保護范圍不限于本實施例列舉的步驟執行順序，凡是根據本發明的原理所做的現有技術的步驟增減、步驟替換所實現的方案都包括在本發明的保護范圍內。
82.本發明還提供一種手術階段識別系統，所述手術階段識別系統可以實現本發明所述的手術階段識別方法，但本發明所述的手術階段識別方法的實現裝置包括但不限于本實施例列舉的手術階段識別系統的結構，凡是根據本發明的原理所做的現有技術的結構變形和替換，都包括在本發明的保護范圍內。
83.綜上所述，本發明實施例中提供的手術階段識別方法利用基于自回歸transformer的機器學習模型對當前時刻的視頻幀特征、過去時刻的視頻幀特征以及過去時刻的手術階段進行處理，以獲取當前時刻的手術階段。該過程可以利用條件概率分布來隱式建模不同手術階段之間的依賴關系，因而能夠有效提高手術階段在線識別的精度。此外，所述手術階段識別方法可以采用一致性約束推理策略，通過約束條件信息來進一步約束推理所得手術階段的連續性，有利于進一步提高手術階段識別的精度、可靠性與合理性。進一步地，所述手術階段識別方法中采用的手術階段識別模型可以采用條帶狀掩膜來計算多頭注意力中的注意力依賴關系，并利用教師強制策略對所述手術階段識別模型進行并行化訓練。通過此種方式能夠有效提升手術階段識別模型的處理性能。
84.因此，本發明有效克服了現有技術中的種種缺點而具高度產業利用價值。
85.上述實施例僅例示性說明本發明的原理及其功效，而非用于限制本發明。任何熟悉此技術的人士皆可在不違背本發明的精神及范疇下，對上述實施例進行修飾或改變。因此，舉凡所屬技術領域中具有通常知識者在未脫離本發明所揭示的精神與技術思想下所完成的一切等效修飾或改變，仍應由本發明的權利要求所涵蓋。
