圖像分割方法、模型的訓練方法、裝置、設備和存儲介質與流程
1.本技術屬于計算機數據處理技術領域，具體涉及一種圖像分割方法、模型的訓練方法、裝置、設備和存儲介質。
背景技術：
2.在獨立醫學影像評估中，通常需要具有完備醫學知識和豐富經驗高年資影像醫生擔任，但是，國內的影像科醫生資源非常緊張，大量的醫學影像數據造成獨立閱片的效率極其低下；并且，即便是高年資醫生，由于知識結構和經驗的差異，也有可能存在例如對同一病人某次訪視的腫瘤大小、重量等指標測量不準確，從而導致對藥物效果評判存在較大差異。
3.公開于該背景技術部分的信息僅僅旨在增加對本技術的總體背景的理解，而不應當被視為承認或以任何形式暗示該信息構成已為本領域一般技術人員所公知的現有技術。
技術實現要素：
4.本技術的目的在于提供一種醫學圖像分割方法，其用于解決現有技術中影像評估資源緊張，且準確率難以保證的問題。
5.為實現上述目的，本技術提供了一種醫學圖像分割方法，所述方法包括：獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖，其中，所述特征圖包括感興趣區域；對所述特征圖執行m層特征降維，以獲得m個中間層特征圖；對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，其中，所述n個中間層光流特征圖中的至少一個融合有對應維度的所述中間層特征圖上感興趣區域提取的光流特征；融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖；基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。
6.一實施例中，基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域，具體包括：融合多個所述空間交叉特征圖，以獲得多維時空交叉特征圖；分別融合所述多維時空交叉特征圖與多個所述空間交叉特征圖后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。
7.一實施例中，所述方法具體包括：將多個所述空間交叉特征圖中的對應特征進行加權平均，以獲得多維時空交叉特征圖；將所述多維時空交叉特征圖分別與多個所述空間交叉特征圖中的對應特征進行
進行乘積計算后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。
8.一實施例中，對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，具體包括：在對所述光流特征圖執行前n-1層特征降維時，融合對應維度的所述中間層特征圖上感興趣區域提取的光流信息，以獲得對應的中間層光流特征圖。
9.本技術還提供一種醫學圖像分割模型的訓練方法，在模型訓練階段，所述方法包括：獲取訓練樣本集，其中，所述訓練樣本集中包括多個第一特征圖以及與所述多個第一特征圖對應的第一感興趣區域掩膜；基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域；提取所述第一感興趣區域的光流信息，以獲得光流特征圖；其中，所述醫學圖像分割模型基于如上所述的醫學圖像分割方法進行圖像分割。
10.一實施例中，在模型測試階段，所述方法還包括：獲取測試樣本集，其中，所述測試樣本集中包括多個第二特征圖；基于設定閾值對所述測試樣本集中的第二特征圖進行特征歸一化，以獲得對應的二值化圖像；保留所述二值化圖像中面積最大的圖像區域為第二感興趣區域掩膜；基于所述第二感興趣區域掩膜確定對應第二特征圖上的第二感興趣區域；提取所述第二感興趣區域的光流信息，以獲得光流特征圖。
11.本技術還提供一種醫學圖像分割裝置，包括：特征提取模塊，用于獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖，其中，所述特征圖包括感興趣區域；特征降維模塊，用于對所述特征圖執行m層特征降維，以獲得m個中間層特征圖；第一光流提取模塊，用于對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，其中，所述n個中間層光流特征圖中的至少一個融合有對應維度的所述中間層特征圖上感興趣區域提取的光流特征；融合模塊，用于融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖；分割模塊，用于基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。
12.本技術還提供一種醫學圖像分割模型的訓練裝置，包括：獲取模塊，用于獲取訓練樣本集，其中，所述訓練樣本集中包括多個第一特征圖以及與所述多個第一特征圖對應的第一感興趣區域掩膜；確定模塊，用于基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域；第二光流提取模塊，用于提取所述第一感興趣區域的光流信息，以獲得光流特征圖；其中，所述醫學圖像分割模型基于如上所述的醫學圖像分割方法進行圖像分割。
13.本技術還提供一種電子設備，包括：
至少一個處理器；以及存儲器，所述存儲器存儲指令，當所述指令被所述至少一個處理器執行時，使得所述至少一個處理器執行如上所述的醫學圖像分割方法或醫學圖像分割模型的訓練方法。
14.本技術還提供一種機器可讀存儲介質，其存儲有可執行指令，所述指令當被執行時使得所述機器執行如上所述的醫學圖像分割方法或醫學圖像分割模型的訓練方法。
15.與現有技術相比，根據本技術的醫學圖像分割方法，通過融合空間特征（特征圖的特征降維）、光流特征（感興趣區域光流特征提取）、時序特征（目標圖像序列中的多個特征圖），獲得空間交叉特征圖，可以給與模型圖像分割時更多的參考信息，提高分割的精確度。
16.在另一個方面，相較于整張圖像的光流特征提取，采取感興趣區域光流特征提取的方式，能夠降低資源量的耗費以及圖像周邊區域可能對感興趣區域光流特征的干擾。
17.在另一個方面，利用多維空間交叉特征圖與多個空間交叉特征圖的融合，可以進一步加強時空特征融合的深度和感興趣區域的顯著性。
附圖說明
18.圖1是本技術醫學圖像分割方法應用的場景示意圖；圖2是根據本技術一實施例醫學圖像分割方法的流程圖；圖3是根據本技術一實施例醫學圖像分割方法中，從圖像序列的圖像中生成多維時空交叉特征圖的網絡架構圖；圖4是根據本技術一實施例醫學圖像分割模型的訓練方法中，訓練階段的流程圖；圖5是根據本技術一實施例醫學圖像分割模型的訓練方法中，測試階段的流程圖；圖6是根據本技術一實施例醫學圖像分割模型的訓練方法中，訓練階段和測試階段的網絡架構圖；圖7根據本技術一實施例醫學圖像分割裝置的模塊圖；圖8根據本技術一實施例醫學圖像分割模型的訓練裝置的模塊圖；圖9是根據本技術一實施例電子設備的硬件結構圖。
具體實施方式
19.以下將結合附圖所示的各實施方式對本技術進行詳細描述。但該等實施方式并不限制本技術，本領域的普通技術人員根據該等實施方式所做出的結構、方法、或功能上的變換均包含在本技術的保護范圍內。
20.本技術的說明書和權利要求書及上述附圖中的術語“第一”、“第二”、“第三”、“第四”等（如果存在）是用于區別類似的對象，而不必用于描述特定的順序或先后次序。應該理解這樣使用的數據在適當情況下可以互換，以便這里描述的本技術的實施例例如能夠以除了在這里圖示或描述的那些以外的順序實施。此外，術語“包括”和“對應于”以及他們的任何變形，意圖在于覆蓋不排他的包含，例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限于清楚地列出的那些步驟或單元，而是可包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。
21.隨著全球醫藥市場競爭的日益激烈，藥企對于研發、生產、銷售成本控制和效率提升的強烈需求推動了醫藥外包行業的產生和發展。醫藥外包行業中的臨床機構管理組織
（site management organization，smo）是為藥企研發臨床試驗提供專業服務的組織。smo的主要專業人員臨床研究協調員（clinical research coordinator，crc）會被分配到臨床試驗現場，在主要研究者（principal investigator，pi）的指導下支持日常非臨床工作。在smo提供的服務中，獨立影像評估是其中的一項重要內容。
22.在新藥的研發流程中，需要受試者的臨床數據作為評估藥效的依據，并且通過臨床實驗的藥物才能后續上市。以腫瘤新藥的研發為例，獨立影像評估被美國食品藥品監督管理局fda和歐洲藥品管理局ema指定為新化療藥物療效評估的推薦試驗方法。在此過程中，smo的醫學影像專員會將每個訪視的醫學影像數據提交給獨立影像評估委員會（independent review committee，irc）進行獨立閱片，評估試驗藥物對腫瘤的效果。
23.近年來，隨著人工智能（artificial intelligence，ai）技術的快速發展與不斷落地，其在獨立影像評估過程中腫瘤分割應用上釋放出巨大的潛力，從保證質量和提高速度兩個維度，給醫學圖像處理提供數字化、智能化的支持。
24.基于此，一個具體的場景示例中，提出一種醫學圖像分割方法。該醫學圖像分割方法可以運行在獨立影像評估平臺中，且獨立影像評估平臺可以部署在服務器中。醫生或者研究者在研究中心（例如醫院）通過醫學圖像采集設備對受試者的特定身體部位（可以記為身體區域）進行醫學影像檢查，得到醫學圖像數據。臨床協調員crc將收集到的醫學圖像數據上傳至服務器或者與服務器通信連接的計算機設備中。收集到的醫學影像數據包括一系列訪視或者某個受試者的醫學圖像序列。醫學圖像序列中包括若干張針對身體區域進行拍攝得到的醫學圖像。服務器上可以部署有醫學圖像分割模型，通過醫學圖像分割模型對圖像進行處理，通過對圖像中光流特征、空間特征以及時序特征等的利用，從圖像中分割出感興趣區域。
25.參圖1，在本技術應用的一個典型系統架構中，可以包括服務器和終端。用戶可以使用終端與服務器交互，例如通過終端指示服務器接收目標圖像序列，以接收或者發送消息等。本技術公開的醫學醫學圖像分割方法可以由服務器執行，相應地，本技術公開的醫學圖像分割裝置可以設置于服務器中。
26.服務器可以是獨立的物理服務器，也可以是多個物理服務器構成的服務器集或者分布式系統，還可以是提供云服務、云數據庫、云計算、云函數、云存儲、網絡服務、云通信、中間件服務、域名服務、安全服務、內容分發網絡（content delivery network，cdn）、以及大數據和人工智能平臺等基礎云計算服務的云服務器。
27.在終端可提供相匹配算力的系統架構中，本技術公開的醫學圖像分割方法也可以直接由終端執行，相應地，本技術公開的醫學圖像分割裝置可以設置于終端中。
28.參圖2，介紹本技術醫學圖像分割方法的一實施例。在本實施例中，該方法包括：s11、獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖。
29.配合參圖3，按照圖像收集方案，目標對象可以是通過例如ct（computed tomography，電子計算機斷層掃描）、mri（magnetic resonance imaging，磁共振成像）等多種技術手段進行檢查，并生成相應的醫學圖像序列。
30.本實施例中，目標圖像序列可以是被保存為dicom圖像（即dicom文件）。dicom文件的保存方式為，一幅ct掃描序列中的醫學影像（image）對應保存為一個dicom文件，如果采集一個圖像序列（image series），比如一個腦部的圖像序列，或者一個全身的圖像序列，則
會被保存為相應數量的dicom文件。這里一個dicom文件指保存為了一個獨立文件（例如后綴為*.dcm的文件）。其中，每個dicom文件的影像數據對應醫學圖像序列內一個影像切片（slice）的影像，多個圖像序列可以對應至一個受試者的同一檢查（study）。
31.以目標圖像序列為ct圖像序列為例，可以采用pydicom、dcm4che、dcmtk等軟件包讀取醫學圖像序列，可以理解的，不同的編程語言都可以對應一種或者多種解析dicom格式醫學圖像序列的軟件包。
32.圖像的特征提取可以理解為對圖像的降維過程，通常可以對圖像進行卷積處理和池化處理等，本實施例對此不作限制。
33.例如，可以通過特征提取網絡中的級聯的兩個特征提取層對圖像進行空間特征提取，并將原始圖像轉換為灰度自然圖像。該圖像特征提取網絡具體可以是神經網絡模型，該神經網絡可以是視覺幾何組網絡（vggnet，visual geometry group network）、殘差網絡（resnet， residual network）和密集連接卷積網絡（densenet，dense convolutional network）等等，但是應當理解的是，本實施例的神經網絡并不僅限于上述列舉的幾種類型。示范性地，用于降維的每個特征提取層中可以分別包括卷積conv層、披歸一化batchnorm層、激活relu層、以及池化pooling層。
34.s12、對所述特征圖執行m層特征降維以獲得m個中間層特征圖。
35.類似地，這里的特征降維可以參考步驟s11中的特征提取操作，第一次特征降維的輸入為原始的特征圖，隨后的每次特征降維的輸入均為上一次特征降維的輸出，也即，通過梯次向下采樣。本實施例中，隨著1層、2層、
…
、m層的特征降維，分別對應的第1個、第2個、
…
、第m個中間層特征圖的分辨率逐漸降低。
36.s13、對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖。
37.對特征圖中感興趣區域的光流特征提取可以獲得局部稀疏光流特征，相較于整個特征圖的光流特征提取更加節約計算資源。需要說明的是，本技術各實施例中提及的從特征圖中感興趣區域提取的光流特征，可以是指該特征圖中感興趣區域相較于目標圖像序列中另一特征圖中感興趣區域而言。
38.光流特征可以用光流矢量表示。可以利用圖像序列中的像素強度數據的時域變化和相關性來確定像素位置的運動，得到各個像素點的運動速度，作為光流信息。可以獲取從光流參考特征圖到當前特征圖之間感興趣區域對應的光流信息，作為當前特征圖中感興趣區域對應的光流信息。光流的提取例如可以是基于梯度的方法、基于匹配的方法、基于能量的方法、基于相位的方法。例如可以是lucas-kanade計算方法，該計算方法假設在一個一定的空間鄰域內運動矢量保持恒定，使用加權最小二乘法估計光流。光流的計算方法方法還可以使用稠密光流提取方法，也可以基于深度學習的flownet（光流神經網絡）來進行光流的提取，flownet可以利用卷積神經網絡預測光流信息，可以將光流預測問題建模為有監督的深度學習問題。此外，還有諸如hs光流算法、pyramidal lk算法等，本實施例對此不作限制。
39.由于光流特征提取并未降低原始特征圖的維度，因此對于光流特征圖而言，其維度與原始特征度相同；其后，光流特征圖的每層特征降維都可以和對應層的特征圖的特征降維保持相同的降維維度。這樣，n個中間層光流特征圖和m各中間層特征圖可以在對應的
層級上維度對應。
40.以原始特征圖的大小為128*128為例，經過一層特征降維后的中間層特征圖的大小為32*32，經過兩層特征降維后的中間層特征圖的大小為8*8。從原始特征圖提取的光流特征圖的大小保持128*128，該光流特征圖經過一層特征降維后的中間層光流特征圖的大小為32*32，經過兩層特征降維后的中間層光流特征圖的大小為8*8。
41.當然，在替換的實施例中，對特征圖和光流特征圖每層的降維維度也可以設置為不同，在此不再贅述。
42.如圖3所示的網絡結構中，包括了兩個分支網絡，其中的第一分支網絡和第二分支網絡分別對應步驟s12對特征圖的特征降維、以及步驟s13對光流特征圖的特征降維。第一分支網絡和第二分支網絡在每層降維時都可以選用兩個降維層，并且，兩個分支網絡中的降維層可以是相同的或者共享的。
43.本實施例中，n個中間層光流特征圖中的至少一個融合有對應維度的中間層特征圖上感興趣區域提取的光流特征。還是以圖3所示的網絡結構為例，在第二分支網絡中，光流特征圖經過一次特征降維后，與中間層特征圖1上感興趣區域提取的光流特征進行特征融合，從而獲得中間層光流特征圖1；中間層光流特征圖1再進行特征降維，并直接獲得中間層光流特征圖2。
44.具體地，在對光流特征圖執行前n-1層特征降維時，融合對應維度的中間層特征圖提取的光流信息，以獲得對應的中間層光流特征圖。也即，只有最后一次特征降維得到中間層光流特征圖中，沒有融合對應維度的中間層特征圖上感興趣區域提取的光流信息。這里所說的“融合”，可以是指將中間層特征圖提取的光流信息與光流特征圖中對應特征進行加和或者乘積計算。
45.s14、融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖。
46.空間交叉特征圖實現了對圖像和光流的空間特征融合。類似地，這里所說的“融合”也可以是指將中間層特征圖和中間層光流特征圖中對應的特征進行加和或者乘積計算。
47.在第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖維度相同的情況下，兩者的特征可以一一對應，并直接進行上述的加和或者乘積計算。而若兩者的維度并不相同，則可以先行將兩者的維度統一，本實施例在此不再贅述。
48.s15、基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。
49.對于一個圖像序列而言，其一次掃描時可能是包括單身體部位或者多個身體部位。例如，可以包括頭、頸、胸、腹、盆、頭頸、頭頸胸、頭頸胸腹、頭頸胸腹盆、頸胸、頸胸腹、頸胸腹盆、胸腹、胸腹盆、腹盆中的至少一個。頭、頸、胸、腹、盆可以理解為單身體部位，頭頸、頭頸胸、頭頸胸腹、頭頸胸腹盆、頸胸、頸胸腹、頸胸腹盆、胸腹、胸腹盆、腹盆可以理解為多個身體部位的復合身體部位。
50.可以理解，上述圖像序列中的多張圖像的掃描成像時間也不同，因此，基于圖像序列中的多個特征圖的空間交叉特征圖進行感興趣區域的分割，相當于增加了時間的特征（沿掃描方向維度），將2d的分割網絡拓展為了3d的分割網絡，增加了感興趣區域分割的可
信度。
51.具體地，可以首先融合多個空間交叉特征圖，以獲得多維時空交叉特征圖；再分別融合多維時空交叉特征圖與多個空間交叉特征圖后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。這里，多維時空交叉特征圖與空間交叉特征圖的融合可以加強時空特征融合的深度以及待分割的感興趣區域的腫瘤特征的顯著性。
52.類似地，在融合過程中，可以將多個空間交叉特征圖中的對應特征進行加權平均，以獲得多維時空交叉特征圖；再將多維時空交叉特征圖分別與多個空間交叉特征圖中的對應特征進行進行乘積計算后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。
53.在本技術的各實施例中，解碼部分可以使用unet、fcn（full convolutional networks，全卷積神經網絡）、deeplab系列等網絡使用的傳統的上采樣或反卷積方法實施。
54.參圖4，介紹本技術醫學圖像分割模型的訓練方法的一實施例。本技術所提及的醫學圖像分割模型可以利用上述實施例中的醫學圖像分割方法進行圖像分割。
55.在本技術醫學圖像分割模型的訓練階段：s211、獲取訓練樣本集。
56.配合參圖6，訓練樣本集中包括多個第一特征圖f_i（i=1..3）以及與該多個第一特征圖對應的第一感興趣區域掩膜。第一感興趣區域掩膜可以是通過人工對第一特征圖的二值化圖像進行標注獲得，例如，與第一感興趣區域對應的部分標注為1，非感興趣區域部分標注為0。
57.s212、基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域。
58.具體地，可以將第一感興趣掩膜和第一特征圖中對應的像素進行乘積計算。由于第一感興趣區域掩膜中，對應第一感興趣區域部分的值為1、剩余區域部分的值為0。經過上述的乘積計算，第一特征圖中的非感興趣區域的像素值會變為0，而第一感興趣區域部分的像素值不變，從而確定第一特征圖上的第一感興趣區域。
59.s213、提取所述第一感興趣區域的光流信息，以獲得光流特征圖。
60.類似地，這里的光流信息的提取可以是基于hs光流算法、lucas-kanade算法、pyramidal lk算法等，在此不再贅述。
61.參圖5和圖6，在本技術醫學圖像分割模型的測試階段：s221、獲取測試樣本集。
62.測試樣本集中包括多個第二特征圖。
63.s222、基于設定閾值對所述測試樣本集中的第二特征圖進行特征歸一化，以獲得對應的二值化圖像。
64.在將第二特征圖進行特征歸一化的過程中，可以根據經驗或者場景的不同，設定合適的閾值，例如0.9。也即，在歸一化過程中，如果第二特征圖中某個像素的歸一化值大于0.9，則將該像素的值置為1，反之，則置為0。
65.s223、保留所述二值化圖像中面積最大的圖像區域為第二感興趣區域掩膜。
66.本實施例中，基于面積的大小確定二值化圖像中的第二感興趣區域，也即，認為面積最大的圖像區域具有為第二感興趣區域的最大置信度。其中，這里將二值化圖像中面積最大的區域保留為第二感興趣區域掩膜，可以是將二值化圖像中除了面積最大的區域外的
其余區域部分的像素值都置為0。
67.s224、基于所述第二感興趣區域掩膜確定對應第二特征圖上的第二感興趣區域。
68.s225、提取所述第二感興趣區域的光流信息，以獲得光流特征圖。
69.類似地，確定第二感興趣區域以及提取第二特征圖中第二感興趣區域的光流信息的方法，都可以參考上述模型訓練階段中所述，在此不再贅述。
70.在本技術醫學圖像分割模型的訓練方法中，由于并未涉及對訓練方法的其它部分改進，因此并未對這些可能的其它步驟進行具體的解釋。如本領域技術人員所知，模型的訓練過程中，還可以以最小化損失函數為目標，并通過驗證樣本集驗證模型的訓練效果。示范性地，損失函數可以采用cross entroy（交叉熵損失）函數、dice loss（骰子損失）函數等。
71.參圖7，介紹本技術醫學圖像分割裝置的一實施例。在本實施例中，該醫學圖像分割裝置包括特征提取模塊、特征降維模塊、第一光流提取模塊、融合模塊、以及分割模塊。
72.特征提取模塊，用于獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖，其中，所述特征圖包括感興趣區域；特征降維模塊，用于對所述特征圖執行m層特征降維，以獲得m個中間層特征圖；第一光流提取模塊，用于對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，其中，所述n個中間層光流特征圖中的至少一個融合有對應維度的所述中間層特征圖上感興趣區域提取的光流特征；融合模塊，用于融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖；分割模塊，用于基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。
73.一實施例中，分割模塊具體用于融合多個所述空間交叉特征圖，以獲得多維時空交叉特征圖；分別融合所述多維時空交叉特征圖與多個所述空間交叉特征圖后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。
74.一實施例中，分割模塊具體用于將多個所述空間交叉特征圖中的對應特征進行加權平均，以獲得多維時空交叉特征圖；將所述多維時空交叉特征圖分別與多個所述空間交叉特征圖中的對應特征進行進行乘積計算后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。
75.一實施例中，第一光流提取模塊具體用于在對所述光流特征圖執行n-1層特征降維時，融合對應維度的所述中間層特征圖上感興趣區域提取的光流信息，以獲得對應的中間層光流特征圖。
76.參圖8，介紹本技術醫學圖像分割模型的訓練裝置的一實施例。該醫學圖像分割模型基于如上實施例所述的醫學圖像分割方法進行圖像分割。在本實施例中，該醫學圖像分割模型的訓練裝置包括獲取模塊、確定模塊、以及第二光流提取模塊。
77.獲取模塊用于獲取訓練樣本集，其中，所述訓練樣本集中包括多個第一特征圖以及與所述多個第一特征圖對應的第一感興趣區域掩膜；確定模塊用于基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域；第二光流提取模塊用于提取所述第一感興趣區域的光流信息，以獲得光流特征圖。
78.獲取模塊還用于獲取測試樣本集，其中，所述測試樣本集中包括多個第二特征圖；確定模塊還用于基于設定閾值對所述測試樣本集中的第二特征圖進行特征歸一化，以獲得對應的二值化圖像；保留所述二值化圖像中面積最大的圖像區域為第二感興趣區域掩膜；
基于所述第二感興趣區域掩膜確定對應第二特征圖上的第二感興趣區域；第二光流提取模塊還用于提取所述第二感興趣區域的光流信息，以獲得光流特征圖。
79.如上參照圖1至圖6，對根據本說明書實施例醫學圖像分割方法和醫學圖像分割模型的訓練方法進行了描述。在以上對方法實施例的描述中所提及的細節，同樣適用于本說明書實施例的醫學圖像分割裝置和醫學圖像分割模型的訓練裝置。上面的醫學圖像分割裝置和醫學圖像分割模型的訓練裝置可以采用硬件實現，也可以采用軟件或者硬件和軟件的組合來實現。
80.圖9示出了根據本說明書的實施例的電子設備的硬件結構圖。如圖9所示，電子設備30可以包括至少一個處理器31、存儲器32(例如非易失性存儲器)、內存33和通信接口34，并且至少一個處理器31、存儲器32、內存33和通信接口34經由內部總線35連接在一起。至少一個處理器31執行在存儲器32中存儲或編碼的至少一個計算機可讀指令。
81.應該理解，在存儲器32中存儲的計算機可執行指令當執行時使得至少一個處理器31進行本說明書的各個實施例中以上結合圖1至圖6描述的各種操作和功能。
82.在本說明書的實施例中，電子設備30可以包括但不限于：個人計算機、服務器計算機、工作站、桌面型計算機、膝上型計算機、筆記本計算機、移動電子設備、智能電話、平板計算機、蜂窩電話、個人數字助理(pda)、手持裝置、消息收發設備、可佩戴電子設備、消費電子設備等等。
83.根據一個實施例，提供了一種比如機器可讀介質的程序產品。機器可讀介質可以具有指令(即，上述以軟件形式實現的元素)，該指令當被機器執行時，使得機器執行本說明書的各個實施例中以上結合圖1-圖6描述的各種操作和功能。具體地，可以提供配有可讀存儲介質的系統或者裝置，在該可讀存儲介質上存儲著實現上述實施例中任一實施例的功能的軟件程序代碼，且使該系統或者裝置的計算機或處理器讀出并執行存儲在該可讀存儲介質中的指令。
84.在這種情況下，從可讀介質讀取的程序代碼本身可實現上述實施例中任何一項實施例的功能，因此機器可讀代碼和存儲機器可讀代碼的可讀存儲介質構成了本說明書的一部分。
85.可讀存儲介質的實施例包括軟盤、硬盤、磁光盤、光盤(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁帶、非易失性存儲卡和rom。可選擇地，可以由通信網絡從服務器計算機上或云上下載程序代碼。
86.本領域技術人員應當理解，上面公開的各個實施例可以在不偏離發明實質的情況下做出各種變形和修改。因此，本說明書的保護范圍應當由所附的權利要求書來限定。
87.需要說明的是，上述各流程和各系統結構圖中不是所有的步驟和單元都是必須的，可以根據實際的需要忽略某些步驟或單元。各步驟的執行順序不是固定的，可以根據需要進行確定。上述各實施例中描述的裝置結構可以是物理結構，也可以是邏輯結構，即，有些單元可能由同一物理客戶實現，或者，有些單元可能分由多個物理客戶實現，或者，可以由多個獨立設備中的某些部件共同實現。
88.以上各實施例中，硬件單元或模塊可以通過機械方式或電氣方式實現。例如，一個硬件單元、模塊或處理器可以包括永久性專用的電路或邏輯(如專門的處理器，fpga或asic)來完成相應操作。硬件單元或處理器還可以包括可編程邏輯或電路(如通用處理器或
其它可編程處理器)，可以由軟件進行臨時的設置以完成相應操作。具體的實現方式(機械方式、或專用的永久性電路、或者臨時設置的電路)可以基于成本和時間上的考慮來確定。
89.上面結合附圖闡述的具體實施方式描述了示例性實施例，但并不表示可以實現的或者落入權利要求書的保護范圍的所有實施例。在整個本說明書中使用的術語“示例性”意味著“用作示例、實例或例示”，并不意味著比其它實施例“優選”或“具有優勢”。出于提供對所描述技術的理解的目的，具體實施方式包括具體細節。然而，可以在沒有這些具體細節的情況下實施這些技術。在一些實例中，為了避免對所描述的實施例的概念造成難以理解，公知的結構和裝置以框圖形式示出。
90.本公開內容的上述描述被提供來使得本領域任何普通技術人員能夠實現或者使用本公開內容。對于本領域普通技術人員來說，對本公開內容進行的各種修改是顯而易見的，并且，也可以在不脫離本公開內容的保護范圍的情況下，將本文所對應的一般性原理應用于其它變型。因此，本公開內容并不限于本文所描述的示例和設計，而是與符合本文公開的原理和新穎性特征的最廣范圍相一致。
技術特征：
1.一種醫學圖像分割方法，其特征在于，所述方法包括：獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖，其中，所述特征圖包括感興趣區域；對所述特征圖執行m層特征降維，以獲得m個中間層特征圖；對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，其中，所述n個中間層光流特征圖中的至少一個融合有對應維度的所述中間層特征圖上感興趣區域提取的光流特征；融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖；基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。2.根據權利要求1所述的醫學圖像分割方法，其特征在于，基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域，具體包括：融合多個所述空間交叉特征圖，以獲得多維時空交叉特征圖；分別融合所述多維時空交叉特征圖與多個所述空間交叉特征圖后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。3.根據權利要求2所述的醫學圖像分割方法，其特征在于，所述方法具體包括：將多個所述空間交叉特征圖中的對應特征進行加權平均，以獲得多維時空交叉特征圖；將所述多維時空交叉特征圖分別與多個所述空間交叉特征圖中的對應特征進行進行乘積計算后進行解碼，以從目標圖像序列中的多張圖像中分割感興趣區域。4.根據權利要求1所述的醫學圖像分割方法，其特征在于，對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，具體包括：在對所述光流特征圖執行前n-1層特征降維時，融合對應維度的所述中間層特征圖上感興趣區域提取的光流信息，以獲得對應的中間層光流特征圖。5.一種醫學圖像分割模型的訓練方法，其特征在于，在模型訓練階段，所述方法包括：獲取訓練樣本集，其中，所述訓練樣本集中包括多個第一特征圖以及與所述多個第一特征圖對應的第一感興趣區域掩膜；基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域；提取所述第一感興趣區域的光流信息，以獲得光流特征圖；其中，所述醫學圖像分割模型基于如權利要求1至4任意一項所述的醫學圖像分割方法進行圖像分割。6.根據權利要求5所述的醫學圖像分割模型的訓練方法，其特征在于，在模型測試階段，所述方法還包括：獲取測試樣本集，其中，所述測試樣本集中包括多個第二特征圖；基于設定閾值對所述測試樣本集中的第二特征圖進行特征歸一化，以獲得對應的二值化圖像；保留所述二值化圖像中面積最大的圖像區域為第二感興趣區域掩膜；基于所述第二感興趣區域掩膜確定對應第二特征圖上的第二感興趣區域；
提取所述第二感興趣區域的光流信息，以獲得光流特征圖。7.一種醫學圖像分割裝置，其特征在于，包括：特征提取模塊，用于獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖，其中，所述特征圖包括感興趣區域；特征降維模塊，用于對所述特征圖執行m層特征降維，以獲得m個中間層特征圖；第一光流提取模塊，用于對所述特征圖中的感興趣區域提取的光流特征圖執行n層特征降維，以獲得n個中間層光流特征圖，其中，所述n個中間層光流特征圖中的至少一個融合有對應維度的所述中間層特征圖上感興趣區域提取的光流特征；融合模塊，用于融合第m層特征降維獲得的中間層特征圖和第n層特征降維獲得的中間層光流特征圖，以獲得所述特征圖的空間交叉特征圖；分割模塊，用于基于多個所述特征圖的空間交叉特征圖，從所述目標圖像序列中的多張圖像中分割感興趣區域。8.一種醫學圖像分割模型的訓練裝置，其特征在于，包括：獲取模塊，用于獲取訓練樣本集，其中，所述訓練樣本集中包括多個第一特征圖以及與所述多個第一特征圖對應的第一感興趣區域掩膜；確定模塊，用于基于所述第一感興趣區域掩膜確定對應第一特征圖上的第一感興趣區域；第二光流提取模塊，用于提取所述第一感興趣區域的光流信息，以獲得光流特征圖；其中，所述醫學圖像分割模型基于如權利要求1至4任意一項所述的醫學圖像分割方法進行圖像分割。9.一種電子設備，包括：至少一個處理器；以及存儲器，所述存儲器存儲指令，當所述指令被所述至少一個處理器執行時，使得所述至少一個處理器執行如權利要求1至4任一項所述的醫學圖像分割方法、或權利要求5至6任一項所述的醫學圖像分割模型的訓練方法。10.一種機器可讀存儲介質，其存儲有可執行指令，所述指令當被執行時使得所述機器執行如權利要求1至4任一項所述的醫學圖像分割方法、或權利要求5至6任一項所述的醫學圖像分割模型的訓練方法。
技術總結
本申請公開了一種圖像分割方法、模型的訓練方法、裝置、設備和存儲介質，用于解決現有技術中影像評估資源緊張，且準確率難以保證的問題，其中該醫學圖像分割方法包括：獲取目標圖像序列，并對其中的多張圖像進行特征提取，以獲得多個特征圖；對特征圖執行M層特征降維，以獲得M個中間層特征圖；對特征圖中的感興趣區域提取的光流特征圖執行層特征降維，以獲得個中間層光流特征圖；融合第M層特征降維獲得的中間層特征圖和第層特征降維獲得的中間層光流特征圖，以獲得特征圖的空間交叉特征圖；基于多個特征圖的空間交叉特征圖，從目標圖像序列中的多張圖像中分割感興趣區域。序列中的多張圖像中分割感興趣區域。序列中的多張圖像中分割感興趣區域。
