一種血管造影圖像處理方法和系統與流程
1.本說明書涉及圖像處理領域，特別涉及一種血管造影圖像的處理方法和系統。
背景技術：
2.冠狀動脈粥樣硬化性心臟病(冠心病)是嚴重威脅我國居民健康和生活質量的重大慢性疾病，其中約20％-25％的病例被診斷為慢性完全閉塞(chronic total occlusion，cto)病變。在介入手術中，通常會利用數字減影血管造影(digital subtraction angiography，dsa)技術實時采集病人的dsa圖像，并基于dsa圖像進行手術引導。然而，由于完全阻塞的血管在dsa圖像中完全無法顯影，并且阻塞區域的斑塊構成與結構非常復雜，使得進行手術的醫生無法判斷術中閉塞區域導絲的前進方向，從而造成手術的失敗以及并發癥的出現。
3.因此，希望提供一種解決在在術中dsa圖像在阻塞區域無法顯影問題的圖像處理方法和系統。
技術實現要素：
4.本說明書實施例之一提供一種血管造影圖像處理方法。所述方法包括：獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；基于所述掃描圖像，確定冠脈分割結果；基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。
5.本說明書實施例之一提供一種血管造影圖像處理系統。所述系統包括：獲取模塊，用于獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；分割模塊，用于基于所述掃描圖像，確定冠脈分割結果；對齊模塊，用于基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；配準模塊，用于基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。
6.本說明書實施例之一提供一種血管造影圖像處理系統。所述系統包括：至少一個存儲設備，用于存儲計算機指令；以及至少一個處理器，所述處理器被配置為與所述至少一個存儲設備通信，其中，當執行所述一組指令時，所述至少一個處理器被配置執行以下操作：獲取掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；基于所述掃描圖像，確定冠脈分割結果；基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。
附圖說明
7.本說明書將以示例性實施例的方式進一步說明，這些示例性實施例將通過附圖進行詳細描述。這些實施例并非限制性的，在這些實施例中，相同的編號表示相同的結構，其中：
8.圖1是根據本說明書一些實施例所示的圖像處理系統的應用場景示意圖；
9.圖2是根據本說明書一些實施例所示的圖像處理系統的模塊圖；
10.圖3是根據本說明書一些實施例所示的圖像處理方法的示例性流程圖；
11.圖4是根據本說明書一些實施例所示的圖像處理方法的示例性流程圖；
12.圖5是根據本說明書一些實施例所示的確定冠脈分割結果的示例性流程圖；
13.圖6是根據本說明書一些實施例所示的確定冠脈分割結果的示例性流程圖；
14.圖7是根據本說明書一些實施例所示的生成對齊造影圖像的示例性流程圖；以及
15.圖8是根據本說明書一些實施例所示的生成目標造影圖像的示例性流程圖。
具體實施方式
16.為了更清楚地說明本說明書實施例的技術方案，下面將對實施例描述中所需要使用的附圖作簡單的介紹。顯而易見地，下面描述中的附圖僅僅是本說明書的一些示例或實施例，對于本領域的普通技術人員來講，在不付出創造性勞動的前提下，還可以根據這些附圖將本說明書應用于其它類似情景。除非從語言環境中顯而易見或另做說明，圖中相同標號代表相同結構或操作。
17.應當理解，本文使用的“系統”、“裝置”、“單元”和/或“模塊”是用于區分不同級別的不同組件、元件、部件、部分或裝配的一種方法。然而，如果其他詞語可實現相同的目的，則可通過其他表達來替換所述詞語。
18.如本說明書和權利要求書中所示，除非上下文明確提示例外情形，“一”、“一個”、“一種”和/或“該”等詞并非特指單數，也可包括復數。一般說來，術語“包括”與“包含”僅提示包括已明確標識的步驟和元素，而這些步驟和元素不構成一個排它性的羅列，方法或者設備也可能包含其它的步驟或元素。
19.本說明書中使用了流程圖用來說明根據本說明書的實施例的系統所執行的操作。應當理解的是，前面或后面操作不一定按照順序來精確地執行。相反，可以按照倒序或同時處理各個步驟。同時，也可以將其他操作添加到這些過程中，或從這些過程移除某一步或數步操作。
20.本說明書實施例提供了一種血管造影圖像處理方法和系統。除非明確指出，本說明書中的血管造影圖像指的是利用dsa技術采集的圖像。特別地，本說明書實施例披露的血管造影圖像處理方法可以應用于對介入手術中實時采集的患者的血管造影圖像進行處理，例如，對該血管造影圖像和患者的掃描圖像(如電子計算機斷層掃描(ct)圖像、磁共振(mr)圖像)進行配準。
21.具體地，可以通過獲取掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；基于掃描圖像確定冠脈分割結果，基于冠脈分割結果和血管造影圖像生成對齊造影圖像；最后基于對齊造影圖像生成目標造影圖像。通過本說明書實施例所示的圖像處理方法，可以將掃描圖像中的三維解剖細節實時疊加于造影圖像中，從而幫助確定造影圖像中的無法顯影的區域(例如，阻塞區域)，降低造影圖像所用于的介入手術的風險，提高介入手術成功率。
22.圖1為根據本說明書一些實施例所示的圖像處理系統100的應用場景圖。
23.如圖1所示，該圖像處理系統100可以包括成像設備110、網絡120、處理設備130和
存儲設備140。圖像處理系統100中的多個組件可以直接或者通過網絡120進行通訊。
24.成像設備110可以利用不同的媒介，將目標對象的結構重現為特定的醫學圖像。在一些實施例中，目標對象可以包括生物對象和/或非生物對象。例如，目標對象可以包括人身體的特定部分，例如頸部、胸部、腹部等，或其組合。在一些實施例中，成像設備110可以是使用多種成像技術的醫學設備，例如，數字減影血管造影(dsa)設備、計算機x射線攝影系統(computed radiography，cr)、數字化x射線成像系統(digital radiography，dr)、計算機斷層攝影(computed tomography，ct)設備、超聲成像設備、熒光透視成像設備、磁共振成像(magnetic resonance imaging，mri)設備等，或其任意組合。在一些實施例中，成像設備110可以包括dsa設備，其可以用于在介入手術前或期間采集患者的血管造影圖像。在一些實施例中，成像設備110可以包括ct設備，其可以在介入手術前采集患者的掃描圖像(如計算機斷層血管圖像，cta圖像)。以上提供的成像設備110僅用于說明目的，而非對其范圍的限制。
25.在一些實施例中，成像設備110可以獲取目標對象的圖像，并將圖像發送至處理設備120。在一些實施例中，所述目標對象的圖像可以包括掃描圖像和血管造影圖像。例如，所述掃描圖像可以為cta圖像，所述血管造影圖像可以為dsa圖像。在一些實施例中，成像設備110獲取的圖像可以被保存在存儲設備140中。在一些實施例中，成像設備110可以通過網絡120接收來自終端(圖中未顯示)或處理設備130發送的成像指令，并可以將成像結果發送至處理設備130或存儲設備140。在一些實施例中，圖像處理系統100中的一個或多個組件(例如，處理設備130、存儲設備140)可以包括在成像設備110內。
26.網絡120可以包括有助于圖像處理系統100交換信息和/或數據的任何適合的網絡。在一些實施例中，圖像處理系統100的一個或多個其他組件(例如，成像設備110、處理設備130、存儲設備140等)可以通過網絡120相互交換信息和/或數據。例如，處理設備130可以通過網絡120從成像設備110獲取圖像數據。又例如，處理設備130可以通過網絡120獲取來自處理設備130的指令。網絡120可以是和/或包括公共網絡(例如，互聯網)、專用網絡(例如，局域網(lan)、廣域網(wan)等)、有線網絡(例如，以太網)、無線網絡(例如，802.11網絡、wi-fi網絡等)、蜂窩網絡(例如，lte網絡)、幀中繼網絡、虛擬專用網絡(“vpn”)、衛星網絡、電話網絡、路由器、集線器、轉換器、服務器計算機和/或其中的一種或多種的組合。
27.處理設備130可以處理從成像設備110和/或存儲設備140中獲得的數據和/或信息。例如，處理設備130可以從成像設備110獲取掃描圖像，并對掃描圖像進行分割處理以獲得冠脈分割結果。在一些實施例中，處理設備130可以是一個服務器或一個服務器組。服務器組可以是集中式的或者分布式的。在一些實施例中，處理設備130可以是本地的或遠程的。例如，處理設備130可以通過網絡120訪問存儲在成像設備110和/或存儲設備140的信息和/或數據。例如，處理設備130可以直接與成像設備110和/或存儲設備140連接從而訪問其存儲的信息和/或數據。在一些實施例中，處理設備130可以在云平臺上被執行。例如，云平臺可以包括私有云、公有云、混合云、社區云、分布式云、互聯云、多重云等種的一種或多種的組合。在一些實施例中，處理設備130可以由具有一個或多個組件的計算設備執行。在一些實施例中，處理設備130可以是成像設備110的一部分。
28.存儲設備140可以存儲數據、指令和/或其他信息。在一些實施例中，存儲設備140可以存儲從終端130和/或處理設備130中獲得的數據。在一些實施例中，存儲設備140可以
存儲處理設備130為執行本說明書中描述的示例性方法所執行或使用的數據和/或指令。在一些實施例中，存儲設備140可以包括大容量存儲器、可移動存儲器、易失讀寫存儲器、只讀存儲器(rom)等中的一種或多種的組合。在一些實施例中，存儲設備140可以在云平臺上被執行。例如，云平臺可以包括私有云、公共云、混合云、社區云、分布式云、互聯云、多重云等中的一種或多種的組合。在一些實施例中，存儲設備140可以是處理設備130的一部分。
29.上述關于圖像處理系統100的描述僅是示例性的。在一些實施例中，圖像處理系統100可以包括一個或多個其他組件(例如，實現用戶交互的終端)，或者不包括上文所述的一個或多個組件。或者，兩個或以上的組件可以合并為一個組件。
30.圖2是根據本說明書一些實施例所示的圖像處理系統200的模塊圖。
31.如圖2所示，該圖像處理系統200可以包括獲取模塊210、分割模塊220、對齊模塊230和配準模塊240。在一些實施例中，獲取模塊210、分割模塊220、對齊模塊230和配準模塊240可以由處理設備130實現。
32.獲取模塊210可以用于獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像。在一些實施例中，所述血管造影圖像可以進一步包括歷史血管造影圖像。關于的獲取掃描圖像和血管造影圖像的更多內容可以參見步驟310的詳細描述，在此不作贅述。
33.分割模塊220可以用于基于掃描圖像，確定冠脈分割結果。在一些實施例中，分割模塊220可以基于掃描圖像確定心臟環形帶圖像，并對心臟環形帶圖像進行分割，以生成冠脈粗分割圖像。在一些實施例中，分割模塊220可以基于冠脈追蹤模型和冠脈粗分割圖像確定冠脈分割結果。關于確定冠脈分割結果的更多內容可以參見步驟320和圖5的詳細描述，在此不作贅述。
34.對齊模塊230可以用于基于冠脈分割結果和血管造影圖像，生成對齊造影圖像。在一些實施例中，對齊模塊230可以基于冠脈分割結果和歷史血管造影圖像，生成對齊造影圖像。在一些實施例中，對齊模塊230可以基于初始變換矩陣，將冠脈分割結果映射為映射結果，所述映射結果為冠脈分割結果在至少一個參考角度上的映射結果。在一些實施例中，對齊模塊230可以基于映射結果和血管造影圖像中的血管分割結果，確定第二損失函數的值。在一些實施例中，對齊模塊230可以通過迭代優化第二損失函數的值，更新初始變換矩陣以獲得目標變換矩陣。在一些實施例中，對齊模塊230可以基于目標變換矩陣和冠脈分割結果，生成所述對齊造影圖像。關于生成對齊造影圖像的更多內容可以參見步驟330和圖7的詳細描述，在此不作贅述。
35.配準模塊240可以用于基于對齊造影圖像和血管造影圖像，生成目標造影圖像。在一些實施例中，配準模塊240可以基于對齊造影圖像和實時血管造影圖像，生成目標造影圖像。在一些實施例中，配準模塊240可以基于配準模型、對齊造影圖像和實時血管造影圖像，確定對齊造影圖像到目標造影圖像的變換場。在一些實施例中，配準模塊240可以基于變換場，將對齊造影圖像進行變換，以生成變換造影圖像。在一些實施例中，配準模塊240可以基于變換造影圖像和實時血管造影圖像，生成目標造影圖像。關于生成目標造影圖像的更多內容可以參見步驟340和圖8的詳細描述，在此不作贅述。
36.應當理解，圖2所示的系統及其模塊可以利用各種方式來實現。例如，在一些實施例中系統及其模塊可以通過硬件、軟件或者軟件和硬件的結合來實現。
37.需要注意的是，以上對于系統及其模塊的描述，僅為描述方便，并不能把本說明書限制在所舉實施例范圍之內。可以理解，對于本領域的技術人員來說，在了解該系統的原理后，可能在不背離這一原理的情況下，對各個模塊進行任意組合，或者構成子系統與其他模塊連接。例如，在一些實施例中，例如，圖2中披露的獲取模塊210、分割模塊220、對齊模塊230和配準模塊240可以是一個系統中的不同模塊，也可以是一個模塊實現上述的兩個或兩個以上模塊的功能。例如，各個模塊可以共用一個存儲模塊，各個模塊也可以分別具有各自的存儲模塊。諸如此類的變形，均在本說明書的保護范圍之內。
38.圖3是根據本說明書一些實施例所示的圖像處理方法的示例性流程圖。
39.如本說明書其他地方所描述的，由于介入手術的血管造影圖像中存在無法顯影的區域(例如，阻塞區域)，且該區域的構成與結構可能非常復雜，使得進行手術的醫生無法判斷術中閉塞區域導絲的前進方向。因此，需要一種圖像處理方法，可以通過使用掃描圖像來幫助確定血管造影圖像中的無法顯影的區域，從而降低介入手術的風險，提高介入手術成功率。
40.步驟310，獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像。血管造影圖像至少包括實時血管造影圖像。在一些實施例中，步驟310可以由處理設備130或獲取模塊210執行。
41.在一些實施例中，目標對象可以至少包括人體的心臟部位。例如，目標對象可以是接受心臟介入手術的病人的胸部。又例如，對象可以是接受心臟介入手術的病人的上半身。
42.掃描圖像是可以反映目標對象內部結構的解剖圖像。在一些實施例中，掃描圖像可以包括對象全身的解剖圖像，也可以僅包括對象一部分的解剖圖像，例如，心臟部位及周邊部分。在一些實施例中，掃描圖像可以是x光圖像、計算機斷層掃描(ct)圖像、正電子發射斷層掃描(pet)圖像、單光子發射計算機斷層圖像(spect)、磁共振圖像(mri)、超聲波掃描(us)圖像、磁共振血管造影術(mra)圖像、時間飛躍法磁共振圖像(tof-mri)、腦磁圖(meg)等中的一種或多種的組合等中的一種多種。在一些實施例中，掃描圖像可以是三維圖像。在一些實施例中，掃描圖像是在目標對象接受介入手術前拍攝的歷史圖像。
43.在一些實施例中，對于cto病變患者而言，所述掃描圖像可以為ct血管造影(ct angiograph，cta)圖像。所述cta圖像為通過計算機斷層掃描血管成像技術獲取的醫學圖像，能較好反映血管的解剖結構。在一些實施例中，所述掃描圖像還可以為冠狀動脈ct造影(cardiac computed tomography angiography，ccta)圖像。
44.血管造影圖像是在目標對象中注入對比劑后拍攝得到的圖像。在本說明書實施例中，所述血管造影圖像為通過數字血管造影技術獲得的血管造影圖像，其可以反映目標對象骨骼或致密軟組織環境中的血管。例如，血管造影圖像可以反映目標對象心臟部位的冠脈的阻塞情況。在一些實施例中，血管造影圖像可以至少包括實時血管造影圖像。實時血管造影圖像指的是利用數字血管造影技術在介入手術進行過程中、當前時刻拍攝的圖像，其可以反映冠脈等心臟血管在當前時刻的實時狀態。
45.在一些實施例中，血管造影圖像可以進一步包括歷史血管造影圖像。歷史血管造影圖像指的是利用數字血管造影技術在歷史時刻拍攝的圖像。歷史時刻可以是早于當前時刻的任何時刻，例如，當前時刻的前一秒、介入手術進行前等。在一些實施例中，歷史血管造影圖像和實時血管造影圖像是在相同的拍攝參數下拍攝的，且掃描對象在兩次拍攝時擺位
相同。在一些實施例中，歷史時刻和當前時刻的時間間隔短于預設閾值。通常，血管狀態在較短的時間間隔內不會發生明顯變化，因此可以認為歷史血管造影圖像和實時血管造影圖像中冠脈的位置和狀態基本相同。在一些實施例中，血管造影圖像可以為實時拍攝的dsa視頻，其可以包括實時血管造影圖像和一系列的歷史血管造影圖像。在本說明書實施例中，所述歷史血管圖像為實時拍攝的dsa視頻中早于當前時刻所拍攝的圖像。僅作為示例，若當前時刻為t，則歷史血管圖像可以為t-1時刻所拍攝的圖像。在一些實施例中，所述血管造影圖像為二維圖像。
46.在一些實施例中，獲取模塊210可以從成像設備110獲取掃描圖像和/或血管造影圖像，也可以從存儲設備140中獲取存儲的掃描圖像和/或血管造影圖像。
47.步驟320，基于掃描圖像，確定冠脈分割結果。在一些實施例中，步驟320可以由處理設備130或分割模塊220執行。
48.冠脈分割結果是通過冠脈分割技術從掃描圖像中將冠脈血管分割出來得到的結果。基于掃描圖像(例如，三維cta圖像)獲取的冠脈分割結果可以反映冠脈血管的內部結構信息，從而幫助確定血管造影圖像中的無法顯影的區域。所述冠脈分割結果可以包括完整的冠脈血管，其中包括阻塞處的血管以及阻塞處周邊血管。在一些實施例中，冠脈分割結果可以包括冠脈分割圖像(例如，冠脈分割掩膜)，其可以表示為與掃描圖像相同大小的三維圖像。
49.在一些實施例中，處理設備130可以從掃描圖像中分割心臟環形帶，以確定心臟環形帶圖像。處理設備130可以再從心臟環形帶圖像中對冠脈進行粗分割，以生成冠脈粗分割圖像。進一步地，處理設備130可以對冠脈粗分割圖像進行冠脈追蹤處理，從而生成最終的冠脈分割結果。心臟環形帶和/或冠脈的分割可以基于任何圖像分割技術進行。示例性的圖像分割技術可以包括基于閾值的分割方法、基于區域增長的分割方法、基于邊緣檢測的分割方法、結合特定工具的圖像分割方法(例如，遺傳算法、小波分析、小波變換、主動輪廓模型等)、基于深度學習的分割方法(例如，基于特征編碼、區域選擇、rnn、上采樣/反卷積、提高特征分辨率或特征增強的方法)。冠脈追蹤處理可以包括基于卷積神經網絡的方法、基于hessian矩陣的跟蹤算法等。在一些實施例中，為了實現對冠脈血管準確且快速的分割，可以借助于深度學習網絡對掃描圖像進行處理。例如，處理設備130可以利用心臟分割模型、冠脈粗分割模型、冠脈追蹤模型中的一種或多種來生成冠脈分割結果。關于如何確定冠脈分割結果的更多內容可以參見圖5和圖6的相關說明，在此不作贅述。
50.在一些實施例中，所述心臟分割模型、所述冠脈粗分割模型和冠脈追蹤模型可以單獨進行訓練。在一些實施例中，所述冠脈粗分割模型和所述冠脈追蹤模型也可以聯合進行訓練，并組成冠脈分割模型。在一些實施例中，所述心臟分割模型、粗分割模型以及冠脈追蹤模型可以預先訓練并存儲在存儲設備140中，處理設備130可以從存儲設備中獲取訓練好的心臟分割模型、粗分割模型以及冠脈追蹤模型。
51.步驟330，基于冠脈分割結果和血管造影圖像，生成對齊造影圖像。在一些實施例中，步驟330可以由處理設備130或對齊模塊230執行。
52.為了幫助確定實時血管造影圖像中的無法顯影的區域，需要將冠脈分割結果與實時血管造影圖像進行匹配，以將冠脈分割結果中的完整冠脈的內部結構信息與實時血管造影圖像相結合。具體的，由于冠脈分割結果為三維圖像，實時血管造影圖像為二維圖像，冠
脈中心線與血管造影圖像參考坐標系不同，需要將冠脈中心線通過變換矩陣映射到所述實時血管造影圖像中。
53.在一些實施例中，處理設備130可以基于冠脈分割結果和實時血管造影圖像，生成對齊造影圖像。具體的，可以通過全局對齊的方式，利用變換矩陣將冠脈分割結果中的冠脈中心線大致映射到實時血管造影圖像中。在一些實施例中，當血管造影圖像進一步包括歷史血管造影圖像時，處理設備130可以基于冠脈分割結果和歷史血管造影圖像，通過全局對齊的方式，生成對齊造影圖像。當拍攝歷史血管造影圖像的歷史時刻與當前時刻間隔較小時，基于歷史血管造影圖像生成的對齊造影圖像也可以認為是將冠脈中心線大致映射到實時血管造影圖像后生成的結果。由于歷史血管造影圖像和實時血管造影圖像是在相同的拍攝參數下拍攝的，且掃描對象在兩次拍攝時擺位相同，歷史血管造影圖像和實時血管造影圖像中冠脈的位置是基本相同的(尤其在歷史時刻和當前時刻的時間間隔比較小時，冠脈的狀態也基本相同)，因此可以使用歷史血管圖像和分割出的冠脈分割結果提前生成對齊造影圖像，只需實時將生成的對齊造影圖像和實時血管造影圖像生成目標圖像即可，可以有效減少圖像處理過程中的實時計算量，提高圖像處理系統的運算速度。
54.在一些實施例中，處理設備130可以基于初始變換矩陣，將所述冠脈分割結果映射為映射結果，所述映射結果為所述冠脈分割結果在至少一個參考角度上的映射結果。在一些實施例中，處理設備130可以基于所述映射結果和所述血管造影圖像中的血管分割結果，確定第二損失函數的值。在一些實施例中，處理設備130可以通過迭代優化所述第二損失函數的值，更新所述初始變換矩陣以獲得目標變換矩陣。在一些實施例中，處理設備130可以基于所述目標變換矩陣和所述冠脈分割結果，生成所述對齊造影圖像。
55.關于如何生成對齊造影圖像的更多內容可以參見圖7的相關說明，在此不作贅述。
56.步驟340，基于對齊造影圖像和血管造影圖像，生成目標造影圖像。在一些實施例中，步驟340可以由處理設備130或配準模塊240執行。
57.在一些實施例中，目標造影圖像可以基于對齊造影圖像和實時血管造影圖像生成。上文所述的由于呼吸或者心臟跳動可能會導致冠脈結構和形狀的差異，還需要進一步對對齊造影圖像和實時血管造影圖像進行配準，以生成最終需要的目標造影圖像。所述目標造影圖像是冠脈分割結果與實時血管造影圖像精準融合而成的圖像，可以用于幫助醫護人員(例如，執行手術的醫生)確定無法顯影區域的血管走形以及大致的管腔結構，從而降低手術風險，提高介入手術的成功率。
58.在一些實施例中，處理設備130可以基于深度學習網絡、對齊造影圖像和實時血管造影圖像，進行非剛性配準，從而生成目標造影圖像。例如，處理設備130可以基于配準模型、所述對齊造影圖像和所述血管造影圖像，確定所述對齊造影圖像到所述目標造影圖像的變換場。進一步地，處理設備130可以基于所述變換場，將所述對齊造影圖像進行變換，以生成變換造影圖像。處理設備130可以再基于所述變換造影圖像和所述血管造影圖像，生成所述目標造影圖像。
59.通過進行非剛性配準可以大幅提高三維冠脈中心線與二維實時血管造影圖像之間的視覺一致性，同時該方法借助于深度學習模型的推理能力，可以顯著縮短配準時間，從而實現實時配準。
60.關于如何生成目標造影圖像的更多內容可以參見圖8的相關說明，在此不作贅述。
61.應當注意的是，上述有關流程300的描述僅僅是為了示例和說明，而不限定本說明書的適用范圍。對于本領域技術人員來說，在本說明書的指導下可以對流程300進行各種修正和改變。然而，這些修正和改變仍在本說明書的范圍之內。
62.圖4是根據本說明書一些實施例所示的圖像處理方法的示例性流程圖。
63.如圖4所示，本說明書實施例所述的圖像處理方法中，首先需要獲取目標對象(例如，接受手術的患者)的cta圖像數據以及造影圖像數據，再通過冠脈分割技術從cta圖像數據中分割出冠脈圖像數據，最后將冠脈圖像數據與造影圖像數據進行對齊和配準，從而獲得冠脈圖像數據與造影圖像數據的實時融合圖像，即為目標造影圖像。在一些實施例中，造影圖像數據可以是實時血管造影圖像。在一些實施例中，造影圖像數據可以進一步包括歷史血管造影圖像。在對冠脈圖像數據與造影圖像數據進行對齊和配準時，可以先將冠脈圖像數據和歷史血管造影圖像進行全局配準，生成對齊造影圖像。進一步地，可以將對齊造影圖像和實時血管造影圖像進行精細配準，生成目標造影圖像。
64.圖5是根據本說明書一些實施例所示的確定冠脈分割結果的示例性流程圖。
65.在一些實施例中，流程500可以用于實現流程300中的步驟320。
66.步驟510，基于掃描圖像，確定心臟環形帶圖像。在一些實施例中，步驟510可以由處理設備130或分割模塊220執行。
67.在一些實施例中，處理設備130可以基于掃描圖像，確定心臟部位圖像。所述心臟部位圖像為從掃描圖像中分割出的僅包括心臟部位的圖像。在一些實施例中，處理設備130可以基于訓練好的心臟分割模型，將包含心臟部位的掃描圖像輸入至所述心臟分割模型，心臟分割模型可以輸出心臟部位圖像。在一些實施例中，所述掃描圖像可以為cto病變患者的三維cta圖像。在一些實施例中，心臟分割模型可以為器官勾畫模型。
68.進一步地，處理設備130可以基于心臟部位圖像確定環形帶位置，以生成心臟環形帶圖像。由于冠脈血管基本上分布在環繞心臟部位一周的位置，可以考慮優先生成心臟環形帶圖像，從而確定冠脈所處的大致區域。在一些實施例中，所述心臟環形帶圖像為三維圖像。在一些實施例中，處理設備130可以基于腔內距離以及腔外距離，在心臟部位圖像中分割出心臟環形帶圖像。在所述環形帶區域內，冠脈血管出現的概率非常大，而在所述環形帶區域外，冠脈血管的出現概率則非常小。
69.步驟520，對心臟環形帶圖像進行分割，以生成冠脈粗分割圖像。在一些實施例中，步驟520可以由處理設備130或分割模塊220執行。
70.所述冠脈粗分割圖像為所述心臟環形帶圖像經過初始冠脈分割后獲得的圖像。冠脈粗分割圖像具有較大的圖像視野，可以利用心臟結構，有效區分冠脈血管和鄰近區域的靜脈(例如，被顯影劑增強的靜脈)，以避免將冠脈血管之外的血管誤判冠脈血管。在一些實施例中，處理設備130可以通過圖像分割算法或圖像分割模型生成冠脈粗分割圖像。
71.在一些實施例中，處理設備130可以基于訓練好的冠脈粗分割模型，將心臟環形帶圖像輸入至所述冠脈粗分割模型，從而輸出冠脈粗分割圖像。在一些實施例中，冠脈粗分割模型可以為傳統分割算法模型。例如，傳統分割算法可以包括但不限于閾值法、區域生長法、邊緣檢測法等中的一種或多種的組合。在一些實施例中，粗分割模型可以是結合特定工具的圖像分割算法模型。例如，結合特定工具的圖像分割算法可以包括但不限于遺傳算法、小波分析、小波變換、主動輪廓模型等中的一種或多種的組合。在一些實施例中，所述冠脈
粗分割模型可以是神經網絡模型，其可以利用標注了冠脈區域的樣本心臟環形帶圖像訓練而成。
72.在一些實施例中，所述冠脈粗分割模型可以單獨進行訓練，也可以與后文所述的冠脈追蹤模型進行聯合訓練。
73.步驟530，基于冠脈追蹤模型和冠脈粗分割圖像確定冠脈分割結果。在一些實施例中，步驟530可以由處理設備130或分割模塊220執行。
74.考慮到冠脈血管結構的復雜性和高變異性，且血管細長而圖像分辨率有限，冠脈粗分割圖像中的冠脈血管往往存在斷裂，影響臨床實際使用。因此，還需要進一步對冠脈粗分割圖像進行處理。在一些實施例中，處理設備130可以通過深度學習方法，對冠脈粗分割圖像進行冠脈追蹤，以完善冠脈分割結果。
75.在一些實施例中，處理設備130可以基于冠脈追蹤模型和冠脈粗分割圖像確定冠脈分割結果。例如，處理設備130可以將冠脈粗分割圖像輸入至所述冠脈追蹤模型，冠脈追蹤模型可以輸出冠脈分割結果。在一些實施例中，所述冠脈追蹤模型可以是神經網絡模型。例如，冠脈追蹤模型可以包括但不限于全卷積網絡模型、視覺幾何組網絡模型、高效神經網絡模型、全分辨率殘差網絡模型、掩碼區域卷積神經網絡模型、多維循環神經網絡模型等中的一種或多種的組合。
76.在一些實施例中，所述冠脈追蹤模型的訓練可以基于大量帶有標簽的粗分割訓練樣本得到。例如，可以將多個帶有標簽的粗分割訓練樣本輸入初始冠脈追蹤模型，通過標簽與初始冠脈追蹤模型的輸出結果計算第一損失函數的值，并基于第一損失函數的值迭代更新初始冠脈追蹤模型的參數。當滿足預設條件時模型訓練完成，得到訓練好的冠脈追蹤模型。其中，預設條件可以是第一損失函數收斂、迭代的次數達到閾值等。在一些實施例中，粗分割訓練樣本至少可以包括樣本冠脈粗分割圖像。標簽可以包括冠脈追蹤標簽以及冠脈中心線追蹤標簽。冠脈追蹤標簽可以包括金標準的冠脈分割結果。冠脈中心線追蹤標簽可以包括金標準的冠脈中心線提取結果。訓練標簽可以通過人工標注獲得。
77.在對心臟環形帶圖像進行粗分割的過程中，由于cto病變閉塞段內無對比劑充盈、顯影淺淡，易造成分割斷裂情況的出現。因此，可以在使用神經網絡學習冠脈分割過程中加入冠脈中心線損失項(centerline dice loss，cldice)，即在第一損失函數中添加冠脈中心線損失項，從而保證冠脈連續管狀的拓撲結構，降低cto病變處分割斷裂的情況。
78.在一些實施例中，所述冠脈追蹤模型的第一損失函數可以包括冠脈中心線損失項，所述冠脈中心線損失項與冠脈追蹤結果、冠脈追蹤標簽、冠脈中心線追蹤結果和冠脈中心線追蹤標簽相關。例如，所述冠脈追蹤模型的第一損失函數可以通過以下公式(1)表示：lc＝(1-α)(1dice)+α(1-cldice)
?????
(1)其中，dice為冠脈損失項，cldice為冠脈中心線損失項，α為權重。在模型訓練過程中，權重α可以根據實際情況進行調整，以保證通過模型獲得的血管圖像的完整性。在一些實施例中，權重α可以通過交叉驗證來設定。在一些實施例中，權重α可以與待處理的冠脈粗分割圖像或樣本冠脈粗分割圖像的斷裂情況相關聯。僅作為示例，若血管斷裂的情況很少，則權重α可以設定為較小的值，反之則可以設定為較大的值。
79.在一些實施例中，冠脈損失項dice與模型對整體冠脈進行檢測的準確度有關，冠脈中心線損失項cldice對冠脈中心線進行檢測的準確度有關。在一些實施例中，可以通過
以下公式(2)計算得出，冠脈中心線損失項cldice可以通過以下公式(3)計算得出：以下公式(2)計算得出，冠脈中心線損失項cldice可以通過以下公式(3)計算得出：其中，v
l
為冠脈追蹤結果，表示模型訓練過程中輸出的冠脈分割結果；v
p
為冠脈追蹤標簽，表示訓練樣本中金標準的冠脈分割結果；s
l
為冠脈中心線追蹤結果，表示模型訓練過程中輸出的冠脈分割結果中提取出的冠脈中心線；s
p
為冠脈中心線追蹤標簽，表示訓練樣本中金標準的冠脈中心線。tprec(s
p
,v
l
)為拓撲精確度，表示s
p
落在v
l
中的比例，用于衡量模型輸出的中心線檢測結果的完整性；tsens(s
l
,v
p
)為拓撲敏感度，表示s
l
落在v
p
中的比例，用于衡量模型輸出的中心線檢測結果的準確性。若拓撲精確度和拓撲敏感度越大，則可以表示通過冠脈追蹤模型得到的冠脈分割結果越精確。通過設計冠脈中心線損失項，可以有效提高冠脈追蹤模型得到的冠脈分割結果的完整性，減少血管斷裂。
80.在一些實施例中，拓撲精確度tprec(s
p
,v
l
)可以通過以下公式(4)計算得出，拓撲敏感度tsens(s
l
,v
p
)可以通過以下公式(5)計算得出：)可以通過以下公式(5)計算得出：
81.在一些實施例中，所述冠脈追蹤模型可以單獨進行訓練，也可以與冠脈粗分割模型進行聯合訓練。在一些實施例中，所述冠脈粗分割模型和所述冠脈追蹤模型可以聯合進行訓練，并組成冠脈分割模型。其中，冠脈分割模型的訓練方式與冠脈追蹤模型的訓練方式類似，區別在于訓練樣本可以為大量帶有標簽的心臟環形帶圖像，標簽同樣可以包括冠脈追蹤標簽結果以及冠脈中心線追蹤標簽。在一些實施例中，所述冠脈分割模型的第一損失函數也可以包括冠脈中心線損失項，所述冠脈中心線損失項與冠脈追蹤結果、冠脈追蹤標簽、冠脈中心線追蹤結果和冠脈中心線追蹤標簽相關。
82.通過先生成冠脈粗分割圖像，再利用冠脈追蹤的方式生成冠脈分割結果，可以提高冠脈分割準確性和效率。在一些實施例中，冠脈粗分割模型的訓練樣本可以包括完整的樣本冠脈粗分割圖像，使冠脈分割模型可以學習到圖像的全局特征(例如，冠脈的走形)，從而區分靜脈、冠脈等管狀組織。冠脈追蹤模型的訓練樣本可以是從樣本冠脈粗分割圖像中沿著血管剪裁的圖像塊，從而使冠脈追蹤模型可以學習血管的局部特征。同時，通過增加冠脈中心線損失項cldice的使用，可以提高冠脈追蹤結果的連通性。
83.應當注意的是，上述有關流程500的描述僅僅是為了示例和說明，而不限定本說明書的適用范圍。對于本領域技術人員來說，在本說明書的指導下可以對流程500進行各種修正和改變。然而，這些修正和改變仍在本說明書的范圍之內。例如，步驟510可以省略，可以直接對掃描圖像進行冠脈分割，以得到冠脈粗分割圖像。又例如，步驟520和530可以合并為一個步驟。僅作為示例，可以利用上文提到的冠脈分割模型處理心臟環形帶圖像，得到冠脈分割結果。
84.圖6是根據本說明書一些實施例所示的確定冠脈分割結果的示例性流程圖。
85.如圖6所示，本說明書實施例所述的確定冠脈分割結果的方法。首先，可以從掃描
圖像(例如，三維cta圖像)中確定心臟部分圖像，再進一步分割出心臟環形帶圖像，冠脈血管主要分布于該環形帶圖像中。接著，可以對心臟環形帶圖像進行粗分割以獲得冠脈粗分割圖像，最后再基于冠脈粗分割圖像進行冠脈追蹤以獲得精確的冠脈分割結果。從冠脈粗分割圖像中，可以看出在冠脈血管部分存在明顯的斷裂情況。而在經過冠脈追蹤后的冠脈分割結果中，冠脈血管部分更加流暢和完整。
86.圖7是根據本說明書一些實施例所示的生成對齊造影圖像的示例性流程圖。
87.流程700可以由處理設備(例如，處理設備130)執行。在一些實施例中，流程700可以用于實現流程300中的步驟330。如圖3所述，對齊造影圖像可以基于血管造影圖像和冠脈分割結果生成，其中血管造影圖像可以是實時血管造影圖像和歷史血管造影圖像中的一種。為方便描述，下文未對實時血管造影圖像和歷史血管造影圖像進行區分。
88.步驟710，基于初始變換矩陣，將冠脈分割結果映射為映射結果。在一些實施例中，步驟710可以由處理設備130或對齊模塊230執行。
89.所述初始變換矩陣是可以將冠脈分割結果中的冠脈中心線映射到所述血管造影圖像的矩陣。可選地，初始變換矩陣可以對應至少一個參考角度，其可以從至少一個參考角度上對冠脈分割結果(例如，冠脈中心線)進行映射(或稱為投影)，以生成映射結果，其中，映射結果為所述冠脈分割結果在至少一個參考角度上的映射結果。
90.在一些實施例中，至少一個參考角度與血管造影圖像的拍攝角度有關。例如，血管造影圖像包括正位血管造影圖像和側位血管造影圖像，其中正位血管造影圖像是由放射源面向目標對象正面拍攝生成，側位血管造影圖像由放射源面向目標對象側面拍攝生成。初始變換矩陣可以將冠脈分割結果沿正對目標對象正面的角度進行投影，以生成對應正位血管造影圖像的映射結果；并將冠脈分割結果沿正對目標對象側面的角度進行投影，以生成對應側位血管造影圖像的映射結果。在一些實施例中，某個參考角度上的映射結果可以包括冠脈中心線上的點投影到該參考角度所對應的平面(即該參考角度下拍攝的血管造影圖像所在的平面)上的二維坐標。
91.在一些實施例中，所述初始變換矩陣可以通過所述掃描圖像和/或所述血管造影圖像的掃描參數計算獲得。在一些實施例中，基于初始變換矩陣的變化可以是剛性變換和/或仿射變換。
92.由于目標對象(例如，接受介入手術的病人)在設備上的實際位置無法精確獲取，基于掃描參數確定的初始變換矩陣準確性有限，需要進行補償校正以獲得校正后的變換矩陣。在一些實施例中，可以通過迭代優化損失項，對初始變換矩陣進行校正以提高變換矩陣參數的準確性。
93.步驟720，基于映射結果和所述血管造影圖像中的血管分割結果，確定第二損失函數的值。在一些實施例中，步驟720可以由處理設備130或對齊模塊230執行。
94.在一些實施例中，所述第二損失函數可以通過以下公式(6)計算得出：其中，e
global
表示第二損失函數，n為參考角度的序號。在一些實施例中，參考角度個數一般可以設定為2。x
s,q
表示冠脈中心線上的點，s和q可以用于確定冠脈中心線上特定點的位置。僅作為示例，可以將冠脈血管劃分為多個段，s可以用于表示該點處于第幾段，q可以用于表示該點位于這一段血管上的第幾個點。是一個仿射變換函數，可
以用于將冠脈分割結果所在三維坐標空間映射到血管造影圖像所在的二維坐標空間。其中，t表示變換矩陣，c為常量，π表示投影變換。π可以用于將三維冠脈中心線上的點投影到參考角度所在的平面上(即該參考角度對應的血管造影圖像所在的平面)的二維坐標。distance為冠脈中心線映射到血管造影圖像上的點到血管造影圖像中的血管分割結果的最近距離。
95.在確定第二損失函數的值時，可以基于映射結果確定，可以基于映射結果和血管造影圖像中的血管分割結果確定。此時，上文所述的初始變換矩陣被作為第二損失函數中t的初始值。
96.在一些實施例中，處理設備130可以基于利用血管分割算法(例如，訓練好的血管分割模型)從所述血管造影圖像中確定血管分割結果，即將血管造影圖像中的冠脈血管部分分割出來。由于血管造影圖像為二維圖像，血管造影圖像的血管分割結果是比較清晰的。在一些實施例中，血管分割結果可以是冠脈血管分割結果，也可以是血管造影圖像中冠脈中心線的分割結果。
97.步驟730，通過迭代優化第二損失函數的值，更新初始變換矩陣以獲得目標變換矩陣。在一些實施例中，步驟730可以由處理設備130或對齊模塊230執行。
98.在一些實施例中，處理設備130可以更新初始變換矩陣的參數以優化所述第二損失函數的值。當第二損失函數的值越小，則可以代表所述冠脈分割結果與所述血管造影圖像的對齊結果越為準確。例如，可以以特定的步長調整變換矩陣中的旋轉參數和/或平移參數。當第二損失函數的停止迭代條件被滿足時，當前的變換矩陣作可以為目標變換矩陣。當第二損失函數的停止迭代條件未被滿足時，則可以進行下一輪迭代進一步更新變換矩陣的參數，直至停止迭代條件被滿足。在一些實施例中，所述第二損失函數的停止迭代的條件可以為達到預定迭代次數，或是所述第二損失函數收斂。其中，所述第二損失函數的收斂條件可以是該連續兩次迭代中第二損失函數的下降值小于10-14
。或者，第二損失函數的收斂條件可以是該第二損失函數的值小于預設閾值。
99.在一些實施例中，處理設備130可以基于nelder-mead優化器迭代優化所述第二損失函數的值。nelder-mead優化器可以將解多維方程轉化為求解多面體各頂點的值。
100.步驟740，基于目標變換矩陣和冠脈分割結果，生成對齊造影圖像。在一些實施例中，步驟740可以由處理設備130或對齊模塊230執行。
101.在一些實施例中，處理設備130可以基于目標變換矩陣，將冠脈分割結果映射至血管造影圖像，以生成對齊造影圖像。具體而言，可以基于目標變換矩陣，確定冠脈分割結果中的每個點在血管造影圖像對應的平面上的二維坐標，并基于這些二維坐標生成對齊造影圖像。當有對應不同參考角度的多張血管造影圖像時，可以生成對應不同參考角度的對齊造影圖像。通過上述流程獲得的對齊造影圖像可以將冠脈中心線大致對應到造影圖像中的血管分割結果中。
102.應當注意的是，上述有關流程700的描述僅僅是為了示例和說明，而不限定本說明書的適用范圍。對于本領域技術人員來說，在本說明書的指導下可以對流程700進行各種修正和改變。然而，這些修正和改變仍在本說明書的范圍之內。
103.圖8是根據本說明書一些實施例所示的生成目標造影圖像的示例性流程圖。
104.流程800可以由處理設備(例如，處理設備130)執行。在一些實施例中，流程800可
以用于實現流程300中的步驟340。在一些實施例中，目標造影圖像可以基于對齊造影圖像和實時血管造影圖像生成。
105.步驟810，基于配準模型、對齊造影圖像和實時血管造影圖像，確定對齊造影圖像到目標造影圖像的變換場。在一些實施例中，步驟810可以由處理設備130或配準模塊240執行。
106.在一些實施例中，所述配準模型可以為u-net網絡模型，其可以輸入雙通道圖像，并輸出對齊造影圖像到目標造影圖像的變換場。在一些實施例中，配準模型的第一個通道可以輸入所述對齊造影圖像，配準模型的第二個通道可以輸入實時血管造影圖像。
107.在一些實施例中，所述配準模型可以基于大量帶有標簽的配準訓練樣本訓練得到。配準訓練樣本至少可以包括多組雙通道樣本圖像，即多組樣本對齊造影圖像和對應的樣本實時血管造影圖像。標簽可以包括樣本對齊造影圖像上的點在樣本實時血管造影圖像上的對應位置。或者，標簽也可以包括樣本對齊造影圖像與樣本實時血管造影圖像之間的樣本變換場。所述標簽可以通過人工標注獲得。例如，可以通過人工標注的方式確定樣本對齊造影圖像上的點在樣本實時血管造影圖像上的對應位置。基于樣本對齊造影圖像和樣本實時血管造影圖像中的點的對應關系，可以確定它們之間的樣本變換場。
108.在訓練過程中，可以將多個帶有標簽的配準訓練樣本輸入初始配準模型，通過標簽與初始配準模型的輸出結果計算第三損失函數的值，基于第三損失函數迭代更新初始配準模型的參數。當滿足預設條件時模型訓練完成，得到訓練好的配準模型。其中，初始配準模型的輸出結果可以是訓練樣本的樣本對齊造影圖像到樣本實時血管造影圖像之間的預測變換場。預設條件可以是第三損失函數收斂、迭代的次數達到閾值等。在一些實施例中，當第三損失函數低于設定的閾值時，也可以停止訓練。
109.在一些實施例中，所述配準模型的第三損失函數可以包括圖像損失項和約束損失項。其中，所述圖像損失項可以用于衡量配準結果的準確度，所述約束損失項可以用于對配準結果進行約束。例如，約束損失項可以包括用于約束配準后血管斷裂的個數的第一約束損失項、用于約束配準后圖像光滑程度的第二約束損失項、用于約束冠脈分支配準結果的第三約束損失項中的至少一種。其中，配準結果指的是初始配準圖像輸出的預測變換場。
110.具體的，所述配準模型的第三損失函數可以通過以下公式(7)表示：e
nr
(r)＝e
internal
(r)+e
image
(r)
?????
(7)其中，e
nr
表示配準模型的總損失項，即第三損失函數，e
internal
為約束損失項，e
lmage
為圖像損失項。
111.在一些實施例中，圖像損失項e
image
可以通過以下公式(8)計算得出：
112.其中，是樣本實時血管造影圖像上與樣本對齊造影圖像對應的點；為對樣本掃描圖像投影后的點，即樣本對齊造影圖像上的點。h(.)是一個決策函數判斷該點的能量是否要被考量計算，決策函數h可以由人工預先給定。r
s,q
為偏移向量，表示樣本實時血管造影圖像中的對應點相對于樣本對齊造影圖像上的點的偏移方向與偏移量，也可以表示為訓練中間模型預測出的變換場，且在一些實施例中，若一個點的偏移向量r
s,q
過大，或是與形成的角度差過大，則不會被損失函數考量計算。另外，若一個點
在樣本實時血管造影圖像中不到對應的點，則該點也不會被考量。
113.在一些實施例中，約束損失項e
internal
可以通過以下公式(9)計算得出：其中，e
disp
為第一約束項，用于約束配準后血管斷裂的個數，例如基于預測變化場對樣本對齊造影圖像進行變換后得到的圖像中血管斷裂的個數；e
smooth
為第二約束項，用于約束配準后圖像光滑程度，例如基于預測變化場對樣本對齊造影圖像進行變換后得到的圖像的光滑程度；e
myocard
為第三約束項，用于約束冠脈分支的配準結果，保證冠脈的拓撲結構，對于所有冠脈分支(包括大分支和小分支)都適用，例如基于預測變化場對樣本對齊造影圖像進行變換后得到的圖像中冠脈分支的情況。為r
s,q
的一階導數；α，β，γ為三個可調參數。在一些實施例中，α，β，γ可以分別選取0.1、10以及1.0的值。k代表配準后的圖像中冠脈分支的集合，{i,j}代表同一分支上的兩個點。若冠脈的分叉塌縮成一個點，則xi和xj的距離就很近，使|x
i-xj|很小，若映射前后分支形狀大致一致，則各個點的偏移向量也大致一致，即|r
i-rj|也很小。如果冠脈分支出現塌縮或者其他拓撲結構的變化，就會導致各點偏移向量不一致，分子|r
i-rj|就會變大，此時分子|x
i-xj|仍舊很小，導致第三約束項的值較大，則約束損失項的值也很大。
114.在一些實施例中，基于公式(9)可知，訓練過程中的配準模型的圖像損失項、所述第一約束損失項、所述第二約束項和所述第三約束損失項中的至少一個的值可以通過訓練樣本對應的樣本變換場r確定。在一些實施例中，訓練過程中的配準模型的圖像損失項、所述第一約束損失項、所述第二約束項和所述第三約束損失項的值均可以通過訓練樣本對應的樣本變換場r確定。
115.在一些實施例中，當配準模型完成訓練，訓練好的配準模型可以存儲在存儲設備140中，處理設備130可以從存儲設備中獲取訓練好的配準模型。在一些實施例中，處理設備130可以基于訓練好的配準模型，輸入對齊造影圖像和實時血管造影圖像，以生成對齊造影圖像到目標造影圖像的變換場。
116.步驟820，基于變換場，將對齊造影圖像進行變換，以生成變換造影圖像。步驟830，基于變換造影圖像和血管造影圖像，生成目標造影圖像。在一些實施例中，步驟820和830可以由處理設備130或配準模塊240執行。
117.在一些實施例中，處理設備130可以基于確定的對齊造影圖像到目標造影圖像的變換場，對對齊造影圖像進行變換，以生成變換造影圖像。在一些實施例中，處理設備130可以基于變換場，在對齊造影圖像上直接疊加變換場，從而生成變換造影圖像。此時的變換造影圖像相對于實時血管造影圖像可以視作不存在偏移或是偏移量可以忽略，那么變換造影圖像上的點則可以精確對應到實時血管造影圖像上的點，用于后續的圖像融合。
118.在一些實施例中，處理設備130可以將變換造影圖像和實時血管造影圖像直接進行融合，從而獲得精準融合過后的目標造影圖像。目標造影圖像可以融合實時血管造影圖像和掃描圖像中的信息，幫助確定原始造影圖像中無法顯影區域的血管走形以及大致的管腔結構，從而降低手術風險，提高介入手術的成功率。
119.應當注意的是，上述有關流程800的描述僅僅是為了示例和說明，而不限定本說明
書的適用范圍。對于本領域技術人員來說，在本說明書的指導下可以對流程800進行各種修正和改變。然而，這些修正和改變仍在本說明書的范圍之內。
120.在一些實施例中，流程300、500、700和800可以由處理設備(例如，處理設備130)執行。例如，流程300、500、700和800可以被實現為指令集(例如，應用程序)，其被存儲在圖像處理系統100內部或外部的存儲器中。處理設備可以執行指令集，并且在執行指令時，可以將其配置為執行流程300、500、700和800。在一些實施例中，流程300、500、700和800可以由圖2所示的一個或多個模塊執行。上面呈現的流程300、500、700和800的操作示意圖是說明性的。在一些實施例中，可以利用一個或以上未描述的附加操作和/或省略上文討論的一個或以上操作來完成該過程。另外，圖3、5、7和8中示出的和上面描述的流程300、500、700和800的操作的順序不旨在是限制性的。
121.本說明書實施例可能帶來的有益效果包括但不限于：(1)結合掃描圖像和血管造影圖像，將掃描圖像中的三維解剖細節實時疊加于造影圖像中，從而幫助確定造影圖像中的無法顯影的區域(例如，阻塞區域)，降低造影圖像所用于的介入手術的風險，提高介入手術成功率；(2)通過先生成冠脈粗分割圖像，再利用冠脈追蹤的方式生成冠脈分割結果，可以提高冠脈分割準確性和效率，且通過冠脈追蹤的方式對冠脈粗分割圖像進行進一步處理，可以有效地連接斷裂處冠脈血管的分割，從而提高冠脈血管分割的完整性；(3)通過全局對齊的方式，利用變換矩陣將冠脈分割結果中的冠脈中心線大致映射到實時血管造影圖像中，從而獲得對齊造影圖像，可以初步將冠脈分割結果與實時血管造影圖像相對應；(4)進一步通過非剛性配準的方式，結合深度學習網絡，將對齊造影圖像和實時血管造影圖像進行配準，可以大幅提高三維冠脈中心線與二維造影圖像之間的視覺一致性，同時借助于深度學習模型恒定時間推理能力，可以顯著縮短配準時間，從而實現精準實時配準。
122.需要說明的是，不同實施例可能產生的有益效果不同，在不同的實施例里，可能產生的有益效果可以是以上任意一種或幾種的組合，也可以是其他任何可能獲得的有益效果。
123.上文已對基本概念做了描述，顯然，對于本領域技術人員來說，上述詳細披露僅僅作為示例，而并不構成對本說明書的限定。雖然此處并沒有明確說明，本領域技術人員可能會對本說明書進行各種修改、改進和修正。該類修改、改進和修正在本說明書中被建議，所以該類修改、改進、修正仍屬于本說明書示范實施例的精神和范圍。
124.同時，本說明書使用了特定詞語來描述本說明書的實施例。如“一個實施例”、“一實施例”、和/或“一些實施例”意指與本說明書至少一個實施例相關的某一特征、結構或特點。因此，應強調并注意的是，本說明書中在不同位置兩次或多次提及的“一實施例”或“一個實施例”或“一個替代性實施例”并不一定是指同一實施例。此外，本說明書的一個或多個實施例中的某些特征、結構或特點可以進行適當的組合。
125.此外，除非權利要求中明確說明，本說明書所述處理元素和序列的順序、數字字母的使用、或其他名稱的使用，并非用于限定本說明書流程和方法的順序。盡管上述披露中通過各種示例討論了一些目前認為有用的發明實施例，但應當理解的是，該類細節僅起到說明的目的，附加的權利要求并不僅限于披露的實施例，相反，權利要求旨在覆蓋所有符合本說明書實施例實質和范圍的修正和等價組合。例如，雖然以上所描述的系統組件可以通過硬件設備實現，但是也可以只通過軟件的解決方案得以實現，如在現有的服務器或移動設
備上安裝所描述的系統。
126.同理，應當注意的是，為了簡化本說明書披露的表述，從而幫助對一個或多個發明實施例的理解，前文對本說明書實施例的描述中，有時會將多種特征歸并至一個實施例、附圖或對其的描述中。但是，這種披露方法并不意味著本說明書對象所需要的特征比權利要求中提及的特征多。實際上，實施例的特征要少于上述披露的單個實施例的全部特征。
127.一些實施例中使用了描述成分、屬性數量的數字，應當理解的是，此類用于實施例描述的數字，在一些示例中使用了修飾詞“大約”、“近似”或“大體上”來修飾。除非另外說明，“大約”、“近似”或“大體上”表明所述數字允許有
±
20％的變化。相應地，在一些實施例中，說明書和權利要求中使用的數值參數均為近似值，該近似值根據個別實施例所需特點可以發生改變。在一些實施例中，數值參數應考慮規定的有效數位并采用一般位數保留的方法。盡管本說明書一些實施例中用于確認其范圍廣度的數值域和參數為近似值，在具體實施例中，此類數值的設定在可行范圍內盡可能精確。
128.針對本說明書引用的每個專利、專利申請、專利申請公開物和其他材料，如文章、書籍、說明書、出版物、文檔等，特此將其全部內容并入本說明書作為參考。與本說明書內容不一致或產生沖突的申請歷史文件除外，對本說明書權利要求最廣范圍有限制的文件(當前或之后附加于本說明書中的)也除外。需要說明的是，如果本說明書附屬材料中的描述、定義、和/或術語的使用與本說明書所述內容有不一致或沖突的地方，以本說明書的描述、定義和/或術語的使用為準。
129.最后，應當理解的是，本說明書中所述實施例僅用以說明本說明書實施例的原則。其他的變形也可能屬于本說明書的范圍。因此，作為示例而非限制，本說明書實施例的替代配置可視為與本說明書的教導一致。相應地，本說明書的實施例不僅限于本說明書明確介紹和描述的實施例。
技術特征：
1.一種血管造影圖像處理方法，其特征在于，包括：獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；基于所述掃描圖像，確定冠脈分割結果；基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。2.如權利要求1所述的方法，其特征在于，所述血管造影圖像進一步包括歷史血管造影圖像，所述基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像包括基于所述冠脈分割結果和所述歷史血管造影圖像，生成所述對齊造影圖像，所述基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像包括基于所述對齊造影圖像和所述實時血管造影圖像，生成目標造影圖像。3.如權利要求1所述的方法，其特征在于，所述基于所述掃描圖像，確定冠脈分割結果包括：基于所述掃描圖像，確定心臟環形帶圖像；對所述心臟環形帶圖像進行分割，以生成冠脈粗分割圖像；以及基于冠脈追蹤模型和所述冠脈粗分割圖像確定所述冠脈分割結果。4.如權利要求3所述的方法，其特征在于，所述冠脈追蹤模型的第一損失函數包括冠脈中心線損失項，所述冠脈中心線損失項與冠脈追蹤結果、冠脈追蹤標簽、冠脈中心線追蹤結果和冠脈中心線追蹤標簽相關。5.如權利要求1所述的方法，其特征在于，所述基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像包括：基于初始變換矩陣，將所述冠脈分割結果映射為映射結果，所述映射結果為所述冠脈分割結果在至少一個參考角度上的映射結果；基于所述映射結果和所述血管造影圖像中的血管分割結果，確定第二損失函數的值；通過迭代優化所述第二損失函數的值，更新所述初始變換矩陣以獲得目標變換矩陣；基于所述目標變換矩陣和所述冠脈分割結果，生成所述對齊造影圖像。6.如權利要求1所述的方法，其特征在于，所述基于所述對齊造影圖像和所述血管造影圖像，確定目標造影圖像包括：基于配準模型、所述對齊造影圖像和所述實時血管造影圖像，確定所述對齊造影圖像到所述目標造影圖像的變換場；基于所述變換場，將所述對齊造影圖像進行變換，以生成變換造影圖像；基于所述變換造影圖像和所述實時血管造影圖像，生成所述目標造影圖像。7.如權利要求6所述的方法，其特征在于，所述配準模型的第三損失函數包括圖像損失項和約束損失項，其中，所述圖像損失項用于衡量配準準確度；所述約束損失項包括：用于約束配準后血管斷裂的個數的第一約束損失項、用于約束配準后圖像光滑程度的第二約束損失項、用于約束冠脈分支配準結果的第三約束損失項中的至少一種。
8.如權利要求7所述的方法，其特征在于，所述圖像損失項、所述第一約束損失項、所述第二約束項和所述第三約束損失項中的至少一個的值通過訓練樣本對應的樣本變換場確定。9.一種血管造影圖像處理系統，其特征在于，包括：獲取模塊，用于獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；分割模塊，用于基于所述掃描圖像，確定冠脈分割結果；對齊模塊，用于基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；配準模塊，用于基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。10.一種血管造影圖像處理系統，其特征在于，所述系統包括：至少一個存儲設備，用于存儲計算機指令；以及至少一個處理器，所述處理器被配置為與所述至少一個存儲設備通信，其中，當執行所述一組指令時，所述至少一個處理器被配置執行以下操作：獲取掃描圖像和血管造影圖像，所述血管造影圖像至少包括實時血管造影圖像；基于所述掃描圖像，確定冠脈分割結果；基于所述冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；基于所述對齊造影圖像和所述血管造影圖像，生成目標造影圖像。
技術總結
本說明書實施例公開了一種血管造影圖像處理方法和系統。所述圖像處理方法包括：獲取與目標對象的心臟部位有關的掃描圖像和血管造影圖像，血管造影圖像至少包括實時血管造影圖像；基于掃描圖像，確定冠脈分割結果；基于冠脈分割結果和所述血管造影圖像，生成對齊造影圖像；基于對齊造影圖像和血管造影圖像，生成目標造影圖像。目標造影圖像。目標造影圖像。
