一種視頻處理方法和相關設備與流程
1.本發明涉及多媒體技術領域，特別涉及一種視頻處理方法和相關設備。
背景技術：
2.隨著互聯網娛樂的發展，越來越多的人參與到互聯網的音頻制作中。隨著技術的發展和普及，音頻制作和視頻制作的門檻越來越低。在視頻制作中，必不可少的一個環節就是視頻的特效處理。例如調整光線、增加物品，或者減少物品。
3.針對調整光線這種類型，只要確定調整的視頻幀，按照統一的處理方式處理即可，但是對于后兩種類型，由于視頻的每一個幀之間存在視角、方向的變動，因此，當需要為視頻增加物品時，需要不停地調整每一個圖像幀中物品的透視、位置等參數，較為繁瑣且易出錯。
技術實現要素：
4.本發明要解決的技術問題在于降低視頻特效的難度，針對現有技術的不足，提供一種視頻處理方法和相關設備。
5.為了解決上述技術問題，本發明所采用的技術方案如下：
6.一種視頻處理方法，所述方法包括：
7.獲取視頻文件，其中，所述視頻文件包括若干個視頻片段；
8.針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型；
9.當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻。
10.所述視頻處理方法，其中，所述針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型包括：
11.針對每一個所述視頻片段，將該視頻片段作為處理片段，將該處理片段輸入已訓練的三維場景模型中，并控制所述三維場景模型對所述處理片段中的圖像幀進行三維化，得到與該視頻片段對應的場景模型。
12.所述視頻處理方法，其中，所述針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型之前，還包括：
13.獲取針對訓練模型的訓練視頻；
14.對所述訓練視頻中的訓練幀進行數據轉換，得到五維函數，其中，所述五維函數包括位置坐標和觀察向量；
15.將所述五維向量輸入預設的三維預測模型中，得到所述五維特征對應的體素顏和體素密度；
16.將所有所述體素顏和所述體素密度進行渲染，得到預測模型；
17.基于預設的損失函數，計算所述預測模型和所述訓練模型之間的損失值；
18.基于所述損失值，對所述三維預測模型進行訓練，直至所述三維預測模型收斂。
19.所述視頻處理方法，其中，所述當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻包括：
20.對該場景模型進行物體識別，得到若干個追蹤對象；
21.當檢測到針對預設的物品元素對應的特效增加指令時，根據所述特效增加指令中的指示坐標，確定所述追蹤對象中的追蹤元素和插入坐標；
22.根據所述場景模型、所述追蹤元素和所述指示坐標，確定所述物品元素對應的處理參數；
23.根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻。
24.所述視頻處理方法，其中，所述處理參數包括透視參數和投影參數；所述根據所述場景模型、所述追蹤元素和所述指示坐標，確定所述物品元素對應的處理參數包括：
25.根據所述追蹤元素和所述場景模型對應的透視信息，確定所述物品元素對應的透視參數；以及，
26.根據所述追蹤元素在所述場景模型中的光線信息，確定物品元素對應的投影參數。
27.所述視頻處理方法，其中，所述根據所述追蹤元素在所述場景模型中的光線信息，確定物品元素對應的投影參數包括：
28.根據場景模型中的光源分布信息，確定追蹤元素對應的光線面，其中，所述光線面包括受光面、側光面和背光面；
29.根據追蹤元素中的受光面的亮度值、側光面的亮度值和背光面的亮度值，以及場景模型中光源的亮度值，計算光線傳播函數和亮度傳遞函數；
30.根據所述指示坐標、所述光線傳播函數和所述亮度傳遞函數，計算所述物品元素對應的投影參數。
31.所述視頻處理方法，其中，所述特效視頻包括若干個特效圖像；所述根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻包括：
32.當所述場景模型包括鏡面物時，根據所述插入坐標和所述鏡面物的世界坐標，生成與所述物品元素對應鏡面元素、所述鏡面元素對應的鏡面坐標和鏡面參數；
33.根據鏡面信息和物品信息，對所述視頻文件進行處理，得到特效視頻，其中，所述鏡面信息包括所述鏡面元素、所述鏡面坐標和所述鏡面參數，所述物品信息包括所述物品元素、所述插入坐標和所述處理參數。
34.所述視頻處理方法，其中，所述特效視頻包括特效處理視頻和特效補充視頻；根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻包括：
35.將待處理片段對應的待處理模型與所述場景模型進行比較，確定與所述場景模型對應的比較模型；
36.根據所述特效增加指令，生成與所述比較模型對應的特效補充指令；
37.根據所述特效補充指令，對所述比較模型對應的待處理片段進行處理，得到特效補充視頻；以及，
38.根據所述插入坐標、所述處理參數和所述物品元素，對所述處理片段進行處理，得到特效處理視頻。
39.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如上任一所述的視頻處理方法中的步驟。
40.一種終端設備，其包括：處理器、存儲器及通信總線；所述存儲器上存儲有可被所述處理器執行的計算機可讀程序；
41.所述通信總線實現處理器和存儲器之間的連接通信；
42.所述處理器執行所述計算機可讀程序時實現如上任一所述的視頻處理方法中的步驟。
43.有益效果：本發明根據圖像幀，對視頻文件中不同的視頻片段創建場景模型，當用戶需要為視頻文件增加物品時，將物品元素添加到場景模型中，由于場景模型來源于圖像幀，因此圖像幀可視作是針對場景模型按照一定視角進行投影的結果，因此，基于添加了物品的場景模型，可對二維的圖像幀進行修改。從而實現物品由三維的場景模型進入到二維的幀圖像中，提高了特效處理的簡便性和快速性。
附圖說明
44.圖1為本發明提供的視頻處理方法的流程圖。
45.圖2為本發明提供的視頻處理方法的視頻文件切分為視頻片段的示意圖。
46.圖3為本發明提供的視頻處理方法的顯示界面的示意圖。
47.圖4為本發明提供的視頻處理方法的光線面的示意圖。
48.圖5為本發明提供的終端設備的結構原理圖。
具體實施方式
49.本發明提供一種視頻處理方法，為使本發明的目的、技術方案及效果更加清楚、明確，以下參照附圖并舉實施例對本發明進一步詳細說明。應當理解，此處所描述的具體實施例僅用以解釋本發明，并不用于限定本發明。
50.本技術領域技術人員可以理解，除非特意聲明，這里使用的單數形式“一”、“一個”、“所述”和“該”也可包括復數形式。應該進一步理解的是，本發明的說明書中使用的措辭“包括”是指存在所述特征、整數、步驟、操作、元件和/或組件，但是并不排除存在或添加一個或多個其他特征、整數、步驟、操作、元件、組件和/或它們的組。應該理解，當我們稱元件被“連接”或“耦接”到另一元件時，它可以直接連接或耦接到其他元件，或者也可以存在中間元件。此外，這里使用的“連接”或“耦接”可以包括無線連接或無線耦接。這里使用的措辭“和/或”包括一個或更多個相關聯的列出項的全部或任一單元和全部組合。
51.本技術領域技術人員可以理解，除非另外定義，這里使用的所有術語(包括技術術語和科學術語)，具有與本發明所屬領域中的普通技術人員的一般理解相同的意義。還應該
理解的是，諸如通用字典中定義的那些術語，應該被理解為具有與現有技術的上下文中的意義一致的意義，并且除非像這里一樣被特定定義，否則不會用理想化或過于正式的含義來解釋。
52.如圖1所示，本實施提供了一種視頻處理方法，為方便說明，以常見的服務器作為執行主體進行描述，此處的服務器可替換為平板、電腦等具有數據處理功能的設備，視頻處理方法包括以下步驟：
53.s10、獲取視頻文件。
54.具體地，首先獲取待處理的視頻文件。視頻文件可以由一個或者多個視頻片段組成。該視頻文件可來源于本地、云端或者客戶端傳輸。視頻片段和視頻片段的劃分標準在于來源的鏡頭是否相同，視頻文件中可能為不同的視頻片段進行記號標記，此時只要直接根據標記對視頻文件進行拆分，即可得到若干個視頻片段。對于不存在標記的視頻文件，可采用根據鏡頭邊界，將視頻文件進行拆分，得到若干個視頻片段。鏡頭邊界的判斷可通過視頻背景、圖像幀中人物或物體的面積變化等方式實現。例如前一個圖像幀中包含人，后一個圖像幀中不包含人，則將前一個圖像幀和后一個圖像幀之間確定為鏡頭邊界。
55.s20、針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型。
56.具體地，由于不同的視頻片段對應的場景不同，后續三維化得到的場景模型也并不相同，此處針對每一個視頻片段，將該視頻片段作為處理片段，根據在這個視頻片段中的圖像幀，進行二維場景的三維化，得到與該視頻片段對應的場景模型。
57.本發明可采用基于深度圖建立三維的場景模型，此方法雖然簡單，但是深度圖的采集需要實地采集，對設備和環境要求較高，難度較大。但是對于連續時間內變化的多張圖像，圖像和圖像之間會提供更多的信息，因此，對于視頻片段，可直接根據視頻片段中的多張圖像幀進行三維化，得到場景模型。
58.本實施例提供一種預先訓練好的三維場景模型，將視頻片段作為處理片段，并將其輸入至所述三維場景模型中，并控制三維場景模型對輸入的視頻片段中的圖像幀進行三維化，得到與該視頻片段對應的場景模型。而該三維場景模型的訓練過程包括：
59.a10、獲取針對訓練模型的訓練視頻。
60.具體地，預先獲取針對預設的訓練模型的訓練視頻。該訓練視頻可采用對實物進行拍攝得到，也可以根據訓練模型制作二維視頻得到，也可以是大量相機參數已知的圖像組合形成的訓練視頻。
61.a20、對所述訓練視頻中的訓練幀進行數據轉換，得到五維函數，其中，所述五維函數包括訓練坐標和觀察向量。
62.具體地，針對訓練視頻中的每一張圖像幀作為訓練幀，對其進行數據轉換，將其轉換為一個五維函數，該五維函數包括該圖像幀在空間中對應的訓練坐標，還包括觀察向量，觀察向量包括觀察角度和觀察的起點坐標。
63.a30、將所述五維向量輸入預設的三維預測模型中，得到所述五維特征對應的體素顏和體素密度。
64.具體地，將五維特征向量輸入到三維預測模型中，三維預測模型可將其轉換為三維模型中體素的屬性值，例如體素顏和體素密度。
65.以公式可表示為f
θ
：(x,d)
→
(c,σ)
66.其中，x＝{x,y,z}表示三維坐標；d＝{θ,φ}表示二維的觀察向量；c＝{r,g,b}，表示與視角相關的該體素的顏；σ表示體素的密度。該三維預測模型可采用mlp網絡。
67.a40、將所有所述體素顏和所述體素密度進行渲染，得到預測模型。
68.具體地，在三維模型建模過程中，知道體素顏和體素密度，即可實現三維模型的渲染和輸出，得到預測模型。
69.a50、基于預設的損失函數，計算所述預測模型和所述訓練模型之間的損失值。
70.具體地，得到預測模型后，為評價該三維預測模型的準確性，基于預設的損失函數，計算預測模型和訓練模型之間的損失值，也就是三維預測模型預測不準確的數值。
71.a60、基于所述損失值，對所述三維預測模型進行訓練，直至所述三維預測模型收斂。
72.具體地，然后將損失值反向傳輸回三維預測模型中，以對三維預測模型內的參數進行調整。再重復訓練、損失計算、調整的過程，直至三維預測模型滿足預設的收斂條件，實現模型收斂。預設的收斂條件可包括三維預測模型的準確性達到閾值，或訓練次數達到目標次數等。
73.s30、當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻。
74.具體地，預先設定若干個物品元素，該物品元素可以由設計者預先設計，也可由用戶自己手動添加。物品元素可包括花瓶、球等多種物品的形狀、大小、顏等參數。
75.當用戶需要對視頻文件添加物品元素時，可通過外接設備選擇所需要添加的物品元素，以及所要添加物品元素的指示位置，從而生成用于向服務器發送的特效增加指令。在本實施例的一種生成特效增加指令的方式中，如圖3所示，在與服務器連接的顯示界面上，左邊顯示視頻文件中的某一張圖像幀，右邊列有可被加入該視頻文件的物品元素。用戶可直接將右側的物品元素拖動到顯示的圖像幀中，然后松開鼠標，松開鼠標時的坐標即指示坐標，即用戶期望添加物品元素的坐標。
76.由于為不同的視頻片段創建了與其對應的場景模型，因此當得到物品元素和指示位置時，根據指示坐標，將物品元素移動到場景模型上。在這個處理片段中，每一張圖像幀都可以看做場景模型根據特定視角投影得到。因此，在物品元素移動到場景模型上后，基于每一張圖像幀投影場景模型的角度，以及添加物品元素后的場景模型，將該物品元素對應的二維信息添加至圖像幀，從而得到該圖像幀對應的特效圖像。將所有圖像幀轉化為添加物品元素的特效圖像后，即得到對整個視頻片段添加物品元素的特效視頻。
77.進一步地，若指示坐標為針對場景模型的世界坐標確定的坐標，則根據指示坐標，能夠確定與物品元素對應的唯一位置進行添加物品元素。但是由于顯示的圖像是二維的，用戶并不容易確定自己期望確定的位置，指定坐標更多是二維坐標。而在進行視頻進展過程中常常出現視角調整，因此僅靠二維坐標確定在場景模型中的位置并不穩定。因此，本實施例將場景模型中的物品作為標的，用于固定物品元素的位置，在本實施例的一種對視頻片段進行處理的過程為：
78.b10、對該場景模型進行物體識別，得到若干個追蹤對象；
79.具體地，由于場景模型是通過體素進行建模，并不是根據存在物品再進行建模，所
以得到場景模型后，先對場景模型進行物品識別，識別在場景模型中的物品，將這些本身就在場景模型中的物品成為追蹤對象。常見的最終對象如墻壁、桌子、人、椅子。
80.b20、當檢測到針對預設的物品元素對應的特效增加指令時，根據所述特效增加指令中的指示坐標，確定所述追蹤對象中的追蹤元素和插入坐標。
81.具體地，當檢測到針對物品元素對應的特效增加指令時，根據該指示坐標對應在顯示的圖像幀上的坐標，可確定用戶希望在圖像幀上添加物品元素的二維坐標。根據二維坐標，確定追蹤對象中的追蹤元素。如圖3所示，本實施例，若用戶輸入的指示坐標在圖像幀對應的物品為天空，則將天空作為追蹤元素。
82.基于追蹤元素的固定，以及指示坐標，物品元素可較為穩定地確定在場景模型中相對固定的位置。當視頻片段中發生視角的變化，例如從11點方向調整至10點方向，物品元素在各個圖像幀中的投影都較為固定。例如前文中選擇的追蹤元素為天空，物品元素為太陽，則太陽在圖像幀1的視角中投影的位置在天空的區域，在圖像幀2的視角中投影的位置也在天空的區域。此方式能夠更好地提高物品元素插入位置的穩定性。再例如，物品元素是放置于某個平面的表面，例如墻的表面，將墻的表面作為一個固定面，基于該固定面在世界坐標系中的函數和指示坐標，可將物品元素固定在一個唯一坐標上，本實施例中將這一坐標作為插入坐標。此外，用戶還可通過發送修正指令，調整物品元素對應的插入坐標，以固定物品元素的位置。
83.b30、根據所述場景模型、所述追蹤元素和所述指示坐標，確定所述物品元素對應的處理參數。
84.具體地，根據場景模型、追蹤元素和指示坐標，物品元素能夠確定一個相對穩定的位置坐標，將該插入坐標對應的顯示參數，例如光線、投影等，作為物品元素對應的處理參數。本實施例以處理參數包括透視參數和投影參數為例，透視參數是物品元素與場景模型之間的透視關系，投影參數是在場景模型的光線下物品元素所顯示的明暗分布。因此，可根據所述追蹤元素和所述場景模型對應的透視信息，確定所述物品元素對應的透視參數。同時，根據所述追蹤元素在所述場景模型中的光線信息，確定物品元素對應的投影參數。
85.在確定投影參數時，由于物品元素依賴追蹤元素，因此可先根據場景模型中的光源分布信息，確定追蹤元素對應的光線面。光線面是指對光線的承受的程度不同進行劃分，一般包括受光面、側光面和背光面。以圖4為例，場景模型中的光源分布于右上角，因此可確定追蹤元素中的受光面(圖中3標識的面)、側光面(圖中2標識的面)以及背光面(圖中1標識的面)。
86.根據追蹤元素中的受光面、側光面和背光面的亮度值以及場景模型中光源的亮度值，計算光線傳播函數和亮度傳遞函數，光線傳播函數即代表從光源到追蹤元素之間的光線傳播路徑的函數；亮度傳遞函數即光線在傳播至追蹤元素過程時，受光面、側光面和背光面的亮度值的變化函數。最后根據物品元素對應的插入坐標，將物品元素插入至場景模型中，并根據光源傳遞函數和亮度傳遞函數，計算所述物品元素在場景模型中不同面呈現的亮度，即投影參數。
87.因此，根據場景模型、追蹤元素和指示坐標，物品元素能夠確定一個相對穩定的位置坐標，將該位置坐標對應的顯示參數，例如光線、投影等，作為物品元素對應的處理參數。
88.b40、根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處
理，得到特效視頻。
89.具體地，得到物品元素對應的處理參數后，可將物品元素更為真實且貼切地插入到是場景模型中。可根據視角信息，重新對插入了物品元素和鏡面元素的場景模型進行投影，得到投影圖像，將該投影圖像替代圖像幀。但是這種方式，視頻片段中出現了物品移動等現象，新的投影圖像并不能很好保留原有圖像幀的信息。因此，本實施例根據視頻片段不同的圖像幀對應的視角，將物品元素投影并插入至該圖像幀中。對每一個圖像幀處理完畢后，即得到特效視頻。
90.進一步地，若場景模型中包括鏡面物，例如鏡子、湖面，在場景模型中增加物品元素時，在實際場景中，鏡面會出現對應的鏡像。因此，在本實施例中，當場景模型中包含鏡面物時，需要對場景模型中的鏡面進行處理。
91.首先，當檢測到場景模型中存在鏡面物時，根據所述物品元素對應的插入坐標和所述鏡面物對應的世界坐標，生成與所述物品元素對應的鏡面元素，以及所述鏡面元素對應的鏡面坐標和鏡面參數。鏡面參數是指與物品元素對應的處理參數類似的參數，可包括投影參數、透視參數等。將物品元素、插入坐標和處理參數作為物品信息，將鏡面元素、鏡面坐標和鏡面參數作為鏡面信息，根據鏡面信息和物品信息，對視頻文件進行處理，得到特效視頻。對視頻文件中的圖像幀的處理方式在前文已描述，故不再一一陳述。
92.進一步地，視頻片段之間可能存在場景共用的情形，例如視頻片段1針對場景a，視頻片段2針對場景b，而視頻片段3仍針對場景a。若用戶只針對視頻片段1插入了物品元素，視頻片段3應當也進行特效處理。因此在對該視頻片段處理后，還包括：
93.c10、將待處理片段對應的待處理模型與所述場景模型進行比較，確定與所述場景模型對應的比較模型。
94.具體地，待處理片段就是所有視頻片段中與用戶選擇處理的視頻片段以外的視頻片段。待處理模型即對待處理片段進行三維化得到的模型。
95.待處理模型和場景模型都是三維模型，故兩者可以進行比較，從而確定與場景模型較為相似的待處理模型作為其對應的比較模型。三維模型的比較可先采用坐標系歸一化，將三維模型轉換為同一個坐標系下的模型，然后采用外觀比較、幾何相似性等方法比較位于同一坐標系下的場景模型和待處理模型之間的模型相似度。然后選擇模型相似度滿足預設的閾值的待處理模型作為場景模型對應的比較模型。
96.若采用幾何相似性比較待處理模型和場景模型之間的相似度，由于幾何相似性中采用亮度、顏、拓撲結構等多個維度評價兩個模型之間的模型相似度，因此，在計算模型相似度時，可為不同維度設定不同的權重，針對每一個維度，計算該維度下的單維度相似度與對應的權重之積，再對所有添加權重后的單維度相似度求和，得到模型相似度。例如，在視頻拍攝中，隨著時間推移，亮度會發生變化，因此亮度這一維度對應的權重值較低，例如小于30％，而顏是較為穩定的，因此這一維度對應的權重值較高，例如大于50％。
97.c20、根據所述特效增加指令，生成與所述比較模型對應的特效補充指令。
98.具體地，特效增加指令是針對場景模型的，由于不同視頻片段對應的三維模型不同，因此，需要將特效增加指令轉換為針對比較模型的指令。首先將建立場景模型與比較模型的坐標系之間的轉換函數，然后基于轉換函數，將特效增加指令進行轉換，得到特效補充指令。
99.c30、根據所述特效補充指令，對所述比較模型對應的待處理片段進行處理，得到特效補充視頻；以及，根據所述插入坐標、所述處理參數和所述物品元素，對所述處理片段進行處理，得到特效處理視頻。
100.具體地，最后基于特效補充指令，對比較模型對應的待處理片段進行處理，得到在該待處理片段中增加物品元素的特效補充視頻。同時，根據插入坐標、處理參數和物品元素，對處理片段也進行處理，得到特效處理視頻。由于此過程與前文針對視頻片段的處理過程相同，故在此不再贅述。將特效處理視頻替換處理片段在視頻文件中的位置，以及將特效補充視頻替換待處理片段在視頻文件中的位置，即可得到處理后的特效視頻。
101.本發明對視頻文件創建場景模型，當用戶需要添加物品元素時，在場景模型上進行模擬，然后根據圖像幀投影的角度，將物品元素從三維變更為二維，得到其二維信息，并添加至圖像幀上。在此過程中，用戶僅需要確定所要添加的位置以及所要添加的物品元素即可，降低了對整個視頻特效處理的難度，提高處理速率。此外，本發明在實施過程中，還結合追蹤元素，提高物品元素位置的穩定性，鏡面物對視頻特效的影響，以及不同的視頻片段場景重合時的處理方式，提高處理的精確度，進一步降低處理門檻。
102.基于上述視頻處理方法，本發明還提供了一種終端設備，如圖3所示，其包括至少一個處理器(processor)20；顯示屏21；以及存儲器(memory)22，還可以包括通信接口(communications interface)23和總線24。其中，處理器20、顯示屏21、存儲器22和通信接口23可以通過總線24完成相互間的通信。顯示屏21設置為顯示初始設置模式中預設的用戶引導界面。通信接口23可以傳輸信息。處理器20可以調用存儲器22中的邏輯命令，以執行上述實施例中的方法。
103.此外，上述的存儲器22中的邏輯命令可以通過軟件功能單元的形式實現并作為獨立的產品銷售或使用時，可以存儲在一個計算機可讀取計算機可讀存儲介質中。
104.存儲器22作為一種計算機可讀存儲介質，可設置為存儲軟件程序、計算機可執行程序，如本公開實施例中的方法對應的程序命令或模塊。處理器20通過運行存儲在存儲器22中的軟件程序、命令或模塊，從而執行功能應用以及數據處理，即實現上述實施例中的方法。
105.存儲器22可包括存儲程序區和存儲數據區，其中，存儲程序區可存儲操作系統、至少一個功能所需的應用程序；存儲數據區可存儲根據終端設備的使用所創建的數據等。此外，存儲器22可以包括高速隨機存取存儲器，還可以包括非易失性存儲器。例如，u盤、移動硬盤、只讀存儲器(read-only memory，rom)、隨機存取存儲器(random access memory，ram)、磁碟或者光盤等多種可以存儲程序代碼的介質，也可以是暫態計算機可讀存儲介質。
106.此外，上述計算機可讀存儲介質以及終端設備中的多條命令處理器加載并執行的具體過程在上述方法中已經詳細說明，在這里就不再一一陳述。
107.最后應說明的是：以上實施例僅用以說明本發明的技術方案，而非對其限制；盡管參照前述實施例對本發明進行了詳細的說明，本領域的普通技術人員應當理解：其依然可以對前述各實施例所記載的技術方案進行修改，或者對其中部分技術特征進行等同替換；而這些修改或者替換，并不使相應技術方案的本質脫離本發明各實施例技術方案的精神和范圍。
技術特征：
1.一種視頻處理方法，其特征在于，所述方法包括：獲取視頻文件，其中，所述視頻文件包括若干個視頻片段；針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型；當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻。2.根據權利要求1所述視頻處理方法，其特征在于，所述針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型包括：針對每一個所述視頻片段，將該視頻片段作為處理片段，將該處理片段輸入已訓練的三維場景模型中，并控制所述三維場景模型對所述處理片段中的圖像幀進行三維化，得到與該視頻片段對應的場景模型。3.根據權利要求2所述視頻處理方法，其特征在于，所述針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型之前，還包括：獲取針對訓練模型的訓練視頻；對所述訓練視頻中的訓練幀進行數據轉換，得到五維函數，其中，所述五維函數包括位置坐標和觀察向量；將所述五維向量輸入預設的三維預測模型中，得到所述五維特征對應的體素顏和體素密度；將所有所述體素顏和所述體素密度進行渲染，得到預測模型；基于預設的損失函數，計算所述預測模型和所述訓練模型之間的損失值；基于所述損失值，對所述三維預測模型進行訓練，直至所述三維預測模型收斂。4.根據權利要求1所述視頻處理方法，其特征在于，所述當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻包括：對該場景模型進行物體識別，得到若干個追蹤對象；當檢測到針對預設的物品元素對應的特效增加指令時，根據所述特效增加指令中的指示坐標，確定所述追蹤對象中的追蹤元素和插入坐標；根據所述場景模型、所述追蹤元素和所述指示坐標，確定所述物品元素對應的處理參數；根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻。5.根據權利要求4所述視頻處理方法，其特征在于，所述處理參數包括透視參數和投影參數；所述根據所述場景模型、所述追蹤元素和所述指示坐標，確定所述物品元素對應的處理參數包括：根據所述追蹤元素和所述場景模型對應的透視信息，確定所述物品元素對應的透視參數；以及，根據所述追蹤元素在所述場景模型中的光線信息，確定物品元素對應的投影參數。
6.根據權利要求5所述視頻處理方法，其特征在于，所述根據所述追蹤元素在所述場景模型中的光線信息，確定物品元素對應的投影參數包括：根據場景模型中的光源分布信息，確定追蹤元素對應的光線面，其中，所述光線面包括受光面、側光面和背光面；根據追蹤元素中的受光面的亮度值、側光面的亮度值和背光面的亮度值，以及場景模型中光源的亮度值，計算光線傳播函數和亮度傳遞函數；根據所述指示坐標、所述光線傳播函數和所述亮度傳遞函數，計算所述物品元素對應的投影參數。7.根據權利要求4所述視頻處理方法，其特征在于，所述特效視頻包括若干個特效圖像；所述根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻包括：當所述場景模型包括鏡面物時，根據所述插入坐標和所述鏡面物的世界坐標，生成與所述物品元素對應鏡面元素、所述鏡面元素對應的鏡面坐標和鏡面參數；根據鏡面信息和物品信息，對所述視頻文件進行處理，得到特效視頻，其中，所述鏡面信息包括所述鏡面元素、所述鏡面坐標和所述鏡面參數，所述物品信息包括所述物品元素、所述插入坐標和所述處理參數。8.根據權利要求4所述的視頻處理方法，其特征在于，所述特效視頻包括特效處理視頻和特效補充視頻；根據所述插入坐標、所述處理參數和所述物品元素，對所述視頻文件進行處理，得到特效視頻包括：將待處理片段對應的待處理模型與所述場景模型進行比較，確定與所述場景模型對應的比較模型；根據所述特效增加指令，生成與所述比較模型對應的特效補充指令；根據所述特效補充指令，對所述比較模型對應的待處理片段進行處理，得到特效補充視頻；以及，根據所述插入坐標、所述處理參數和所述物品元素，對所述處理片段進行處理，得到特效處理視頻。9.一種計算機可讀存儲介質，其特征在于，所述計算機可讀存儲介質存儲有一個或者多個程序，所述一個或者多個程序可被一個或者多個處理器執行，以實現如權利要求1～8任意一項所述的視頻處理方法中的步驟。10.一種終端設備，其特征在于，包括：處理器、存儲器及通信總線；所述存儲器上存儲有可被所述處理器執行的計算機可讀程序；所述通信總線實現處理器和存儲器之間的連接通信；所述處理器執行所述計算機可讀程序時實現如權利要求1～8任意一項所述的視頻處理方法中的步驟。
技術總結
本發明公開了一種視頻處理方法和相關設備，方法包括：獲取視頻文件，其中，所述視頻文件包括若干個視頻片段；針對每一個所述視頻片段，將該視頻片段作為處理片段，根據所述處理片段中的圖像幀，進行二維場景三維化，得到與該處理片段對應的場景模型；當檢測到針對預設的物品元素對應的特效增加指令時，根據所述場景模型和所述特效增加指令，對所述視頻文件進行處理，得到特效視頻。本發明提供一種針對視頻的方便快捷的特效處理方法，提高視頻特效處理的效率。理的效率。理的效率。
