使用增強(qiáng)二次變換的編解碼視頻處理的制作方法
使用增強(qiáng)二次變換的編解碼視頻處理
1.相關(guān)申請(qǐng)的交叉引用
2.根據(jù)適用的專利法和/或巴黎公約的規(guī)則，提出本技術(shù)旨在及時(shí)要求于2020年3月25日提交的國際專利申請(qǐng)第pct/cn2020/081174號(hào)的優(yōu)先權(quán)和權(quán)益。出于法律規(guī)定的所有目的，上述申請(qǐng)的全部公開通過引用合并為本技術(shù)公開的一部分。
技術(shù)領(lǐng)域
3.本專利文件涉及視頻編碼和解碼技術(shù)、設(shè)備和系統(tǒng)。
背景技術(shù)：
4.盡管在視頻壓縮方面取得了進(jìn)步，但數(shù)字視頻仍占互聯(lián)網(wǎng)和其他數(shù)字通信網(wǎng)絡(luò)上最大的帶寬使用量。隨著能夠接收和顯示視頻的連接用戶設(shè)備數(shù)量的增加，預(yù)計(jì)數(shù)字視頻使用的帶寬需求將繼續(xù)增長。
技術(shù)實(shí)現(xiàn)要素：
5.本文件描述了在視頻或圖像的解碼或編碼期間使用二次變換(也稱為低頻不可分離變換)的各種實(shí)施例和技術(shù)。
6.在一個(gè)示例方面，公開了一種視頻處理的方法。該方法包括根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定是否或如何在比特流中指示視頻單元內(nèi)的二次變換的使用。在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用二次變換。
7.在另一示例方面，公開了一種視頻處理的方法。該方法包括根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定基于與視頻塊相關(guān)聯(lián)的語法元素來確定在視頻塊中可分離二次變換的使用。在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用可分離二次變換。
8.在另一示例方面，公開了一種視頻處理的方法。該方法包括根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定從要應(yīng)用于視頻塊的多個(gè)可分離二次變換中選擇二次變換。二次變換應(yīng)用于視頻塊的行或視頻塊的列。
9.在另一示例方面，公開了一種視頻處理的方法。該方法包括基于條件確定用于視頻的視頻塊的運(yùn)動(dòng)補(bǔ)償?shù)囊粋€(gè)或多個(gè)插值濾波器，以及根據(jù)該確定執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。
10.在另一示例方面，公開了一種視頻處理的方法。該方法包括根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。使用交織預(yù)測模式對(duì)視頻塊進(jìn)行編解碼，在該交織預(yù)測模式中使用第一樣式和第二樣式將視頻塊劃分為子塊，并且最終預(yù)測被確定為具有第一樣式和第二樣式的兩個(gè)輔助預(yù)測的加權(quán)和。該規(guī)則指定具有第一樣式和第二樣式的兩個(gè)輔助預(yù)測包括單預(yù)測和雙預(yù)測，其中第一樣式和第二樣式是不同的。
11.在另一示例方面，公開了一種視頻處理的方法。該方法包括確定用于在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次
變換的約束規(guī)則并通過根據(jù)約束規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。在轉(zhuǎn)換過程中，以特定順序與主變換一起應(yīng)用具有縮減維度的二次變換。
12.在另一示例方面，公開了視頻處理的另一方法。該方法包括確定用于在當(dāng)前視頻塊和相鄰視頻區(qū)域的比特流表示與當(dāng)前視頻塊的像素和相鄰區(qū)域的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的約束規(guī)則，以及通過根據(jù)約束規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行該變換。具有縮減維度的二次變換具有從當(dāng)前視頻塊和相鄰視頻區(qū)域的維度縮減的維度。在轉(zhuǎn)換過程中，以特定順序與主變換一起應(yīng)用具有縮減維度的二次變換。
13.在又一示例方面，公開了視頻處理的另一方法。該方法包括確定用于在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的歸零規(guī)則并通過根據(jù)歸零規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。歸零規(guī)則指定由具有縮減維度的二次變換使用的系數(shù)的最大數(shù)量。
14.在又一示例方面，公開了視頻處理的另一方法。該方法包括確定用于在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的歸零規(guī)則并通過根據(jù)歸零規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。歸零規(guī)則指定由具有縮減維度的二次變換使用的系數(shù)的最大數(shù)量。
15.在又一示例方面，公開了視頻處理的另一方法。該方法包括確定用于在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的條件并通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。在比特流表示中信令通知該條件。
16.在又一示例方面，公開了視頻處理的另一方法。該方法包括在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換并通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。該轉(zhuǎn)換包括基于共存規(guī)則選擇性地應(yīng)用位置相關(guān)幀內(nèi)預(yù)測組合(pdpc)。
17.在又一示例方面，公開了視頻處理的另一方法。該方法包括在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間應(yīng)用具有縮減維度的二次變換并通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。該應(yīng)用在轉(zhuǎn)換期間控制用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)的使用。
18.在又一示例方面，公開了視頻處理的另一方法。該方法包括在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換并通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行該轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。該選擇性應(yīng)用在轉(zhuǎn)換期間控制量化矩陣的使用。
19.在又一示例方面，公開了視頻處理的另一方法。該方法包括對(duì)于視頻的當(dāng)前視頻塊和視頻的比特流表示之間的轉(zhuǎn)換，基于編解碼條件確定是否使用可分離二次變換(sst)進(jìn)行該轉(zhuǎn)換；以及根據(jù)該確定執(zhí)行該轉(zhuǎn)換。
20.在又一示例方面，公開了一種視頻編碼器。視頻編碼器包括被配置為實(shí)施上述方法中的一個(gè)或多個(gè)的處理器。
21.在又一示例方面，公開了一種視頻解碼器。視頻解碼器包括被配置為實(shí)施上述方法中的一個(gè)或多個(gè)的處理器。
22.在又一示例方面，公開了一種計(jì)算機(jī)可讀介質(zhì)。該介質(zhì)包括用于實(shí)施存儲(chǔ)在該介質(zhì)上的上述方法中的一個(gè)或多個(gè)的代碼。
23.本文件中描述了這些和其他方面。
附圖說明
24.圖1示出了編碼器框圖的示例。
25.圖2示出了67個(gè)幀內(nèi)預(yù)測模式的示例。
26.圖3a示出了用于廣角幀內(nèi)預(yù)測的參考樣點(diǎn)的示例。
27.圖3b示出了用于廣角幀內(nèi)預(yù)測的參考樣點(diǎn)的另一示例。
28.圖4是在方向超過45度的情況下的不連續(xù)問題的示例說明。
29.圖5a示出了應(yīng)用于對(duì)角線和相鄰角度幀內(nèi)模式的pdpc所使用的樣點(diǎn)的示例說明。
30.圖5b示出了應(yīng)用于對(duì)角線和相鄰角度幀內(nèi)模式的pdpc所使用的樣點(diǎn)的另一示例說明。
31.圖5c示出了應(yīng)用于對(duì)角線和相鄰角度幀內(nèi)模式的pdpc所使用的樣點(diǎn)的另一示例說明。
32.圖5d示出了應(yīng)用于對(duì)角線和相鄰角度幀內(nèi)模式的pdpc所使用的樣點(diǎn)的又一示例說明。
33.圖6是4
×
8和8
×
4塊劃分的示例。
34.圖7示出了除4
×
8、8
×
4和4
×
4以外的所有塊的劃分示例。
35.圖8將4
×
8樣點(diǎn)的塊劃分為兩個(gè)獨(dú)立的可解碼區(qū)域。
36.圖9示出了像素行處理的示例順序，以使具有垂直預(yù)測器的4
×
n塊的吞吐量最大化。
37.圖10示出了二次變換的示例。
38.圖11示出了所提出的縮減二次變換(rst)的示例。
39.圖12示出了正向和反向(或逆)縮減變換的示例。
40.圖13示出了具有16
×
48矩陣的前向rst8
×
8過程的示例。
41.圖14示出了針對(duì)非零元素掃描位置17至64的示例。
42.圖15是子塊變換模式sbt-v和sbt-h的圖示。
43.圖16是用于實(shí)施本文件中描述的技術(shù)的示例硬件平臺(tái)的框圖。
44.圖17是視頻處理的示例方法的流程圖。
45.圖18a示出了基于掃描區(qū)域的系數(shù)編解碼的示例。
46.圖18b示出了基于掃描區(qū)域的系數(shù)編解碼的另一示例。
47.圖19是其中可以實(shí)施所公開的技術(shù)的示例視頻處理系統(tǒng)的框圖。
48.圖20示出了簡化仿射運(yùn)動(dòng)模型的示例。
49.圖21示出了每個(gè)子塊的仿射mv的示例。
50.圖22示出了用于af_inter的mvp的示例。
51.圖23a示出了af_merge的候選示例。
52.圖23b示出了af_merge的候選的另一示例。
53.圖24a示出了被4
×
4子塊劃分的塊的示例。
54.圖24b示出了被具有偏移的4
×
4子塊劃分的塊的示例。
55.圖25示出了子塊中的加權(quán)值的示例。
56.圖26a示出了劃分樣式的示例。
57.圖26b示出了劃分樣式的另一示例。
58.圖27a示出了子塊中的加權(quán)值的示例。
59.圖27b示出了子塊中的加權(quán)值的另一示例。
60.圖27c示出了子塊中的加權(quán)值的另一示例。
61.圖27d示出了子塊中的加權(quán)值的又一示例。
62.圖28是示出了示例視頻編解碼系統(tǒng)的框圖。
63.圖29是示出了根據(jù)本公開的一些實(shí)施例的編碼器的框圖。
64.圖30是示出了根據(jù)本公開的一些實(shí)施例的解碼器的框圖。
65.圖31是根據(jù)本技術(shù)的用于視頻處理的方法的流程圖表示。
66.圖32是根據(jù)本技術(shù)的用于視頻處理的另一方法的流程圖表示。
67.圖33是根據(jù)本技術(shù)的用于視頻處理的另一方法的流程圖表示。
68.圖34是根據(jù)本技術(shù)的用于視頻處理的另一方法的流程圖表示。
69.圖35是根據(jù)本技術(shù)的用于視頻處理的又一方法的流程圖表示。
具體實(shí)施方式
70.在本文件中使用章節(jié)標(biāo)題是為了便于理解，并且不將章節(jié)中公開的實(shí)施例僅限于該章節(jié)。此外，盡管參考多功能視頻編解碼或其他特定視頻編解碼器來描述某些實(shí)施例，但所公開的技術(shù)也適用于其他視頻編解碼技術(shù)。此外，雖然一些實(shí)施例詳細(xì)描述了視頻編解碼步驟，但將理解，撤銷編解碼的相應(yīng)步驟解碼將由解碼器實(shí)施。此外，術(shù)語視頻處理包括視頻編解碼或壓縮、視頻解碼或解壓縮和視頻像素從一種壓縮格式表示為另一種壓縮格式或以不同的壓縮比特率表示的視頻轉(zhuǎn)碼。
71.1.概述
72.本專利文件涉及視頻編解碼技術(shù)。具體來說，就是視頻編解碼中的相關(guān)變換。它可以應(yīng)用于現(xiàn)有的視頻編解碼標(biāo)準(zhǔn)，如hevc，或有待最終確定的標(biāo)準(zhǔn)(多功能視頻編解碼)。它也可能適用于未來的視頻編解碼標(biāo)準(zhǔn)或視頻編解碼器。
73.2.初步討論
74.視頻編解碼標(biāo)準(zhǔn)主要是通過眾所周知的itu-t和iso/iec標(biāo)準(zhǔn)的發(fā)展而發(fā)展起來。itu-t制作了h.261和h.263，iso/iec制作了mpeg-1和mpeg-4visual，這兩個(gè)組織聯(lián)合制作了h.262/mpeg-2視頻和h.264/mpeg-4高級(jí)視頻編解碼(avc)以及h.265/hevc標(biāo)準(zhǔn)。自h.262以來，視頻編解碼標(biāo)準(zhǔn)是基于混合視頻編解碼結(jié)構(gòu)，其中使用時(shí)間預(yù)測加變換編解碼。為了探索hevc以外的未來視頻編解碼技術(shù)，vceg和mpeg于2015年聯(lián)合成立了聯(lián)合視頻探索團(tuán)隊(duì)(jvet)。此后，jvet采用了許多新方法，并將其應(yīng)用到名為聯(lián)合勘探模型(jem)的參考軟件
中。2018年4月，vceg(q6/16)和iso/iec jtc1 sc29/wg11(mpeg)之間成立了聯(lián)合視頻專家組(jvet)，以制定vvc標(biāo)準(zhǔn)，與hevc相比，以降低50％的比特率為目標(biāo)。
75.2.1彩空間和度子采樣
76.彩空間，也稱為顏模型(或顏系統(tǒng))，是一個(gè)抽象的數(shù)學(xué)模型，它簡單地將顏范圍描述為數(shù)字元組，通常為3或4個(gè)值或顏分量(例如，rgb)。從根本上說，彩空間是坐標(biāo)系和子空間的細(xì)化。
77.對(duì)于視頻壓縮，最常用的彩空間是ycbcr和rgb。
78.ycbcr、y'cbcr或y pb/cb pr/cr，也寫作ycbcr或y'cbcr，是一系列彩空間，用作視頻和數(shù)碼攝影系統(tǒng)中彩圖像管道的一部分。y'是亮度分量，cb和cr是藍(lán)差和紅差度分量。y'(帶素?cái)?shù))與y不同，y是亮度，這意味著光強(qiáng)度是基于伽馬校正的rgb原進(jìn)行非線性編碼的。
79.度子采樣是通過對(duì)度信息實(shí)施比亮度信息更低的分辨率來編碼圖像的做法，利用人類視覺系統(tǒng)對(duì)差的敏銳度低于對(duì)亮度的敏銳度。
80.2.1.1格式4:4:4
81.三個(gè)y'cbcr分量中的每一個(gè)具有相同的采樣率，因此不存在度子采樣。該方案有時(shí)用于高端膠片掃描儀和電影后期制作。
82.2.1.2格式4:2:2
83.兩個(gè)度分量以亮度采樣率的一半進(jìn)行采樣：水平度分辨率減半。這將未壓縮視頻信號(hào)的帶寬減少三分之一，而幾乎沒有視覺差異。
84.2.1.3格式4:2:0
85.在4:2:0中，水平采樣是4:1:1的兩倍，但在該方案中，由于cb和cr通道僅在每一條交替線上采樣，因此垂直分辨率減半。因此，數(shù)據(jù)速率是相同的。cb和cr分別在水平和垂直方向上以2個(gè)因子進(jìn)行子采樣。4:2:0方案有三種變體，具有不同的水平和垂直選址。
86.在mpeg-2中，cb和cr水平共址。cb和cr位于垂直方向的像素之間(位于間隙)。
87.在jpeg/jfif、h.261和mpeg-1中，cb和cr位于交替亮度樣點(diǎn)之間的間隙位置。
88.在4:2:0dv中，cb和cr在水平方向上共址。在垂直方向，它們?cè)诮惶婢€上共址。
89.2.2典型視頻編解碼器的編解碼流程
90.圖1示出了vvc的編碼器框圖示例，其中包含三個(gè)環(huán)路內(nèi)濾波塊：去塊濾波器(df)、采樣自適應(yīng)偏移(sao)和alf。與使用預(yù)定義濾波器的df不同，sao和alf利用當(dāng)前圖片的原始樣點(diǎn)，利用信令通知偏移和濾波器系數(shù)的編解碼側(cè)信息，分別通過添加偏移和應(yīng)用有限脈沖響應(yīng)(fir)濾波器來減少原始樣點(diǎn)和重構(gòu)樣點(diǎn)之間的均方誤差。alf位于每張圖片的最后處理階段并且可以被視為試圖捕獲和修復(fù)前一階段產(chǎn)生的偽像的工具。
91.2.3具有67種幀內(nèi)預(yù)測模式的幀內(nèi)模式編解碼
92.為了捕獲自然視頻中呈現(xiàn)的任意邊緣方向，定向幀內(nèi)模式的數(shù)量從hevc中使用的33個(gè)擴(kuò)展到65個(gè)。附加的定向模式在圖2中被描繪為虛線箭頭，平面模式和dc模式保持不變。這些更密集的定向幀內(nèi)預(yù)測模式適用于所有塊大小以及亮度和度幀內(nèi)預(yù)測。
93.如圖2所示，傳統(tǒng)的角度幀內(nèi)預(yù)測方向在順時(shí)針方向上定義為45度至-135度。在vtm2中，對(duì)于非正方形塊，幾種傳統(tǒng)的角度幀內(nèi)預(yù)測模式被廣角幀內(nèi)預(yù)測模式自適應(yīng)地替換。被替換的模式使用原始方法進(jìn)行信令通知，并在解析后重新映射到廣角模式的索引。幀
內(nèi)預(yù)測模式的總數(shù)不變，例如67個(gè)，并且?guī)瑑?nèi)模式編解碼不變。
94.在hevc中，每個(gè)幀內(nèi)編解碼的塊具有正方形形狀，并且其每邊的長度是2的冪。因此，使用dc模式生成幀內(nèi)預(yù)測器不需要除法運(yùn)算。在vvv2中，塊可以具有矩形形狀，這在一般情況下需要對(duì)每個(gè)塊使用除法運(yùn)算。為了避免dc預(yù)測的除法運(yùn)算，只使用較長的邊計(jì)算非正方形塊的平均值。
95.2.4非正方形塊的廣角幀內(nèi)預(yù)測
96.傳統(tǒng)的角度幀內(nèi)預(yù)測方向在順時(shí)針方向上定義為45度至-135度。在vtm2中，對(duì)于非正方形塊，幾種傳統(tǒng)的角度幀內(nèi)預(yù)測模式被廣角幀內(nèi)預(yù)測模式自適應(yīng)地替換。被替換的模式使用原始方法進(jìn)行信令通知，并在解析后重新映射到廣角模式的索引。特定塊的幀內(nèi)預(yù)測模式的總數(shù)不變，例如67個(gè)，并且?guī)瑑?nèi)模式編解碼不變。
97.為了支持這些預(yù)測方向，定義了長度為2w+1的頂部參考和長度為2h+1的左側(cè)參考，如圖3a至圖3b所示。
98.在廣角方向模式中，被替換模式的模式數(shù)取決于塊的縱橫比。被替換的幀內(nèi)預(yù)測模式如表1所示。
99.表1被廣角模式替換的幀內(nèi)預(yù)測模式
[0100][0101]
如圖4所示，在廣角幀內(nèi)預(yù)測的情況下，兩個(gè)垂直鄰近的預(yù)測樣點(diǎn)可以使用兩個(gè)非鄰近的參考樣點(diǎn)。因此，將低通參考樣點(diǎn)濾波器和側(cè)向平滑應(yīng)用于廣角預(yù)測，以減小增加的間隙δpα的負(fù)面影響。
[0102]
2.5位置相關(guān)幀內(nèi)預(yù)測組合
[0103]
在vtm2中，通過位置相關(guān)幀內(nèi)預(yù)測組合(pdpc)方法進(jìn)一步修改平面模式的幀內(nèi)預(yù)測結(jié)果。pdpc是一種幀內(nèi)預(yù)測方法，其調(diào)用未濾波的邊界參考樣點(diǎn)和hevc風(fēng)格的幀內(nèi)預(yù)測的濾波的邊界參考樣點(diǎn)的組合。pdpc應(yīng)用于以下無信令的幀內(nèi)模式：平面、dc、水平、垂直、左下角模式及其八個(gè)相鄰角模式，以及右上角模式及其八個(gè)相鄰角模式。
[0104]
使用幀內(nèi)預(yù)測模式(dc、平面、角度)和參考樣點(diǎn)的線性組合，根據(jù)如下等式預(yù)測預(yù)測樣點(diǎn)pred(x,y)：
[0105]
pred(x,y)＝(wl
×
r-1,y
+wt
×rx,-1
–
wtl
×
r-1,-1
+(64
–
wl
–
wt+wtl)
×
pred(x,y)+32)》》6
[0106]
其中，r
x,-1
、r-1,y
分別表示位于當(dāng)前樣點(diǎn)(x,y)的頂部和左側(cè)的參考樣點(diǎn)，并且r-1,-1
表示位于當(dāng)前塊的左上角的參考樣點(diǎn)。
[0107]
如果pdpc應(yīng)用于dc、平面、水平和垂直幀內(nèi)模式，則不需要額外的邊界濾波器，這在hevc dc模式邊界濾波器或水平/垂直模式邊緣濾波器的情況下是必需的。
[0108]
圖5a至圖5d示出了在各種預(yù)測模式上應(yīng)用的pdpc的參考樣點(diǎn)(r
x,-1
、r-1,y
和r-1,-1
)的定義。預(yù)測樣點(diǎn)pred(x’,y’)位于預(yù)測塊內(nèi)的(x’,y’)處。參考樣點(diǎn)r
x,-1
的坐標(biāo)x由下式給出：x＝x’+y’+1，參考樣點(diǎn)r-1,y
的坐標(biāo)y類似地由下式給出：y＝x’+y’+1。
[0109]
圖5a至圖5d提供了應(yīng)用于對(duì)角線和相鄰角度幀內(nèi)模式的pdpc所使用的樣點(diǎn)的定義。
[0110]
pdpc權(quán)重取決于預(yù)測模式，如表2所示。
[0111]
表2根據(jù)預(yù)測模式的pdpc權(quán)重的示例
[0112]
預(yù)測模式wtwlwtl對(duì)角線右上16》》((y’《《1)》》移位)16》》((x’《《1)》》移位)0對(duì)角線左下16》》((y’《《1)》》移位)16》》((x’《《1)》》移位)0相鄰對(duì)角線右上32》》((y’《《1)》》移位)00相鄰對(duì)角線左下032》》((x’《《1)》》移位)0
[0113]
2.6幀內(nèi)子塊劃分(isp)
[0114]
在一些實(shí)施例中，isp被提議根據(jù)塊大小尺寸將亮度幀內(nèi)預(yù)測塊垂直或水平地劃分為2或4個(gè)子分區(qū)，如表3所示。圖6和圖7示出了這兩種可能性的示例。所有子分區(qū)滿足至少有16個(gè)樣點(diǎn)的條件。
[0115]
表3取決于塊大小的子分區(qū)數(shù)
[0116][0117][0118]
圖6示出了4
×
8和8
×
4塊的劃分示例。
[0119]
圖7示出了除4
×
8、8
×
4和4
×
4以外的所有塊的劃分示例。
[0120]
對(duì)于這些子分區(qū)中的每一個(gè)，通過對(duì)編碼器發(fā)送的系數(shù)進(jìn)行熵解碼，然后對(duì)其進(jìn)行反向量化和反向變換，生成殘差信號(hào)。然后對(duì)子分區(qū)進(jìn)行幀內(nèi)預(yù)測，最后通過將殘差信號(hào)與預(yù)測信號(hào)相加得到相應(yīng)的重構(gòu)樣點(diǎn)。因此，每個(gè)子分區(qū)的重構(gòu)值將可用于生成下一個(gè)子分區(qū)的預(yù)測，這將重復(fù)該過程等等。所有子分區(qū)共享相同的幀內(nèi)模式。
[0121]
根據(jù)所使用的幀內(nèi)模式和分割，使用了兩類不同的處理順序，稱為正常順序和反向順序。按照正常順序，要處理的第一子分區(qū)是包含cu左上樣點(diǎn)的子分區(qū)，然后繼續(xù)向下(水平分割)或向右(垂直分割)。結(jié)果，用于生成子分區(qū)預(yù)測信號(hào)的參考樣點(diǎn)僅位于行的左側(cè)和上方。另一方面，反向處理順序要么從包含cu左下樣點(diǎn)的子分區(qū)開始并繼續(xù)向上，要么從包含cu右上樣點(diǎn)的子分區(qū)開始并繼續(xù)向左。
[0122]
2.7塊差分脈沖碼調(diào)制編解碼(bdpcm)
[0123]
由于水平(垂直)預(yù)測器的形狀，其使用左側(cè)(a)(頂部(b))像素來預(yù)測當(dāng)前像素，
處理塊的最有效的吞吐量的方式是并行地處理一列(行)的所有像素，并順序地處理這些列(行)。為了提高吞吐量，我們引入了以下過程：當(dāng)在該塊上選擇的預(yù)測器是垂直的時(shí)，寬度為4的塊被劃分為具有水平邊界的兩半；當(dāng)在該塊上選擇的預(yù)測器是水平的時(shí)，高度為4的塊被劃分為具有垂直邊界的兩半。
[0124]
當(dāng)塊被劃分時(shí)，來自一個(gè)區(qū)域的樣點(diǎn)不允許使用來自另一個(gè)區(qū)域的像素來計(jì)算預(yù)測：如果出現(xiàn)這種情況，預(yù)測像素被預(yù)測方向上的參考像素替換。對(duì)于垂直預(yù)測的4
×
8塊中的當(dāng)前像素x的不同位置，這在圖8中示出。
[0125]
圖8示出了將4
×
8樣點(diǎn)的塊劃分為兩個(gè)獨(dú)立的可解碼區(qū)域的示例。
[0126]
由于這個(gè)特性，現(xiàn)在可以在2個(gè)周期內(nèi)處理一個(gè)4
×
4塊，在4個(gè)周期內(nèi)處理一個(gè)4
×
8或8
×
4塊，依此類推，如圖9所示。
[0127]
圖9示出了像素行的處理順序的示例，以使具有垂直預(yù)測器的4
×
n塊的吞吐量最大化。
[0128]
表4總結(jié)了處理塊所需的周期數(shù)，這取決于塊大小。表明具有大于或等于8的兩個(gè)尺寸的任何塊可以在每個(gè)周期中以8個(gè)像素或更多像素處理是不重要的。
[0129]
表4大小為4
×
n、n
×
4的塊的最壞情況吞吐量
[0130][0131]
2.8量化殘差域bdpcm
[0132]
在一些實(shí)施例中，提出了量化殘差域bdpcm(以下稱為rbdpcm)。通過在與幀內(nèi)預(yù)測類似的預(yù)測方向(水平或垂直預(yù)測)上的樣點(diǎn)復(fù)制對(duì)整個(gè)塊進(jìn)行幀內(nèi)預(yù)測。對(duì)殘差進(jìn)行量化，并對(duì)量化的殘差與其預(yù)測器(水平或垂直)量化值之間的差值進(jìn)行編解碼。
[0133]
對(duì)于大小為m(行)
×
n(列)的塊，令r
i,j
,0≤i≤m-1,0≤j≤n-1.為使用來自上方或左側(cè)塊邊界樣點(diǎn)的未濾波樣點(diǎn)水平(逐行復(fù)制預(yù)測塊上的左相鄰像素值)或垂直(將頂部相鄰行復(fù)制到預(yù)測塊中的每一行)執(zhí)行幀內(nèi)預(yù)測后的預(yù)測殘差。令q(r
i,j
),0≤i≤m-1,0≤j≤n-1表示殘差r
i,j
的量化版本，其中殘差是原始?jí)K值和預(yù)測塊值之間的差。然后將塊dpcm應(yīng)用于量化的殘差樣點(diǎn)，得到具有元素的修改后的m
×
n陣列當(dāng)信令通知垂直bdpcm時(shí)：
[0134][0135]
對(duì)于水平預(yù)測，應(yīng)用類似的規(guī)則，殘差量化樣點(diǎn)由下式獲得
[0136][0137]
殘差量化樣點(diǎn)被發(fā)送到解碼器。
[0138]
在解碼器側(cè)，上述計(jì)算被反向以產(chǎn)生q(r
i,j
),0≤i≤m-1,0≤j≤n-1。對(duì)于垂直預(yù)
測情況，
[0139][0140]
對(duì)于水平情況，
[0141][0142]
逆量化殘差q-1
(q(r
i,j
))被添加到塊內(nèi)預(yù)測值，以產(chǎn)生重構(gòu)樣點(diǎn)值。
[0143]
該方案的主要優(yōu)點(diǎn)是，可以在系數(shù)解析期間即時(shí)完成反向dpcm，只需在系數(shù)解析時(shí)添加預(yù)測器，也可以在解析后執(zhí)行。
[0144]
變換跳過通常用于量化殘差域bdpcm。
[0145]
2.9vvc中的多重變換集(mts)
[0146]
在vtm4中，啟用了最大尺寸為64
×
64的大塊大小變換，這主要用于更高分辨率的視頻，例如1080p和4k序列。對(duì)于大小(寬度或高度，或?qū)挾群透叨葍烧?等于64的變換塊，高頻變換系數(shù)被置零，從而僅保留低頻系數(shù)。例如，對(duì)于m
×
n變換塊，以m為塊寬，n為塊高，當(dāng)m等于64時(shí)，只保留左邊32列變換系數(shù)。同樣地，當(dāng)n等于64時(shí)，只保留前32行變換系數(shù)。當(dāng)變換跳過模式用于大塊時(shí)，將使用整個(gè)塊而不將任何值置零。
[0147]
除了已在hevc中采用的dct-ii外，還使用多重變換選擇(mts)方案對(duì)幀間和幀內(nèi)編解碼塊進(jìn)行殘差編解碼。它使用dct8/dst7中的多個(gè)選定變換。新引入的變換矩陣是dst-vii和dct-viii。下表顯示了所選dst/dct的基函數(shù)。
[0148][0149]
為了保持變換矩陣的正交性，變換矩陣的量化比hevc中的變換矩陣更準(zhǔn)確。為了將變換后的系數(shù)的中間值保持在16比特范圍內(nèi)，在水平變換和垂直變換之后，所有的系數(shù)都應(yīng)該為10比特。
[0150]
為了控制mts方案，在sps級(jí)分別為幀內(nèi)和幀間指定單獨(dú)的啟用標(biāo)志。當(dāng)在sps啟用mts時(shí)，信令通知一個(gè)cu標(biāo)志來指示是否應(yīng)用mts。在這里，mts僅適用于亮度。當(dāng)滿足以下條件時(shí)，信令通知mts cu級(jí)標(biāo)志。
[0151]-寬度和高度均小于或等于32
[0152]-cbf標(biāo)志等于1
[0153]
如果mts cu標(biāo)志等于零，則在兩個(gè)方向上應(yīng)用dct2。然而，如果mts cu標(biāo)志等于1，則另外發(fā)信令通知兩個(gè)標(biāo)志，以分別指示水平方向和垂直方向的變換類型。變換和信令映射表如表3至10所示。在變換矩陣精度方面，使用8比特主變換核。因此，hevc中使用的所有變換核都保持不變，包括4點(diǎn)dct-2和dst-7，8點(diǎn)、16點(diǎn)和32點(diǎn)dct-2。此外，包括64點(diǎn)dct-2、4點(diǎn)dct-8、8點(diǎn)、16點(diǎn)、32點(diǎn)dst-7和dct-8在內(nèi)的其他變換核使用8比特主變換核。
[0154][0155]
為了降低大尺寸dst-7和dct-8的復(fù)雜度，對(duì)于尺寸(寬度或高度，或?qū)挾群透叨葍烧?等于32的dst-7和dct-8塊，高頻變換系數(shù)被置零。僅保留16
×
16低頻區(qū)域內(nèi)的系數(shù)。
[0156]
與在hevc中一樣，塊的殘差可以用變換跳過模式進(jìn)行編解碼。為了避免語法編解碼的冗余，當(dāng)cu級(jí)mts_cu_flag不等于零時(shí)，不信令通知變換跳過標(biāo)志。變換跳過的塊大小限制與jem4中mts的塊大小限制相同，這表明變換跳過適用于塊寬和塊高均等于或小于32的cu。
[0157]
2.10示例縮減二次變換(rst)
[0158]
2.10.1示例不可分離二次變換(nsst)
[0159]
在一些實(shí)施例中，在前向主變換和量化(在編碼器處)之間以及在反量化和反向主變換(在解碼器側(cè))之間應(yīng)用二次變換，也稱為不可分離變換。如圖10所示，根據(jù)塊大小執(zhí)行4
×
4(或8
×
8)二次變換。例如，4
×
4二次變換適用于小塊(例如，min(width,height)《8)，而8
×
8二次變換適用于每個(gè)8
×
8塊的較大的塊(例如，min(width,height)》4)。
[0160]
圖10示出了jem中的二次變換的示例。
[0161]
下面以輸入為例描述不可分離變換的應(yīng)用。要應(yīng)用不可分離變換，4
×
4輸入塊x
[0162][0163]
首先表示為向量
[0164][0165]
不可分離變換計(jì)算為其中表示變換系數(shù)向量，t是16
×
16變換矩陣。隨后使用該塊的掃描順序(水平、垂直或?qū)蔷€)將16
×
1系數(shù)向量重新組織為4
×
4塊。索
引較小的系數(shù)將與較小的掃描索引一起放置在4
×
4系數(shù)塊中。共有35個(gè)變換集，每個(gè)變換集使用3個(gè)不可分離的變換矩陣(核)。預(yù)定義從幀內(nèi)預(yù)測模式到變換集的映射。對(duì)于每個(gè)變換集，所選擇的不可分離的二次變換候選進(jìn)一步由顯式信令通知的二次變換索引指定。在變換系數(shù)之后，每個(gè)cu內(nèi)在比特流中信令通知索引一次。
[0166]
2.10.2示例縮減二次變換(rst)/低頻不可分離變換(lfnst)
[0167]
縮減二次變換(rst)，也稱為低頻不可分離變換(lfnst)，被引入為4個(gè)變換集(而不是35個(gè)變換集)映射。在一些實(shí)施例中，16
×
64(可以進(jìn)一步減少到16
×
48)和16
×
16矩陣分別用于8
×
8和4
×
4塊。為了方便標(biāo)注，16
×
64(可進(jìn)一步縮減為16
×
48)變換表示為rst8
×
8，而16
×
16變換表示為rst4
×
4。圖11示出了rst的一個(gè)示例。
[0168]
圖11示出了所提出的縮減二次變換(rst)的示例。
[0169]
rst計(jì)算
[0170]
縮減變換(rt)的主要思想是將n維向量映射到不同空間中的r維向量，其中r/n(r《n)是縮減因子。
[0171]
rt矩陣是如下所示的r
×
n矩陣：
[0172][0173]
其中變換的r行是n維空間的r個(gè)基。rt的反向變換矩陣是其正向變換的轉(zhuǎn)置。圖12中描繪了正向和反向rt的示例。
[0174]
圖12示出了正向和反向縮減變換的示例。
[0175]
在一些實(shí)施例中，應(yīng)用縮減因子為4(1/4大小)的rst8
×
8。因此，代替?zhèn)鹘y(tǒng)的8
×
8不可分離變換矩陣大小的64
×
64，使用16
×
64直接矩陣。換句話說，在解碼器側(cè)使用64
×
16反向rst矩陣在8
×
8左上角區(qū)域中產(chǎn)生核心(主)變換系數(shù)。前向rst8
×
8使用16
×
64(或8
×
64用于8
×
8塊)矩陣，因此它只在給定的8
×
8區(qū)域內(nèi)的左上角4
×
4區(qū)域中產(chǎn)生非零系數(shù)。換句話說，如果應(yīng)用rst，那么除了左上角的4
×
4區(qū)域之外的8
×
8區(qū)域?qū)⒅挥辛阆禂?shù)。對(duì)于rst4
×
4，應(yīng)用16
×
16(或8
×
16用于4
×
4塊)直接矩陣乘法。
[0176]
當(dāng)滿足以下兩個(gè)條件時(shí)，有條件地應(yīng)用反向rst：
[0177]
a.塊大小大于或等于給定閾值(w》＝4&&h》＝4)
[0178]
b.變換跳過模式標(biāo)志等于零
[0179]
如果變換系數(shù)塊的寬度(w)和高度(h)都大于4，則將rst8
×
8應(yīng)用于變換系數(shù)塊的左上角8
×
8區(qū)域。否則，在變換系數(shù)塊的左上角min(8,w)
×
min(8,h)區(qū)域上應(yīng)用rst4
×
4。
[0180]
如果rst索引等于0，則不應(yīng)用rst。否則，應(yīng)用rst，其中使用rst索引選擇內(nèi)核。rst索引的rst選擇方法和編解碼將在后面解釋。
[0181]
此外，rst被應(yīng)用于條帶內(nèi)和條帶間中的cu內(nèi)，以及亮度和度。如果啟用了雙樹，則分別信令通知用于亮度和度的rst索引。對(duì)于條帶間(雙樹被禁用)，單個(gè)rst索引被信令通知并用于亮度和度。
[0182]
在一些實(shí)施例中，采用了幀內(nèi)子分區(qū)(isp)作為新的幀內(nèi)預(yù)測模式。當(dāng)選擇isp模式時(shí)，禁用rst并且不信令通知rst索引，因?yàn)榧词箤st應(yīng)用于每個(gè)可行的分區(qū)塊，性能改
善也是微乎其微的。此外，對(duì)isp預(yù)測殘差禁用rst可以降低編碼復(fù)雜度。
[0183]
rst選擇
[0184]
從四個(gè)變換集中選擇一個(gè)rst矩陣，每個(gè)變換集由兩個(gè)變換組成。應(yīng)用哪個(gè)變換集由幀內(nèi)預(yù)測模式確定，如下所示：
[0185]
(1)如果指示了三種cclm模式中的一種，則選擇變換集0。
[0186]
(2)否則，按下表執(zhí)行變換集選擇：
[0187]
變換集選擇表
[0188][0189][0190]
訪問表的索引表示為intrapredmode，其范圍為[-14,83]，這是用于廣角幀內(nèi)預(yù)測的變換模式索引。
[0191]
降維的rst矩陣
[0192]
作為進(jìn)一步簡化，應(yīng)用16
×
48矩陣代替具有相同變換集配置的16
×
64，每個(gè)矩陣從左上角8
×
8塊(不包括右下角4
×
4塊)中的三個(gè)4
×
4塊中獲取48個(gè)輸入數(shù)據(jù)(圖13)。
[0193]
圖13示出了具有16
×
48矩陣的前向rst8
×
8過程的示例。
[0194]
rst信令
[0195]
r＝16的前向rst8
×
8使用16
×
64矩陣，因此它只在給定的8
×
8區(qū)域內(nèi)的左上角4
×
4區(qū)域中產(chǎn)生非零系數(shù)。換句話說，如果應(yīng)用rst，那么除了左上角的4
×
4區(qū)域之外的8
×
8區(qū)域只產(chǎn)生零系數(shù)。結(jié)果，當(dāng)在除左上角4
×
4以外的8
×
8塊區(qū)域(如圖14所示)內(nèi)檢測到任何非零元素時(shí)，不對(duì)rst索引進(jìn)行編解碼，因?yàn)檫@意味著沒有應(yīng)用rst。在這種情況下，rst索引被推斷為零。
[0196]
圖14示出了針對(duì)非零元素掃描位置17至64的示例。
[0197]
歸零范圍
[0198]
通常，在對(duì)4
×
4子塊應(yīng)用反向rst之前，4
×
4子塊中的任何系數(shù)都可以是非零的。然而，受限于在一些情況下，4
×
4子塊中的一些系數(shù)必須為零，才能對(duì)子塊應(yīng)用反向rst。
[0199]
令nonzerosize為變量。要求在反向rst之前將索引不小于nonzerosize的任何系數(shù)重新排列成一維數(shù)組時(shí)必須為零。
[0200]
當(dāng)nonzerosize等于16時(shí)，左上角4
×
4子塊中的系數(shù)沒有歸零約束。
[0201]
在一些實(shí)施例中，當(dāng)當(dāng)前塊大小為4
×
4或8
×
8時(shí)，nonzerosize被設(shè)置為等于8。對(duì)于其他塊尺寸，nonzerosize被設(shè)置為等于16。
[0202]
rst的示例描述
[0203]
在下面的表和描述中，粗體斜體文本用于表示可以對(duì)當(dāng)前語法進(jìn)行的改變，以適應(yīng)本文檔中描述的某些實(shí)施例。
[0204]
序列參數(shù)集rbsp語法
[0205][0206]
殘差編解碼語法
[0207]
[0208][0209]
編解碼單元語法
[0210]
[0211][0212]
序列參數(shù)集rbsp語義
[0213]
……
[0214][0215]
……
[0216]
編解碼單元語義
[0217]
……
[0218][0219]
縮放變換系數(shù)的變換過程
[0220]
通常
[0221]
該過程的輸入是：
[0222]
–
指定相對(duì)于當(dāng)前圖片的左上亮度樣點(diǎn)的當(dāng)前亮度變換塊的左上樣點(diǎn)的亮度位置(xtby，ytby)，
[0223]
–
指定當(dāng)前變換塊的寬度的變量ntbw，
[0224]
–
指定當(dāng)前變換塊的高度的變量ntbh，
[0225]
–
指定當(dāng)前塊的顏分量變量cidx，
[0226]
–
縮放變換系數(shù)的(ntbw)
×
(ntbh)數(shù)組d[x][y]，其中x＝0..ntbw-1，y＝0..ntbh-1。
[0227]
該過程的輸出是殘差樣點(diǎn)的(ntbw)
×
(ntbh)數(shù)組r[x][y]，其中x＝0..ntbw-1，y＝0..ntbh-1。
[0228]
[0229]
[0230][0231][0232]
[0233][0234]
[0235]
2.11hevc中反量化的裁剪
[0236]
在hevc中，縮放變換系數(shù)d'計(jì)算為d'＝clip3(coeffmin，coeffmax，d)，其中d是裁剪前的縮放變換系數(shù)。
[0237]
對(duì)于亮度分量，coeffmin＝coeffminy；coeffmax＝coeffmaxy。對(duì)于度分量，coeffmin＝coeffminc；coeffmax＝coeffmaxc；其中
[0238]
coeffminy＝-(1《《(extended_precision_processing_flag？max(15，bitdepthy+6)：15))
[0239]
coeffminc＝-(1《《(extended_precision_processing_flag？max(15，bitdepthc+6)：15))
[0240]
coeffmaxy＝(1《《(extended_precision_processing_flag？max(15，bitdepthy+6)：15))-1
[0241]
coeffmaxc＝(1《《(extended_precision_processing_flag？max(15，bitdepthc+6)：15))
–1[0242]
extended_precision_processing_flag是在sps中信令通知的語法元素。
[0243]
2.12仿射線性加權(quán)幀內(nèi)預(yù)測(alwip，又稱基于矩陣的幀內(nèi)預(yù)測，mip)
[0244]
在一些實(shí)施例中，進(jìn)行兩個(gè)測試。在測試1中，alwip被設(shè)計(jì)為內(nèi)存限制為8k字節(jié)，每個(gè)樣點(diǎn)最多4次乘法。測試2與測試1相似，但在內(nèi)存需求和模型架構(gòu)方面進(jìn)一步簡化了設(shè)計(jì)。
[0245]
＊所有塊形狀的矩陣和偏移向量的單一集合。
[0246]
＊所有塊形狀的模式數(shù)量減少到19個(gè)。
[0247]
＊內(nèi)存需求減少到5760個(gè)10比特值，即7.20千字節(jié)。
[0248]
＊預(yù)測樣點(diǎn)的線性插值在每個(gè)方向的單個(gè)步驟中執(zhí)行，取代了第一個(gè)測試中的迭代插值。
[0249]
2.13子塊變換
[0250]
對(duì)于具有cu_cbf等于1的幀間預(yù)測cu，cu_sbt_flag可被信令通知以指示是否對(duì)整個(gè)殘差塊或殘差塊的子部分進(jìn)行解碼。在前一種情況下，進(jìn)一步解析幀間mts信息以確定cu的變換類型。在后一種情況下，利用推斷的自適應(yīng)變換對(duì)殘差塊的一部分進(jìn)行編解碼，并將殘差塊的另一部分歸零。sbt不應(yīng)用于組合的幀間-幀內(nèi)模式。
[0251]
在子塊變換中，位置相關(guān)變換應(yīng)用于sbt-v和sbt-h(度tb始終使用dct-2)中的亮度變換塊。sbt-h和sbt-v的兩個(gè)位置與不同的核心變換相關(guān)聯(lián)。更具體地說，每個(gè)sbt位置的水平和垂直變換在圖15中指定。例如，sbt-v位置0的水平和垂直變換分別為dct-8和dst-7。當(dāng)殘差tu的一側(cè)大于32時(shí)，將對(duì)應(yīng)的變換設(shè)置為dct-2。因此，子塊變換聯(lián)合指定殘差塊的tu平鋪、cbf以及水平和垂直變換，對(duì)于塊的主要?dú)埐钗挥趬K的一側(cè)的情況，這可以被認(rèn)為是語法捷徑。
[0252]
圖15是子塊變換模式sbt-v和sbt-h的圖示。
[0253]
2.14avs中的可分離二次變換
[0254]
在一些實(shí)施例中，如果主變換是dct2，則在主變換之后對(duì)用幀內(nèi)模式編解碼的所有亮度塊應(yīng)用4
×
4可分離二次變換(sst)。
[0255]
當(dāng)對(duì)編碼器處的塊應(yīng)用sst時(shí)，在主變換后的變換塊的左上角4
×
4子塊(表示為l)
被進(jìn)一步變換為l'＝t'
×
l
×
t，
[0256]
其中t是二次變換矩陣。
[0257]
然后l'與變換塊的其他部分一起被量化。
[0258]
當(dāng)對(duì)解碼器處的塊應(yīng)用sst時(shí)，在解量化后的變換塊的左上角4
×
4子塊(表示為m)被進(jìn)一步逆變換為
[0259]
m'＝s'
×m×
s，
[0260]
其中s是逆二次變換矩陣。具體地說，s'＝t。
[0261]
然后將m'與變換塊的其他部分一起作為主逆變換的輸入。
[0262]
2.15基于掃描區(qū)域的系數(shù)編解碼(srcc)
[0263]
srcc已被avs-3采用。利用srcc，如圖18a至圖18b所示的右下位置(srx，sry)被信令通知，并且僅掃描并信令通知具有四個(gè)角(0，0)、(srx，0)、(0，sry)、(srx，sry)的矩形(例如，掃描區(qū)域)內(nèi)的系數(shù)。矩形外的所有系數(shù)都為零。
[0264]
2.16仿射預(yù)測
[0265]
在hevc中，僅將平移運(yùn)動(dòng)模型應(yīng)用于運(yùn)動(dòng)補(bǔ)償預(yù)測(mcp)。而在現(xiàn)實(shí)世界中，運(yùn)動(dòng)有很多種，例如放大/縮小、旋轉(zhuǎn)、透視運(yùn)動(dòng)和其他不規(guī)則運(yùn)動(dòng)。在jem中，應(yīng)用了一種簡化的仿射變換運(yùn)動(dòng)補(bǔ)償預(yù)測。如圖20所示，塊的仿射運(yùn)動(dòng)場由兩個(gè)控制點(diǎn)運(yùn)動(dòng)向量描述。
[0266]
塊的運(yùn)動(dòng)向量場(mvf)由以下等式描述：
[0267][0268]
其中(v0x，v0y)是左上角控制點(diǎn)的運(yùn)動(dòng)向量，并且(v1x，v1y)是右上角控制點(diǎn)的運(yùn)動(dòng)向量。
[0269]
為了進(jìn)一步簡化運(yùn)動(dòng)補(bǔ)償預(yù)測，應(yīng)用了基于子塊的仿射變換預(yù)測。子塊大小m
×
n如等式(2)導(dǎo)出，其中mvpre是運(yùn)動(dòng)向量分?jǐn)?shù)精度(在jem中為1/16)，(v2x，v2y)是左下角控制點(diǎn)的運(yùn)動(dòng)向量，根據(jù)等式1計(jì)算。
[0270][0271]
由等式(2)導(dǎo)出后，m和n在必要時(shí)應(yīng)向下調(diào)整，使之分別成為w和h的除數(shù)。
[0272]
為了導(dǎo)出每個(gè)m
×
n子塊的運(yùn)動(dòng)向量，根據(jù)等式(1)計(jì)算每個(gè)子塊的中心樣點(diǎn)的運(yùn)動(dòng)向量，如圖21所示，，并四舍五入到1/16分?jǐn)?shù)精度。然后應(yīng)用運(yùn)動(dòng)補(bǔ)償插值濾波器來生成具有導(dǎo)出的運(yùn)動(dòng)矢量的每個(gè)子塊的預(yù)測。
[0273]
在mcp之后，每個(gè)子塊的高精度運(yùn)動(dòng)向量被四舍五入并保存為與正常運(yùn)動(dòng)向量相同的精度。
[0274]
在jem中，有兩種仿射運(yùn)動(dòng)模式：af_inter模式和af_merge模式。對(duì)于寬度和高度均大于8的cu，可以應(yīng)用af_inter模式。在比特流中信令通知cu級(jí)的仿射標(biāo)志以指示是否使用af_inter模式。在該模式下，使用相鄰塊構(gòu)造具有運(yùn)動(dòng)向量對(duì){(v0,v1)|v0＝{va,vb,vc},
v1＝{vd,ve}}的候選列表。如圖22所示，從塊a、b或c的運(yùn)動(dòng)向量中選擇v0。根據(jù)參考列表和相鄰塊的參考的poc、當(dāng)前cu的參考的poc和當(dāng)前cu的poc之間的關(guān)系來縮放來自相鄰塊的運(yùn)動(dòng)向量。并且從相鄰塊d和e中選擇v1的方法是相似的。如果候選列表的數(shù)量小于2，則由復(fù)制每個(gè)amvp候選組成的運(yùn)動(dòng)向量對(duì)填充該列表。當(dāng)候選列表大于2時(shí)，首先根據(jù)相鄰運(yùn)動(dòng)向量的一致性(一對(duì)候選中兩個(gè)運(yùn)動(dòng)向量的相似性)對(duì)候選進(jìn)行排序，只保留前兩個(gè)候選。使用rd代價(jià)檢查來確定選擇哪個(gè)運(yùn)動(dòng)向量對(duì)候選作為當(dāng)前cu的控制點(diǎn)運(yùn)動(dòng)向量預(yù)測(cpmvp)。并且在比特流中信令通知指示候選列表中cpmvp的位置的索引。在確定當(dāng)前仿射cu的cpmvp后，應(yīng)用仿射運(yùn)動(dòng)估計(jì)并到控制點(diǎn)運(yùn)動(dòng)向量(cpmv)。然后在比特流中信令通知cpmv和cpmvp的差。
[0275]
當(dāng)cu以af_merge模式應(yīng)用時(shí)，它從有效的相鄰重構(gòu)塊中獲得第一個(gè)以仿射模式編解碼的塊。候選塊的選擇順序?yàn)閺淖蟆⑸稀⒂疑稀⒆笙碌阶笊希鐖D23a所示。如果相鄰的左下塊a以仿射模式編解碼，如圖23b所示，則導(dǎo)出包含塊a的cu的左上角、右上角和左下角的運(yùn)動(dòng)向量v2、v3和v4。并根據(jù)v2、v3和v4計(jì)算當(dāng)前cu上左上角的運(yùn)動(dòng)向量v0。其次，計(jì)算當(dāng)前cu的右上方的運(yùn)動(dòng)向量v1。
[0276]
在導(dǎo)出當(dāng)前cu的cpmvv0和v1后，根據(jù)簡化仿射運(yùn)動(dòng)模型等式(1)，生成當(dāng)前cu的mvf。為了識(shí)別當(dāng)前cu是否以af_merge模式編解碼，當(dāng)有至少一個(gè)相鄰塊以仿射模式編解碼時(shí)，在比特流中信令通知仿射標(biāo)志。
[0277]
2.17交織預(yù)測
[0278]
為了解決仿射運(yùn)動(dòng)補(bǔ)償(amc)的困境，提出了交織預(yù)測以在不增加太多復(fù)雜度的情況下實(shí)現(xiàn)更細(xì)粒度的mv。
[0279]
首先，將編碼塊劃分為具有兩種不同劃分樣式的子塊。第一劃分樣式與bms-1.1中的劃分樣式相同，如圖24a所示，而第二劃分樣式也將編解碼塊劃分為4
×
4子塊，但具有2
×
2偏移，如圖24b所示。
[0280]
其次，amc利用這兩種劃分樣式生成兩個(gè)輔助預(yù)測。劃分樣式中每個(gè)子塊的mv由等式(1)從mv0和mv1導(dǎo)出。
[0281]
最終預(yù)測被計(jì)算為兩個(gè)輔助預(yù)測的加權(quán)和，公式為：
[0282][0283]
如圖25所示，位于子塊中心的輔助預(yù)測樣點(diǎn)與加權(quán)值3相關(guān)聯(lián)，而位于子塊邊界的輔助預(yù)測樣點(diǎn)與加權(quán)值1相關(guān)聯(lián)。
[0284]
在這個(gè)貢獻(xiàn)中，所提出的交織預(yù)測僅應(yīng)用于具有單預(yù)測的仿射編碼塊的亮度分量，因此在最壞情況下帶寬不變。
[0285]
3.由實(shí)施例解決的問題的示例
[0286]
目前的設(shè)計(jì)存在以下問題：
[0287]
(1)mts/rst中的裁剪和移位/舍入操作可能不是最佳的。
[0288]
(2)應(yīng)用于相鄰兩個(gè)4
×
4塊的rst可能代價(jià)較高。
[0289]
(3)對(duì)于不同的顏分量，可以采用不同的方法進(jìn)行rst。
[0290]
(4)rst可能不適用于屏幕內(nèi)容編解碼。
[0291]
(5)rst與其他編解碼工具的交互尚不清楚。
[0292]
(6)可以更有效地存儲(chǔ)rst變換矩陣。
[0293]
(7)如何在rst上應(yīng)用量化矩陣尚不明確。
[0294]
4.示例實(shí)施例和技術(shù)
[0295]
下面列出的實(shí)施例應(yīng)被視為解釋一般概念的示例。不應(yīng)以狹義的方式解釋這些實(shí)施例。此外，這些實(shí)施例可以以任何方式組合。
[0296]
在下面的描述中，編解碼信息可以包括預(yù)測模式(例如，幀內(nèi)/幀間/ibc模式)、運(yùn)動(dòng)向量、參考圖片、幀間預(yù)測方向、幀內(nèi)預(yù)測模式、ciip(組合的幀內(nèi)幀間預(yù)測)模式、isp模式、仿射幀內(nèi)模式、采用的變換核、變換跳過標(biāo)志等，例如，編碼塊時(shí)所需的信息。
[0297]
在下面的討論中，satshift(x，n)被定義為
[0298][0299]
shift(x，n)被定義為shift(x，n)＝(x+offset0)》》n。
[0300]
在一個(gè)示例中，offset0和/或offset1被設(shè)置為(1《《n)》》1或(1《《(n-1))。在另一示例中，offset0和/或offset1被設(shè)置為0。
[0301]
在另一示例中，offset0＝offset1＝((1《《n)》》1)-1或((1《《(n-1)))-1。
[0302]
clip3(min，max，x)被定義為
[0303][0304]
1.在反向rst之后，輸出值應(yīng)裁剪到[mincoef，maxcoef]的范圍內(nèi)(包括mincoef、maxcoef)，其中mincoef和/或maxcoef是兩個(gè)可以變化的整數(shù)值。
[0305]
a.在一個(gè)示例中，假設(shè)反量化后的系數(shù)被裁剪到[qmincoef,qmaxcoef]的范圍(包括qmincoef、qmaxcoef)，那么mincoef可以被設(shè)置為等于qmincoef和/或maxcoef可以被設(shè)置為等于qmaxcoef。
[0306]
b.在一個(gè)示例中，mincoef和/或maxcoef可以取決于顏分量。
[0307]
i.在一個(gè)示例中，mincoef和/或maxcoef可以取決于對(duì)應(yīng)顏分量的比特深度。
[0308]
c.在一個(gè)示例中，mincoef和/或maxcoef可以取決于塊形狀(例如，正方形或非正方形)和/或塊尺寸。
[0309]
d.在一個(gè)示例中，可以(諸如在sps、pps、條帶標(biāo)頭/圖塊組標(biāo)頭/ctu/cu中)信令通知mincoef和/或maxcoef的值或候選值的選擇。
[0310]
e.在一個(gè)示例中，對(duì)于亮度分量，mincoef和/或maxcoef可以導(dǎo)出為：
[0311]
mincoef＝-(1《《(extended_precision_processing_flag？max(15，bitdepthy+6)：15))
[0312]
maxcoef＝(1《《(extended_precision_processing_flag？max(15，bitdepthy+6)：15))
–1[0313]
，其中bitdepthy是亮度分量的比特深度，并且extended_precision_processing_flag可以諸如在sps中進(jìn)行信令通知。
[0314]
f.在一個(gè)示例中，對(duì)于分量，mincoef和/或maxcoef可以導(dǎo)出為：
[0315]
mincoef＝-(1《《(extended_precision_processing_flag？max(15，bitdepthc+
6)：15))
[0316]
maxcoef＝(1《《(extended_precision_processing_flag？max(15，bitdepthc+6)：15))
–1[0317]
其中bitdepthc是度分量的比特深度，并且extended_precision_processing_flag可以諸如在sps中進(jìn)行信令通知。
[0318]
g.在一些實(shí)施例中，mincoef為-(1《《15)，并且maxcoef為(1《《15)-1。
[0319]
h.在一個(gè)示例中，一致性比特流應(yīng)滿足前向rst之后的變換系數(shù)應(yīng)在給定范圍內(nèi)。
[0320]
2.提出在m
×
n個(gè)系數(shù)子塊上應(yīng)用前向rst和/或反向rst的方式可以取決于應(yīng)用前向rst和/或反向rst的子塊的數(shù)量，例如m＝n＝4。
[0321]
a.在一個(gè)示例中，歸零范圍可以取決于應(yīng)用rst的子塊索引。
[0322]
i.可選地，歸零范圍可以取決于應(yīng)用rst的子塊的數(shù)量。
[0323]
b.在一個(gè)示例中，當(dāng)在整個(gè)系數(shù)塊中存在應(yīng)用前向rst和/或反向rst的s個(gè)子塊時(shí)，在系數(shù)的第一子塊和第二子塊上應(yīng)用前向rst和/或反向rst的方式可以不同，其中例如s》1，例如s＝2。例如，第一m
×
n子塊可以是左上m
×
n子塊。
[0324]
i.在一個(gè)示例中，如第2.10節(jié)所描述的nonzerosize對(duì)于第一m
×
n系數(shù)子塊(表示為nonzerosize0)和對(duì)于第二m
×
n系數(shù)子塊(表示為nonzerosize1)可以是不同的。
[0325]
1)在一個(gè)示例中，nonzerosize0可以大于nonzerosize1。例如，nonzerosize0＝16和nonzerosize1＝8。
[0326]
ii.在一個(gè)示例中，當(dāng)只有一個(gè)m
×
n子塊要應(yīng)用正向rst和/或反向rst時(shí)，或者有一個(gè)以上m
×
n子塊要應(yīng)用正向rst和/或反向rst時(shí)，如第2.10節(jié)中所描述的nonzerosize可以不同。
[0327]
1)在一個(gè)示例中，如果存在多于一個(gè)m
×
n子塊要應(yīng)用正向rst和/或反向rst，則nonzerosize可以等于8。
[0328]
3.如果當(dāng)前塊大小為4
×
h或w
×
4，其中h》8和w》8，則提出僅對(duì)一個(gè)m
×
n系數(shù)子塊(諸如左上m
×
n子塊)應(yīng)用正向rst和/或反向rst，例如，m＝n＝4。
[0329]
a.在一個(gè)示例中，如果h》t1和/或w》t2，例如，t1＝t2＝16，則僅對(duì)一個(gè)m
×
n系數(shù)子塊應(yīng)用前向rst和/或反向rst。
[0330]
b.在一個(gè)示例中，如果h《t1和/或w《t2，例如，t1＝t2＝32，則僅對(duì)一個(gè)m
×
n系數(shù)子塊應(yīng)用前向rst和/或反向rst。
[0331]
c.在一個(gè)示例中，對(duì)于所有h》8和/或w》8，僅對(duì)一個(gè)m
×
n系數(shù)子塊應(yīng)用前向rst和/或反向rst。
[0332]
d.在一個(gè)示例中，如果當(dāng)前塊大小是m
×
h或w
×
n，其中h》＝n和w》＝m，例如，m＝n＝4，則僅對(duì)一個(gè)m
×
n子塊(諸如左上m
×
n子塊)應(yīng)用正向rst和/或反向rst，
[0333]
4.rst可以應(yīng)用于非正方形區(qū)域。假設(shè)區(qū)域大小用k
×
l表示，其中k不等于l。
[0334]
a.可選地，此外，可以在前向rst之后對(duì)變換系數(shù)應(yīng)用歸零，從而滿足非零系數(shù)的最大數(shù)量。
[0335]
i.在一個(gè)示例中，如果變換系數(shù)位于左上m
×
m區(qū)域之外，其中
[0336]
m不大于k且m不大于l，則可以將變換系數(shù)設(shè)置為0。
[0337]
5.提出兩個(gè)相鄰m
×
n子塊中的系數(shù)可以涉及單個(gè)前向rst和/或反向rst，例如，m
＝n＝4。
[0338]
a.在一個(gè)示例中，可以在編碼器處進(jìn)行如下一個(gè)或幾個(gè)操作。操作可以按順序進(jìn)行。
[0339]
i.將兩個(gè)相鄰m
×
n子塊中的系數(shù)重新排列為具有2
×m×
n個(gè)元素的一維向量
[0340]
ii.在一維向量上應(yīng)用具有2
×m×
n列和m
×
n行(或m
×
n列和2
×m×
n行)的變換矩陣的前向rst。
[0341]
iii.將變換后的具有m
×
n個(gè)元素的一維向量重新排列為第一m
×
n子塊(諸如左上子塊)。
[0342]
iv.第二m
×
n子塊中的所有系數(shù)可以被設(shè)置為零。
[0343]
b.在一個(gè)示例中，可以在解碼器處進(jìn)行如下一個(gè)或幾個(gè)操作。操作可以按順序進(jìn)行。
[0344]
i.第一m
×
n子塊(諸如左上子塊)中的系數(shù)被重新排列為具有
[0345]m×
n個(gè)元素的一維向量
[0346]
ii.在一維向量上應(yīng)用具有m
×
n列和2
×m×
n行(或2
×m×
n列和
[0347]m×
n行)的變換矩陣的反向rst。
[0348]
iii.將變換后的具有2
×m×
n個(gè)元素的一維向量重新排列為兩個(gè)相鄰的m
×
n子塊。
[0349]
c.在一個(gè)示例中，可將塊拆分為k(k》1)個(gè)子塊，并且可在子塊級(jí)執(zhí)行主變換和二次變換。
[0350]
6.歸零范圍(例如，如第2.10節(jié)中所描述的nonzerosize)可以取決于顏分量。
[0351]
a.在一個(gè)示例中，對(duì)于相同的塊尺寸，對(duì)于亮度和度分量，該范圍可能不同。
[0352]
7.歸零范圍(例如，如第2.10節(jié)中所描述的nonzerosize)可以取決于編解碼信息。
[0353]
a.在一個(gè)示例中，該范圍可以取決于編解碼模式，諸如幀內(nèi)或非幀內(nèi)模式。
[0354]
b.在一個(gè)示例中，該范圍可以取決于編解碼模式，諸如幀內(nèi)或幀間或ibc模式。
[0355]
c.在一個(gè)示例中，該范圍可以取決于參考圖片/運(yùn)動(dòng)信息。
[0356]
8.提出針對(duì)特定塊尺寸的歸零范圍(例如，如第2.10節(jié)中所描述的nonzerosize)可以取決于量化參數(shù)(qp)。
[0357]
a.在一個(gè)示例中，假設(shè)當(dāng)qp等于qpa時(shí)，nonzerosize等于nonzerosizea，并且當(dāng)qp等于qpb時(shí)，nonzerosize等于nonzerosizeb。如果qpa不小于qpb，那么nonzerosizea不大于nonzerosizeb。
[0358]
b.對(duì)于不同的nonzerosize，可以使用不同的變換/逆變換矩陣。
[0359]
9.提出可以諸如在sps、pps、圖片標(biāo)頭、條帶標(biāo)頭、圖塊組標(biāo)頭、ctu行、ctu、cu或任何視頻數(shù)據(jù)單元中信令通知?dú)w零范圍(例如，如第2.10節(jié)中所描述的nonzerosize)。
[0360]
a.可選地，可以定義多個(gè)范圍。并且可以諸如在sps、pps、圖片標(biāo)頭、條帶標(biāo)頭、圖塊組標(biāo)頭、ctu行、ctu和cu中信令通知選擇哪個(gè)候選nonzerosize的指示。
[0361]
10.是否和/或如何應(yīng)用rst可以取決于顏格式，和/或單獨(dú)的平面編解碼的使用，和/或顏分量。
[0362]
a.在一個(gè)示例中，rst可以不應(yīng)用于度分量(諸如cb和/或cr)。
[0363]
b.在一個(gè)示例中，如果顏格式是4：0：0，則rst可以不應(yīng)用于度分量。
[0364]
c.在一個(gè)示例中，如果使用單獨(dú)的平面編解碼，則rst可以不應(yīng)用于度分量。
[0365]
d.在一個(gè)示例中，特定塊尺寸的nonzerosize可以取決于顏分量。
[0366]
i.在一個(gè)示例中，對(duì)于相同的塊尺寸，度分量上的nonzerosize可以小于亮度分量上的nonzerosize。
[0367]
11.提出了當(dāng)用單個(gè)編解碼結(jié)構(gòu)樹對(duì)亮度和度分量進(jìn)行編解碼時(shí)，可以針對(duì)亮度和度分量分別信令通知rst控制信息(諸如是否應(yīng)用rst，和/或選擇哪組變換矩陣)。
[0368]
12.是否以及如何應(yīng)用rst可以取決于當(dāng)前塊和/或相鄰塊的編解碼信息(諸如編解碼模式)。
[0369]
a.在一個(gè)示例中，rst不能用于一個(gè)或多個(gè)特定的幀內(nèi)預(yù)測模式。
[0370]
i.例如，rst不能用于lm模式。
[0371]
ii.例如，rst不能用于lm-t模式。
[0372]
iii.例如，rst不能用于lm-a模式。
[0373]
iv.例如，rst不能用于廣角幀內(nèi)預(yù)測模式。
[0374]
v.例如，rst不能用于bdpcm模式或/和dpcm模式或/和
[0375]
rbdpcm模式。
[0376]
vi.例如，rst不能用于alwip模式。
[0377]
vii.例如，rst不能用于某些特定的角度幀內(nèi)預(yù)測模式(諸如dc、平面、垂直、水平等)。
[0378]
viii.例如，rst可用于亮度分量，但不能用于lm模式或/和lm-t模式或/和lm-a模式下的度分量。
[0379]
ix.例如，當(dāng)應(yīng)用聯(lián)合度殘差編解碼時(shí)，rst可以不用于度分量。
[0380]
b.如果不能應(yīng)用rst，則可以不信令通知指示當(dāng)前塊中與rst相關(guān)的信息的語法元素。
[0381]
13.提出了rst可以應(yīng)用于非幀內(nèi)編解碼的塊。
[0382]
a.在一個(gè)示例中，rst可以應(yīng)用于幀間編解碼塊。
[0383]
b.在一個(gè)示例中，rst可以應(yīng)用于塊內(nèi)復(fù)制(ibc)編解碼塊。
[0384]
c.在一個(gè)示例中，rst可以應(yīng)用于用組合的幀內(nèi)幀間預(yù)測(ciip)編解碼的塊。
[0385]
14.提出可以在不同級(jí)別控制rst。
[0386]
a.例如，可以在pps、條帶標(biāo)頭、圖片標(biāo)頭、圖塊組標(biāo)頭、圖塊、ctu行、ctu中信令通知指示rst(諸如控制標(biāo)志)是否適用的信息。
[0387]
b.rst是否適用可以取決于標(biāo)準(zhǔn)配置文件/級(jí)別/層。
[0388]
15.提出是否應(yīng)用位置相關(guān)幀內(nèi)預(yù)測組合(pdpc)可以取決于是否應(yīng)用rst。
[0389]
a.在一個(gè)示例中，如果當(dāng)前塊應(yīng)用rst，則可以不應(yīng)用pdpc。
[0390]
b.在一個(gè)示例中，如果當(dāng)前塊應(yīng)用rst，則可以應(yīng)用pdpc。
[0391]
c.可選地，是否應(yīng)用rst可以取決于是否應(yīng)用pdpc。
[0392]
i.在一個(gè)示例中，當(dāng)應(yīng)用pdpc時(shí)不應(yīng)用rst。
[0393]
ii.如果不能應(yīng)用rst，則可以不信令通知指示當(dāng)前塊中與rst相關(guān)的信息的語法元素。
[0394]
16.提出是否對(duì)用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)進(jìn)行濾波可以取決于是否應(yīng)用rst。
[0395]
a.在一個(gè)示例中，如果當(dāng)前塊應(yīng)用rst，則可以不對(duì)相鄰樣點(diǎn)進(jìn)行濾波。
[0396]
b.在一個(gè)示例中，如果當(dāng)前塊應(yīng)用rst，則可以對(duì)相鄰樣點(diǎn)進(jìn)行濾波。
[0397]
c.可選地，是否應(yīng)用rst可以取決于是否對(duì)用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)進(jìn)行濾波。
[0398]
i.在一個(gè)示例中，當(dāng)用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)被濾波時(shí)，不應(yīng)用
[0399]
rst。
[0400]
ii.在一個(gè)示例中，當(dāng)用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)未被濾波時(shí)，不應(yīng)用rst。
[0401]
iii.如果不能應(yīng)用rst，則可以不信令通知指示當(dāng)前塊中與rst相關(guān)的信息的語法元素。
[0402]
17.提出了當(dāng)當(dāng)前塊用變換跳過編解碼時(shí)，可以應(yīng)用rst。
[0403]
a.例如，跳過主變換，但仍可以應(yīng)用第二變換。
[0404]
b.變換跳過模式中使用的二次變換矩陣可能不同于無變換跳過模式中使用的二次變換矩陣。
[0405]
18.提出了用于rst的變換矩陣可以以小于8的比特寬存儲(chǔ)。例如，用于rst的變換矩陣可以以比特寬6或4存儲(chǔ)。
[0406]
19.提出了用于rst的變換矩陣可以以預(yù)測的方式存儲(chǔ)。
[0407]
a.在一個(gè)示例中，用于rst的第一變換矩陣中的第一元素可以由用于rst的第一變換矩陣中的第二元素預(yù)測。
[0408]
i.例如，可以存儲(chǔ)兩個(gè)元素之間的差值。
[0409]
ii.例如，差值可以以小于8的比特寬(諸如6或4)存儲(chǔ)。
[0410]
b.在一個(gè)示例中，用于rst的第一變換矩陣中的第一元素可以由用于rst的第二變換矩陣中的第二元素預(yù)測。
[0411]
i.例如，可以存儲(chǔ)兩個(gè)元素之間的差值。
[0412]
ii.例如，差值可以以小于8的比特寬(諸如6或4)存儲(chǔ)。
[0413]
20.提出可以從用于rst的第二變換矩陣導(dǎo)出用于rst的第一變換矩陣。
[0414]
a.在一個(gè)示例中，可以拾取用于rst的第二變換矩陣的部分元素以構(gòu)建用于rst的第一變換矩陣。
[0415]
b.在一個(gè)示例中，通過旋轉(zhuǎn)或翻轉(zhuǎn)用于rst的第二變換矩陣的全部或一部分來導(dǎo)出用于rst的第一變換矩陣。
[0416]
c.在一個(gè)示例中，通過對(duì)用于rst的第二變換矩陣進(jìn)行下采樣或上采樣來導(dǎo)出用于rst的第一變換矩陣。
[0417]
21.提出在信令通知?dú)埐?可被變換)之前，可以信令通知指示當(dāng)前塊中與rst相關(guān)的信息的語法元素。
[0418]
a.在一個(gè)示例中，與rst相關(guān)的信息的信令可以不取決于在解析殘差時(shí)計(jì)數(shù)的非零或零系數(shù)。
[0419]
b.在一個(gè)示例中，在解析殘差時(shí)可以不計(jì)數(shù)非零或零系數(shù)。
[0420]
c.在一個(gè)示例中，可以不信令通知由rst設(shè)置為全零的子塊的編解碼塊標(biāo)志(cbf)標(biāo)志并推斷為0。
[0421]
d.在一個(gè)示例中，可以不信令通知由rst設(shè)置為零的系數(shù)的有效標(biāo)志并推斷為0。
[0422]
e.解析殘差塊的掃描順序可以取決于是否以及如何應(yīng)用rst。
[0423]
i.在一個(gè)示例中，可以不掃描由rst設(shè)置為零的系數(shù)。
[0424]
f.解析殘差塊的算術(shù)編解碼上下文可以取決于是否以及如何應(yīng)用rst。
[0425]
22.提出是否以及如何應(yīng)用量化矩陣可以取決于是否應(yīng)用rst以及如何應(yīng)用rst。
[0426]
a.在一個(gè)示例中，無論是否應(yīng)用rst，都可以應(yīng)用不同的量化矩陣。
[0427]
b.可選地，是否以及如何應(yīng)用rst可以取決于是否以及如何應(yīng)用量化矩陣。
[0428]
i.在一個(gè)示例中，當(dāng)在塊上應(yīng)用量化矩陣時(shí)，可以不應(yīng)用rst。
[0429]
23.提出rst可以應(yīng)用于量化系數(shù)/殘差。
[0430]
a.在一個(gè)示例中，當(dāng)使用變換跳過時(shí)，rst可以應(yīng)用于殘差。
[0431]
b.在一個(gè)示例中，rst可應(yīng)用于塊的量化變換系數(shù)。
[0432]
24.提出rst可以應(yīng)用于子塊變換塊。
[0433]
a.在一個(gè)示例中，rst可以應(yīng)用于由子塊變換生成的左上系數(shù)。
[0434]
25.提出如何和/或是否應(yīng)用rst可以取決于cu中tu的數(shù)量。
[0435]
a.例如，如何和/或是否應(yīng)用rst可以取決于cu中的tu的數(shù)量是否大于1。
[0436]
i.在一個(gè)示例中，如果cu中的tu的數(shù)量大于1，則不應(yīng)用rst。
[0437]
ii.在一個(gè)示例中，如果cu中的tu的數(shù)量大于1，則rst僅應(yīng)用于cu中的多個(gè)tu中的一個(gè)。
[0438]
1)在一個(gè)示例中，如果cu中的tu的數(shù)量大于1，則rst僅應(yīng)用于cu中的第一個(gè)tu。
[0439]
2)在一個(gè)示例中，如果cu中的tu的數(shù)量大于1，則rst僅應(yīng)用于cu中的最后一個(gè)tu。
[0440]
iii.在一個(gè)示例中，如果cu中的tu的數(shù)量獨(dú)立地大于1，則rst被應(yīng)用于cu的每個(gè)tu。
[0441]
1)可選地，當(dāng)cu中的tu的數(shù)量大于1時(shí)，可以獨(dú)立于是否對(duì)cu的第二tu應(yīng)用rst來確定是否對(duì)cu的第一tu應(yīng)用rst。
[0442]
2)在一個(gè)示例中，是否對(duì)cu的tu應(yīng)用rst可以取決于tu的非零系數(shù)(表示為nz)的數(shù)量，但當(dāng)cu中的tu的數(shù)量大于1時(shí)，不取決于cu的其他tu的非零系數(shù)的數(shù)量。
[0443]
a)在一個(gè)示例中，如果nz小于閾值t(例如t＝2)，則不對(duì)tu應(yīng)用rst。
[0444]
b)如果確定不對(duì)cu的tu應(yīng)用rst，則可以針對(duì)cu的tu不信令通知指示是否應(yīng)用rst的語法元素(多個(gè))。
[0445]
b.例如，如何和/或是否應(yīng)用rst可以取決于tu大小是否等于cu大小。
[0446]
i.在一個(gè)示例中，當(dāng)cu大小大于tu大小時(shí)，rst被禁用。
[0447]
c.提出以cu的解碼順序使用第一個(gè)tu或最后一個(gè)tu的解碼信息來決定rst的使用和/或rst相關(guān)語法元素的信令。
[0448]
i.在一個(gè)示例中，如果第一個(gè)或最后一個(gè)tu的非零系數(shù)的數(shù)量小于閾值t(例如t＝2)，則不對(duì)cu應(yīng)用rst。
[0449]
ii.在一個(gè)示例中，如果第一個(gè)或最后一個(gè)tu內(nèi)的子區(qū)域(例如，左上4x4)的非零系數(shù)的數(shù)量小于閾值t(例如t＝2)，則不對(duì)cu應(yīng)用rst。
[0450]
26.提出為tu設(shè)置一個(gè)標(biāo)志來控制是否應(yīng)用rst。
[0451]
a.是否將rst應(yīng)用于tu可以取決于該tu的標(biāo)志。
[0452]
i.當(dāng)標(biāo)志沒有出現(xiàn)或尚未被導(dǎo)出時(shí)，可以將其導(dǎo)出為false。
[0453]
ii.可選地，當(dāng)標(biāo)志沒有出現(xiàn)或尚未被導(dǎo)出時(shí)，可以將其導(dǎo)出為true。
[0454]
b.當(dāng)cu僅包含一個(gè)tu時(shí)，用于該tu的標(biāo)志可以等于可以被動(dòng)態(tài)導(dǎo)出的cu rst標(biāo)志(例如，基于系數(shù)信息)。
[0455]
c.當(dāng)cu中的tu的數(shù)量大于1時(shí)，cu中的最后一個(gè)tu的標(biāo)志可以從可以被動(dòng)態(tài)導(dǎo)出的cu rst標(biāo)志中導(dǎo)出(例如，基于系數(shù)信息)，并且所有其他tu的標(biāo)志可以被設(shè)置為false。
[0456]
i.可選地，當(dāng)cu中的tu的數(shù)量大于1時(shí)，cu中的最后一個(gè)tu的標(biāo)志可以從cu rst標(biāo)志導(dǎo)出，并且所有其他tu的標(biāo)志可以被設(shè)置為true。
[0457]
27.提出當(dāng)分量的數(shù)量大于1并且使用單個(gè)編解碼樹時(shí)，是否和/或如何對(duì)塊的第一分量應(yīng)用rst可以不同于是否和/或如何對(duì)塊的第二分量應(yīng)用rst。即對(duì)不同顏分量應(yīng)用rst的單獨(dú)控制。
[0458]
a.提出當(dāng)分量的數(shù)量大于1并且使用單個(gè)編解碼樹時(shí)，可以獨(dú)立于是否對(duì)塊的第二分量應(yīng)用rst來確定是否對(duì)塊的第一分量應(yīng)用rst。
[0459]
i.在一個(gè)示例中，是否對(duì)塊的分量應(yīng)用rst可以取決于塊的分量的解碼信息(例如，非零系數(shù)(表示為nz)的數(shù)量)，但當(dāng)分量的數(shù)量大于1并且使用單個(gè)編解碼樹時(shí)，不取決于塊的任何其他分量的解碼信息。
[0460]
1)在一個(gè)示例中，如果nz小于閾值t(例如t＝2)，則不對(duì)塊的分量應(yīng)用rst。
[0461]
2)如果確定不對(duì)塊的分量應(yīng)用rst，則可以針對(duì)塊的分量不信令通知指示是否應(yīng)用rst的語法元素(多個(gè))。
[0462]
b.在一個(gè)示例中，對(duì)于單樹情況，對(duì)于亮度和度分量可以獨(dú)立地確定是否啟用rst和/或如何應(yīng)用rst。
[0463]
28.提出當(dāng)分量的數(shù)量大于1并且使用單個(gè)編解碼樹時(shí)，是否對(duì)塊的第一分量應(yīng)用rst可以由塊的第二分量確定。
[0464]
a.在一個(gè)示例中，當(dāng)分量的數(shù)量大于1并且使用單個(gè)編解碼樹時(shí)，是否對(duì)塊的第一分量應(yīng)用rst可以由塊的第二分量的非零系數(shù)的數(shù)量來確定。
[0465]
i.在一個(gè)示例中，如果nz(例如，塊的第二分量或塊的子區(qū)域(例如，左上4x4)的非零系數(shù)的數(shù)量)小于閾值t(例如，t＝2)，則不對(duì)塊的第一分量上應(yīng)用rst。
[0466]
ii.如果確定不對(duì)塊的第一分量應(yīng)用rst，則可以針對(duì)塊的分量不信令通知指示是否應(yīng)用rst的語法元素(多個(gè))。
[0467]
iii.在一個(gè)示例中，第一分量是cb或cr，第二分量是y。
[0468]
iv.在一個(gè)示例中，第一分量是r或b，第二分量是g。
[0469]
29.在一個(gè)示例中，是否應(yīng)用bullet 25和/或bullet 26和/或bullet 27可以取決于cu和/或tu和/或塊的寬度和高度(表示為w和h)和/或最大變換塊大小。
[0470]
a.在一個(gè)示例中，僅當(dāng)w》t或h》t時(shí)才應(yīng)用bullet 25和/或bullet 26和/或bullet 27。在一個(gè)示例中，t可以等于64。在替代示例中，t可以等于最大變換大小。
[0471]
b.在一個(gè)示例中，僅當(dāng)w》t和h》t時(shí)才應(yīng)用bullet 25和/或bullet 26和/或bullet 27。在一個(gè)示例中，t可以等于64。在替代示例中，t可以等于最大變換大小。
[0472]
c.在一個(gè)示例中，僅當(dāng)w》t和h》t時(shí)才應(yīng)用bullet 25和/或bullet 26和/或bullet 27。在一個(gè)示例中，t可以等于64。在替代示例中，t可以等于最大變換大小。
[0473]
可分離二次變換(sst)的改進(jìn)
[0474]
30.在一個(gè)示例中，對(duì)于視頻單元，可以確定啟用或禁用sst。
[0475]
a.例如，可以基于與視頻單元相關(guān)聯(lián)的視頻語法結(jié)構(gòu)中的信令來進(jìn)行該確定。
[0476]
i.在一個(gè)示例中，可以用算術(shù)編解碼中的至少一個(gè)上下文對(duì)信令(諸如標(biāo)志)進(jìn)行編解碼。
[0477]
ii.在一個(gè)示例中，可以基于編碼/解碼信息(諸如塊尺寸、編解碼塊標(biāo)志(cbf)和當(dāng)前塊的編解碼模式)有條件地跳過信令。
[0478]
1)在一個(gè)示例中，當(dāng)cbf等于零時(shí)可以跳過信令。
[0479]
b.例如，可以在沒有與視頻單元相關(guān)聯(lián)的信令的情況下基于推斷來進(jìn)行該確定。
[0480]
i.該推斷可以取決于視頻單元的信息，例如，編解碼模式、幀內(nèi)預(yù)測模式、主變換的類型以及視頻單元的尺寸或大小，
[0481]
c.例如，視頻單元可以是塊，諸如編解碼塊或變換塊。視頻語法結(jié)構(gòu)可以是編解碼單元(cu)或變換單元(tu)。
[0482]
d.例如，視頻單元可以是圖片。視頻語法結(jié)構(gòu)可以是圖片標(biāo)頭或pps。
[0483]
e.例如，視頻單元可以是條帶。視頻語法結(jié)構(gòu)可以是條帶標(biāo)頭。
[0484]
f.例如，視頻單元可以是條帶。視頻語法結(jié)構(gòu)可以是序列標(biāo)頭或sps。
[0485]
g.視頻語法結(jié)構(gòu)可以是vps/dps/aps/圖塊組/圖塊/ctu行/ctu。
[0486]
31.在一個(gè)示例中，是禁用還是啟用sst可以基于塊尺寸。
[0487]
h.例如，如果塊寬度或高度中的至少一個(gè)小于(或不大于)tmin，則可以禁用sst。
[0488]
i.例如，如果塊寬度和高度都小于tmin，則可以禁用sst。
[0489]
j.例如，如果塊寬度或高度中的至少一個(gè)大于(或不小于)tmax，則可以禁用sst。
[0490]
k.例如，如果塊寬度和高度都大于(或不小于)tmax，則可以禁用sst。
[0491]
l.例如，tmin可以是2或4。
[0492]
m.例如，tmax可以是32、64或128。
[0493]
n.在一個(gè)示例中，可以基于第一顏分量的塊寬度或/和高度來禁用sst。
[0494]
i.例如，第一顏分量可以是亮度顏分量。
[0495]
ii.例如，第一顏分量可以是r顏分量。
[0496]
o.在一個(gè)示例中，可以基于所有顏分量的塊寬度或/和高度來禁用sst。
[0497]
p.可選地，此外，當(dāng)禁用sst時(shí)，省略sst和/或其他輔助信息的使用指示的相關(guān)信令。
[0498]
q.在一個(gè)示例中，基于塊尺寸，可以在第一顏分量上啟用sst并在第二顏分量上禁用sst。
[0499]
32.在一個(gè)示例中，可以利用sst集并且對(duì)塊的sst矩陣的選擇可以取決于諸如塊尺寸的解碼信息。
[0500]
r.可選地，此外，可以以不同的方式(諸如對(duì)應(yīng)于不同塊尺寸的不同矩陣)解釋相同的解碼/信令通知的sst索引或相同的開/關(guān)控制標(biāo)志。
[0501]
s.例如，集合中的不同sst可能具有不同的尺寸，諸如4
×
4sst、8
×
8sst或16
×
16sst，
[0502]
t.例如，4
×
4sst可以應(yīng)用于具有條件c4的塊，8
×
8sst可以應(yīng)用于具有條件c8的塊。
[0503]
i.可選地，此外，4
×
4sst可以應(yīng)用于具有條件c4的塊，8
×
8sst可以應(yīng)用于具有條
件c8的塊，
…
，n
×
n sst可以應(yīng)用于具有條件cn的塊，其中n是整數(shù)。
[0504]
u.在一個(gè)示例中，條件c4是塊寬度和高度中的至少一個(gè)等于4。
[0505]
v.在一個(gè)示例中，條件c4是塊寬度和高度都等于4。
[0506]
w.在一個(gè)示例中，條件c4是塊寬度和高度的較小值等于4。
[0507]
x.在一個(gè)示例中，條件c8是塊寬度和高度的較小值不小于8。
[0508]
y.在一個(gè)示例中，條件c8是塊寬度和高度中的至少一個(gè)等于8。
[0509]
z.在一個(gè)示例中，條件c8是塊寬度和高度都等于8。
[0510]
aa.在一個(gè)示例中，條件c8是塊寬度和高度中的至少一個(gè)大于或等于8。
[0511]
bb.在一個(gè)示例中，條件c8是塊寬度和高度都大于或等于8。
[0512]
cc.在一個(gè)示例中，條件cn是塊寬度和高度中的至少一個(gè)等于n。
[0513]
dd.在一個(gè)示例中，條件cn是塊寬度和高度都等于n。
[0514]
ee.在一個(gè)示例中，條件cn是塊寬度和高度中的至少一個(gè)大于或等于n。
[0515]
ff.在一個(gè)示例中，條件cn是塊寬度和高度都大于或等于n。
[0516]
gg.在一個(gè)示例中，n
×
n sst可以應(yīng)用于變換塊的左上n
×
n子塊。
[0517]
hh.在一個(gè)示例中，sst可以水平或垂直應(yīng)用，或者水平和垂直應(yīng)用，這取決于塊尺寸。
[0518]
ii.在一個(gè)示例中，可以為不同的顏分量選擇不同的sst矩陣。
[0519]
i.例如，上述規(guī)則可以獨(dú)立地應(yīng)用于不同的顏分量。
[0520]
jj.在一個(gè)示例中，可以為所有顏分量選擇一個(gè)相同的sst矩陣。
[0521]
i.例如，上述規(guī)則可應(yīng)用于第一顏分量，所選擇的sst矩陣可應(yīng)用于所有顏分量。
[0522]
1)在一個(gè)示例中，第一顏分量可以是亮度分量。
[0523]
2)在一個(gè)示例中，第一顏分量可以是cb或cr分量。
[0524]
3)可選地，此外，如果所選擇的sst矩陣不適用于第二顏分量，則對(duì)第二顏分量禁用sst。
[0525]
kk.在一個(gè)示例中，只有當(dāng)所有顏分量的所選擇的sst矩陣(通過獨(dú)立地將上述規(guī)則應(yīng)用于不同顏分量)相同時(shí)，才可以允許sst。
[0526]
i.可選地，此外，如果不允許sst，則省略sst和/或其他輔助信息的使用指示的相關(guān)信令。
[0527]
33.在一個(gè)示例中，n
×
n sst可以應(yīng)用于至少一個(gè)與左上n
×
n子塊不相同的n
×
n子塊。
[0528]
ll.例如，n
×
n sst可以應(yīng)用于與左上n
×
n子塊右相鄰的n
×
n子塊。
[0529]
mm.例如，n
×
n sst可以應(yīng)用于與左上n
×
n子塊底部相鄰的的n
×
n子塊。
[0530]
34.在一個(gè)示例中，第一sst可以作為水平變換應(yīng)用于經(jīng)變換的塊，并且第二sst可以作為垂直變換應(yīng)用于經(jīng)變換的塊，其中第一sst和第二sst可以不同。
[0531]
nn.例如，第一sst和第二sst可以具有不同的尺寸。
[0532]
oo.假設(shè)第一sst為n
×
n sst,第二個(gè)sst為m
×
m sst,變換后的塊尺寸為w
×
h,則可應(yīng)用以下規(guī)則：
[0533]
i.如果w等于w1，則n被設(shè)置為等于w1，其中w1是整數(shù)，諸如4或8。
[0534]
ii.如果w大于或不小于w2，則n被設(shè)置為等于w2，其中w2是整數(shù)，諸如4或8。
[0535]
iii.如果h等于h1，則m被設(shè)置為等于h1，其中h1是整數(shù)，諸如4或8。
[0536]
iv.如果h大于或不小于h2，則m被設(shè)置為等于h2，其中h2是整數(shù)，諸如4或8。
[0537]
35.在一個(gè)示例中，sst集中的一個(gè)可以用于塊，其中在該集中存在多于一個(gè)具有相同尺寸的sst。
[0538]
pp.在一個(gè)示例中，消息被信令通知以指示選擇哪一個(gè)來使用。
[0539]
qq.在一個(gè)示例中，在沒有信令的情況下推斷選擇哪一個(gè)。推斷可以取決于
[0540]
i.塊尺寸。
[0541]
ii.幀內(nèi)預(yù)測模式。
[0542]
iii.變換后的量化/非量化系數(shù)。
[0543]
iv.顏分量。
[0544]
v.主變換的類型。
[0545]
36.在一個(gè)示例中，如果主變換不同，則可以應(yīng)用不同的sst。
[0546]
rr.例如，與dct2相關(guān)聯(lián)使用的sst可以不同于與dst7相關(guān)聯(lián)使用的sst。
[0547]
37.在一個(gè)示例中，sst可以應(yīng)用于度分量。
[0548]
ss.在一個(gè)示例中，不同的sst矩陣可以應(yīng)用于不同的顏分量，例如y、cb和cr。
[0549]
tt.在一個(gè)示例中，不同的顏分量可以遵循是否以及如何應(yīng)用sst的不同規(guī)則。
[0550]
uu.在一個(gè)示例中，可以應(yīng)用對(duì)兩個(gè)顏分量的單獨(dú)控制。
[0551]
i.在一個(gè)示例中，可以針對(duì)兩個(gè)顏分量中的每一個(gè)信令通知sst和/或矩陣的使用指示。
[0552]
38.根據(jù)掃描區(qū)域的右下位置的條件檢查，可以信令通知sst的使用指示和/或sst矩陣的指示。用(srx，sry)表示右下位置，諸如圖18a-b中所描繪的。
[0553]
vv.在一個(gè)示例中，當(dāng)srx大于或不小于kx和/或當(dāng)sry大于或不小于ky時(shí)，可以省略sst的使用指示和/或sst矩陣的指示。
[0554]
ww.在一個(gè)示例中，當(dāng)srx小于或不大于k'x和/或當(dāng)sry小于或不大于k'y時(shí)，可以省略sst的使用指示和/或sst矩陣的指示。
[0555]
xx.可選地，此外，當(dāng)沒有信令通知指示時(shí)，可以推斷sst被禁用。
[0556]
yy.可選地，此外，當(dāng)沒有信令通知指示時(shí)，可推斷默認(rèn)sst。
[0557]
i.在一個(gè)示例中，默認(rèn)sst可以被設(shè)置為k＊l變換。
[0558]
ii.在一個(gè)示例中，可以根據(jù)諸如塊尺寸的解碼信息來確定默認(rèn)sst。
[0559]
zz.可選地，此外，上述方法也可應(yīng)用于其他非分離的二次/主變換。
[0560]
與增強(qiáng)二次變換(est)有關(guān)
[0561]
39.可以在視頻數(shù)據(jù)單元(例如，圖片)內(nèi)使用是否應(yīng)用二次變換的隱式和顯式信令。
[0562]
a.在一個(gè)示例中，是否使用隱式方式或顯式方式取決于編解碼模式信息，例如，是否應(yīng)用dt(導(dǎo)出樹)。
[0563]
i.在一個(gè)示例中，對(duì)于不包括dt(導(dǎo)出樹)的幀內(nèi)編解碼塊和/或不包括pcm模式的幀內(nèi)編解碼塊，可以應(yīng)用顯式信令方法。
[0564]
1)在一個(gè)示例中，可以信令通知標(biāo)志以指示是否應(yīng)用二次變換。
[0565]
ii.在一個(gè)示例中，對(duì)于具有dt(導(dǎo)出樹)的幀內(nèi)編解碼塊，可以應(yīng)用隱式信令方法，其中始終應(yīng)用二次變換。
[0566]
iii.在一個(gè)示例中，對(duì)于具有pcm模式的幀內(nèi)編解碼塊和/或非幀內(nèi)編解碼塊，可以應(yīng)用隱式信令方法，其中始終不應(yīng)用二次變換。
[0567]
40.可以在視頻數(shù)據(jù)單元(例如，圖片)內(nèi)使用應(yīng)用或不應(yīng)用二次變換的隱式信令的多種方式。
[0568]
a.在一個(gè)示例中，使用哪個(gè)隱式方法可以取決于編解碼模式信息，例如，是否應(yīng)用dt(導(dǎo)出樹)。
[0569]
iv.在一個(gè)示例中，對(duì)于不包括dt(導(dǎo)出樹)的幀內(nèi)編解碼塊和/或不包括pcm模式的幀內(nèi)編解碼塊，可以應(yīng)用取決于變換系數(shù)的隱式方法。
[0570]
1)在一個(gè)示例中，塊中奇數(shù)變換系數(shù)的數(shù)量的奇偶性和/或偶數(shù)變換系數(shù)的數(shù)量的奇偶性可用于確定是否應(yīng)用二次變換。
[0571]
v.在一個(gè)示例中，對(duì)于具有dt(導(dǎo)出樹)的幀內(nèi)編解碼塊，可以應(yīng)用隱式信令方法，其中始終應(yīng)用二次變換。
[0572]
vi.在一個(gè)示例中，對(duì)于具有pcm模式的幀內(nèi)編解碼塊和/或非幀內(nèi)編解碼塊，可以應(yīng)用隱式信令方法，其中始終不應(yīng)用二次變換。
[0573]
41.根據(jù)語法元素(se)(諸如標(biāo)志)，可對(duì)塊應(yīng)用或不應(yīng)用可分離二次變換。例如，如果與塊相關(guān)聯(lián)的se是1，則可對(duì)塊應(yīng)用可分離二次變換；如果與塊相關(guān)聯(lián)的se是1，則可以不對(duì)塊應(yīng)用可分離二次變換。
[0574]
a.針對(duì)塊的se的信令可以以塊的信息為條件。
[0575]
vii.例如，只有當(dāng)塊是亮度塊時(shí)才信令通知se。
[0576]
viii.例如，如果使用dt，則不信令通知se。
[0577]
ix.例如，如果主變換不是dct2，則不信令通知se。
[0578]
b.當(dāng)不信令通知se時(shí)，可以將其設(shè)置為等于默認(rèn)值，諸如0。
[0579]
42.可以選擇多個(gè)可分離二次變換中的一個(gè)用于行和/或列第二變換中的塊。
[0580]
a.在一個(gè)示例中，可以信令通知該選擇。
[0581]
b.在一個(gè)示例中，該選擇可以不被信令通知，而是由塊的信息導(dǎo)出。
[0582]
x.例如，如果塊的寬度不大于4(或等于4，或小于8)，則可將4
×
4可分離二次變換應(yīng)用于塊的行(例如，最頂部的四行或八行)。
[0583]
xi.例如，如果塊的高度不大于4(或等于4，或小于8)，則可將4
×
4可分離二次變換應(yīng)用于塊的列(例如，最左邊的四列或八列)。
[0584]
xii.例如，如果塊的寬度大于4(或不小于8)，則可將8
×
8可分離二次變換應(yīng)用于塊的行(例如，最頂部的四行或八行)。
[0585]
xiii.例如，如果塊的高度大于4(或不小于8)，則可將8
×
8可分離二次變換應(yīng)用于塊的列(例如，最左邊的四列或八列)。
[0586]
xiv.例如，如果塊的高度不大于4(或等于4，或小于8)，則可將4
×
4或8
×
8可分離二次變換應(yīng)用于塊的最頂部的四行。
[0587]
xv.例如，如果塊的高度大于4(或不小于8)，則可將4
×
4或8
×
8可分離二次變換應(yīng)用于塊的最頂部的八行。
[0588]
xvi.例如，如果塊的寬度不大于4(或等于4，或小于8)，則可將4
×
4或8
×
8可分離二次變換應(yīng)用于塊的最左邊的四列。
[0589]
xvii.例如，如果塊的寬度大于4(或不小于8)，則可將4
×
4或8
×
8可分離二次變換應(yīng)用于塊的最左邊的八列。
[0590]
43. 8
×
8可分離二次變換的變換核矩陣可定義為
[0591][0592]
與仿射預(yù)測和交織預(yù)測有關(guān)。
[0593]
44.用于運(yùn)動(dòng)補(bǔ)償?shù)牟逯禐V波器可以根據(jù)是否滿足條件a而不同。
[0594]
a.例如，條件a表示應(yīng)用仿射預(yù)測。
[0595]
b.例如，條件a表示應(yīng)用交織預(yù)測。
[0596]
c.例如，條件a表示應(yīng)用仿射預(yù)測并使用雙向預(yù)測。
[0597]
d.例如，條件a表示應(yīng)用交織預(yù)測并使用雙向預(yù)測。
[0598]
e.兩個(gè)插值濾波器不同可以表示它們具有不同數(shù)量的濾波器系數(shù)。
[0599]
f.兩個(gè)插值濾波器不同可以表示它們具有至少一個(gè)不同的濾波器系數(shù)。
[0600]
g.在一個(gè)示例中，當(dāng)滿足條件a時(shí)，插值濾波器被定義為
[0601]
{0，0，0，64，0，0，0，0}，
[0602]
{0，1，-3，63，4，-2，1，0}，
[0603]
{0，2，-5，62，8，-3，0，0}，
[0604]
{0，3，-8，60，13，-4，0，0}，
[0605]
{0，4，-10，58，17，-5，0，0}，
[0606]
{0，3，-11，52，26，-8，2，0}，
[0607]
{0，2，-9，47，31，-10，3，0}，
[0608]
{0，3，-11，45，34，-10，3，0}，
[0609]
{0，3，-11，40，40，-11，3，0}，
[0610]
{0，3，-10，34，45，-11，3，0}，
[0611]
{0，3，-10，31，47，-9，2，0}，
[0612]
{0，2，-8，26，52，-11，3，0}，
[0613]
{0，0，-5，17，58，-10，4，0}，
[0614]
{0，0，-4，13，60，-8，3，0}，
[0615]
{0，0，-3，8，62，-5，2，0}，
[0616]
{0，1，-2，4，63，-3，1，0}
[0617]
h.在一個(gè)示例中，當(dāng)滿足條件a時(shí)，插值濾波器被定義為
[0618]
{0，0，0，64，0，0，0，0}，
[0619]
{0，1，-3，63，4，-1，0，0}，
[0620]
{0，2，-6，62，8，-3，1，0}，
[0621]
{0，2，-8，60，13，-5，2，0}，
[0622]
{0，2，-9，57，18，-6，2，0}，
[0623]
{0，3，-11，53，24，-8，3，0}，
[0624]
{0，3，-10，49，29，-9，2，0}，
[0625]
{0，3，-11，45，34，-10，3，0}，
[0626]
{0，3，-11，40，40，-11，3，0}，
[0627]
{0，3，-10，34，45，-11，3，0}，
[0628]
{0，2，-9，29，49，-10，3，0}，
[0629]
{0，3，-8，24，53，-11，3，0}，
[0630]
{0，2，-6，18，57，-9，2，0}，
[0631]
{0，2，-5，13，60，-8，2，0}，
[0632]
{0，1，-3，8，62，-6，2，0}，
[0633]
{0，0，-1，4，63，-3，1，0}
[0634]
45.當(dāng)應(yīng)用交織預(yù)測時(shí)，不同的樣式可以用于單預(yù)測和雙預(yù)測。
[0635]
a.對(duì)于單預(yù)測，第二劃分樣式將塊劃分為4
×
4子塊，偏移為2
×
2。一個(gè)示例是圖26a中所示的樣式4。
[0636]
b.對(duì)于單預(yù)測，第二劃分樣式將塊劃分為8
×
8子塊，偏移為4
×
4。一個(gè)示例是圖26b中所示的樣式6。
[0637]
46.在一個(gè)實(shí)施例中，有兩個(gè)可能的加權(quán)值wa和wb，滿足wa+wb＝2n。示例性加權(quán)值{wa，wb}是{3，1}，{7，1}，{5，3}，{13，3}等。
[0638]
a.如果與由第一劃分樣式生成的預(yù)測樣點(diǎn)p1相關(guān)聯(lián)的加權(quán)值w1和與由第二劃分樣式生成的預(yù)測樣點(diǎn)p2相關(guān)聯(lián)的加權(quán)值w2相同(兩者都等于wa或wb)，則該樣點(diǎn)的最終預(yù)測p被計(jì)算為p＝(p1+p2)》》1或p＝(p1+p2+1)》》1。
[0639]
b.如果與由第一劃分樣式生成的預(yù)測樣點(diǎn)p1相關(guān)聯(lián)的加權(quán)值w1和與由第二劃分樣式生成的預(yù)測樣點(diǎn)p2相關(guān)聯(lián)的加權(quán)值w2不同({w1，w2}＝{wa，wb}或{w1，w2}＝{wb，wa})，則該樣點(diǎn)的最終預(yù)測p被計(jì)算為p＝(w1
×
p1+w2
×
p2+偏移)》》n，其中偏移可以是1《《(n-1)或0。
[0640]
c.圖27a至圖27d中示出了當(dāng)塊被劃分為8
×
8子塊時(shí)8
×
8、8
×
4、4
×
8、4
×
4子塊的示例性加權(quán)值。
[0641]
圖1600是視頻處理裝置1600的框圖。裝置1600可用于實(shí)施本文所述的一個(gè)或多個(gè)方法。裝置1600可以體現(xiàn)在智能手機(jī)、平板電腦、計(jì)算機(jī)、物聯(lián)網(wǎng)(iot)接收器等中。裝置1600可以包括一個(gè)或多個(gè)處理器1602、一個(gè)或多個(gè)存儲(chǔ)器1604和視頻處理硬件1606。處理器1602可以被配置為實(shí)施本文檔中描述的一個(gè)或多個(gè)方法。存儲(chǔ)器1604可用于存儲(chǔ)用于實(shí)施本文所述方法和技術(shù)的數(shù)據(jù)和代碼。視頻處理硬件1606可用于在硬件電路中實(shí)施本文檔中描述的一些技術(shù)。
[0642]
圖17是視頻處理的示例方法1700的流程圖。方法1700包括確定(1702)用于在當(dāng)前
視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的約束規(guī)則。方法1700包括通過根據(jù)約束規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行(1704)轉(zhuǎn)換。具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度。在轉(zhuǎn)換過程中，以特定順序與主變換一起應(yīng)用具有縮減維度的二次變換。
[0643]
附加實(shí)施例和技術(shù)如以下示例中所述。
[0644]
1.一種視頻處理方法，包括：確定用于在當(dāng)前視頻塊的比特流表示與當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的約束規(guī)則，以及通過根據(jù)約束規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度，并且其中在轉(zhuǎn)換過程中，以特定順序與主變換一起應(yīng)用具有縮減維度的二次變換。
[0645]
2.根據(jù)示例1的方法，其中轉(zhuǎn)換包括將當(dāng)前視頻塊編碼為比特流表示，并且其中特定順序包括首先在正向方向上應(yīng)用主變換，接著在正向方向上選擇性地應(yīng)用具有縮減維度的二次變換，接著在正向方向上量化具有縮減維度的二次變換的輸出。
[0646]
3.根據(jù)示例1的方法，其中變換包括從比特流表示解碼當(dāng)前視頻塊，并且其中特定順序包括首先對(duì)比特流表示應(yīng)用反量化，接著在逆方向上選擇性地應(yīng)用具有縮減維度的二次變換，接著在逆方向上將主變換應(yīng)用于在逆方向上具有縮減維度的二次變換的輸出。
[0647]
4.根據(jù)示例1至3中任一示例的方法，其中約束規(guī)則指定將在逆方向上具有縮減維度的二次變換的輸出的范圍裁剪到[mincoef，maxcoef]的范圍(包括mincoef、maxcoef)，其中mincoef和/或maxcoef是當(dāng)前視頻塊的條件的函數(shù)的兩個(gè)整數(shù)值。
[0648]
5.根據(jù)示例4的方法，其中當(dāng)前視頻塊的條件是由當(dāng)前視頻塊表示的顏或亮度分量的類型。
[0649]
6.根據(jù)示例1的方法，其中約束規(guī)則指定將具有縮減維度的二次變換應(yīng)用于當(dāng)前視頻塊的一個(gè)或多個(gè)m
×
n子塊，并將當(dāng)前視頻塊的剩余子塊歸零。
[0650]
7.根據(jù)示例1的方法，其中約束規(guī)則指定將具有縮減維度的二次變換不同地應(yīng)用于當(dāng)前視頻塊的不同子塊。
[0651]
8.根據(jù)示例1至5中任一示例的方法，其中，由于當(dāng)前視頻塊的大小為4
×
h或w
×
4，其中h是以整數(shù)像素為單位的高度，w是以整數(shù)像素為單位的寬度，約束規(guī)則指定將具有縮減維度的二次變換應(yīng)用于當(dāng)前視頻塊的正好一個(gè)m
×
n子塊。
[0652]
9.根據(jù)示例8的方法，其中h》8或w》8。
[0653]
10.根據(jù)示例1至9中任一示例的方法，其中當(dāng)前視頻塊是視頻的非正方形區(qū)域。
[0654]
11.根據(jù)示例2或3的方法，其中約束規(guī)則指定在正向方向上將主變換的變換系數(shù)歸零，或在反向方向上將零系數(shù)填充到二次變換的輸出。
[0655]
示例1-5的其它實(shí)施例在第4節(jié)第1項(xiàng)中描述。示例6-7的其它實(shí)施例在第4節(jié)第2項(xiàng)中描述。示例8-9的其它實(shí)施例在第4節(jié)第3項(xiàng)中描述。示例10-11的其它實(shí)施例在第4節(jié)第4項(xiàng)中描述。
[0656]
12.一種視頻處理方法，包括：確定用于在當(dāng)前視頻塊和相鄰視頻區(qū)域的比特流表示與當(dāng)前視頻塊的像素和相鄰區(qū)域的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的約束規(guī)則，以及通過根據(jù)約束規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊和相鄰視頻區(qū)域的維度縮減的維度，并且
其中在轉(zhuǎn)換過程中，以特定順序與主變換一起應(yīng)用具有縮減維度的二次變換。
[0657]
13.根據(jù)示例12的方法，其中相鄰視頻區(qū)域包括當(dāng)前視頻塊的左上塊。
[0658]
14.根據(jù)示例12的方法，其中當(dāng)前視頻塊和相鄰視頻區(qū)域?qū)?yīng)于父視頻塊的子塊。
[0659]
示例12-14的其它實(shí)施例在第4節(jié)第5項(xiàng)中描述。
[0660]
15.一種視頻處理方法，包括：確定用于在當(dāng)前視頻塊的比特流表示與當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的歸零規(guī)則，以及通過根據(jù)歸零規(guī)則應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度；其中歸零規(guī)則指定由具有縮減維度的二次變換使用的系數(shù)的最大數(shù)量。
[0661]
16.根據(jù)示例15的方法，其中系數(shù)的最大數(shù)量是當(dāng)前視頻塊的分量標(biāo)識(shí)的函數(shù)。
[0662]
17.根據(jù)示例16的方法，其中對(duì)于亮度視頻塊和度視頻塊，系數(shù)的最大數(shù)量是不同的。
[0663]
18.根據(jù)示例15至17中任一示例的方法，其中歸零規(guī)則指定歸零范圍是當(dāng)前視頻塊的編解碼信息的函數(shù)。
[0664]
19.根據(jù)示例15至17中任一示例的方法，其中歸零規(guī)則指定歸零范圍是當(dāng)前視頻塊的量化參數(shù)的函數(shù)。
[0665]
20.根據(jù)示例15至19中任一示例的方法，其中歸零范圍在比特流表示中由包括在序列參數(shù)集級(jí)、或圖片參數(shù)集級(jí)、或圖片標(biāo)頭、或條帶標(biāo)頭、或圖塊組標(biāo)頭、或編解碼樹單元行、或編解碼樹單元、或編解碼單元或視頻數(shù)據(jù)單元級(jí)的字段來指示。
[0666]
示例15-17的其它實(shí)施例在第4節(jié)第6項(xiàng)中描述。示例18的其它實(shí)施例在第4節(jié)第7項(xiàng)中描述。示例19的其它實(shí)施例在第4節(jié)第8項(xiàng)中描述。示例20的其它實(shí)施例在第4節(jié)第9項(xiàng)中描述。
[0667]
21.一種視頻處理方法，包括：確定用于在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換的條件，以及通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度；并且其中在比特流表示中信令通知該條件。
[0668]
22.根據(jù)示例21的方法，其中該條件是顏格式或單獨(dú)的平面編解碼的使用或基于當(dāng)前視頻塊的顏標(biāo)識(shí)。
[0669]
示例21-22的其它實(shí)施例在第4節(jié)第10項(xiàng)中描述。
[0670]
23.根據(jù)示例21至22中任一示例的方法，其中在比特流表示中針對(duì)度和亮度分量分別信令通知該條件。
[0671]
示例23的其它實(shí)施例在第4節(jié)第11項(xiàng)中描述。
[0672]
24.根據(jù)示例21至23中任一示例的方法，其中，該條件取決于當(dāng)前視頻塊和相鄰視頻區(qū)域的編解碼信息。
[0673]
25.根據(jù)示例24的方法，其中該條件排除應(yīng)用于使用特定幀內(nèi)預(yù)測模式編解碼的當(dāng)前視頻塊。
[0674]
示例24-25的其它實(shí)施例在第4節(jié)第12項(xiàng)中描述。
[0675]
26.根據(jù)示例24的方法，其中該條件指定應(yīng)用于幀間編解碼的當(dāng)前視頻塊。
[0676]
27.根據(jù)示例24的方法，其中該條件指定應(yīng)用于使用塊內(nèi)復(fù)制模式編解碼的當(dāng)前
視頻塊。
[0677]
示例25-26的其它實(shí)施例在第4節(jié)第13項(xiàng)中描述。
[0678]
28.根據(jù)示例21的方法，其中在比特流表示中以使得該級(jí)別內(nèi)的所有塊都符合該條件的級(jí)別信令通知該條件，其中該級(jí)別是序列參數(shù)集級(jí)、或圖片參數(shù)集級(jí)、或圖片標(biāo)頭、或條帶標(biāo)頭、或圖塊組標(biāo)頭、或編解碼樹單元行、或編解碼樹單元、或編解碼單元或視頻數(shù)據(jù)單元級(jí)。
[0679]
示例28的其它實(shí)施例在第4節(jié)第14項(xiàng)中描述。
[0680]
29.根據(jù)示例21的方法，其中該條件是使用變換跳過模式對(duì)當(dāng)前視頻塊進(jìn)行編解碼。
[0681]
示例29的其它實(shí)施例在第4節(jié)第17項(xiàng)中描述。
[0682]
30.一種視頻處理方法，包括：在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換，以及通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度；并且其中轉(zhuǎn)換包括基于共存規(guī)則選擇性地應(yīng)用位置相關(guān)幀內(nèi)預(yù)測組合(pdpc)。
[0683]
31.根據(jù)示例30的方法，其中由于應(yīng)用二次變換，共存規(guī)則排除將pdpc應(yīng)用于當(dāng)前視頻塊。
[0684]
32.根據(jù)示例30的方法，其中由于應(yīng)用二次變換，共存規(guī)則指定將pdpc應(yīng)用于當(dāng)前視頻塊。
[0685]
33.根據(jù)示例30的方法，其中針對(duì)使用pdpc的當(dāng)前視頻塊執(zhí)行選擇性地應(yīng)用二次變換。
[0686]
示例30-33的其它實(shí)施例在第4節(jié)第15項(xiàng)中描述。
[0687]
34.一種視頻處理方法，包括：在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換，以及通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度；并且其中該應(yīng)用在轉(zhuǎn)換期間控制用于幀內(nèi)預(yù)測的相鄰樣點(diǎn)的使用。
[0688]
示例34的其它實(shí)施例在第4節(jié)第16項(xiàng)中描述。
[0689]
35.一種視頻處理方法，包括：在當(dāng)前視頻塊的比特流表示和當(dāng)前視頻塊的像素之間的轉(zhuǎn)換期間選擇性地應(yīng)用具有縮減維度的二次變換，以及通過根據(jù)該條件應(yīng)用具有縮減維度的二次變換來執(zhí)行轉(zhuǎn)換；其中具有縮減維度的二次變換具有從當(dāng)前視頻塊的維度縮減的維度；并且其中該選擇性應(yīng)用在轉(zhuǎn)換期間控制量化矩陣的使用。
[0690]
36.根據(jù)示例35的方法，其中量化矩陣的使用僅由于應(yīng)用二次變換而發(fā)生。
[0691]
示例35-36的其它實(shí)施例在第4節(jié)第22項(xiàng)中描述。
[0692]
37.根據(jù)示例1-36中任一示例的方法，其中，主變換和二次變換被存儲(chǔ)為具有小于8的比特寬的變換矩陣。
[0693]
38.根據(jù)示例1-36中任一示例的方法，其中主變換和二次變換被存儲(chǔ)為預(yù)測變換矩陣。
[0694]
39.根據(jù)示例1-36中任一示例的方法，其中主變換可使用第一規(guī)則從二次變換導(dǎo)出，或者其中二次變換可使用第二規(guī)則從主變換導(dǎo)出。
[0695]
40.根據(jù)示例1-36中任一示例的方法，其中，比特流表示包括關(guān)于在當(dāng)前視頻塊的
殘差信息之前的二次變換或主變換的信息。
[0696]
示例37-40的其它實(shí)施例在第4節(jié)第18、19、20、21項(xiàng)中描述。
[0697]
41.根據(jù)示例1的方法，其中用于選擇性地應(yīng)用二次變換的約束規(guī)則取決于當(dāng)前視頻塊的編解碼單元中的變換單元的數(shù)量。
[0698]
42.根據(jù)示例41的方法，其中，由于編解碼單元中的變換單元的數(shù)量大于一，約束規(guī)則指定應(yīng)用二次變換。
[0699]
43.根據(jù)示例1的方法，其中比特流表示中的標(biāo)志指示是否將具有縮減維度的二次變換應(yīng)用于轉(zhuǎn)換。
[0700]
44.根據(jù)示例1的方法，其中當(dāng)前視頻塊包括多于一個(gè)的分量視頻塊，并且其中約束規(guī)則針對(duì)不同分量視頻塊不同地指定具有縮減維度的二次變換的適用性。
[0701]
45.根據(jù)示例44所述的方法，其中約束規(guī)則基于該約束規(guī)則如何應(yīng)用于第二分量視頻塊來指定用于第一分量視頻塊的具有縮減維度的二次變換的適用性。
[0702]
46.根據(jù)示例44-45中任一示例的方法，其中約束規(guī)則還取決于所述當(dāng)前視頻塊的維度。
[0703]
示例47-53的其它實(shí)施例在例如第4節(jié)第30至38項(xiàng)中描述。
[0704]
47.一種視頻處理方法，包括：對(duì)于視頻的當(dāng)前視頻塊和視頻的比特流表示之間的轉(zhuǎn)換，基于編解碼條件確定是否使用可分離二次變換(sst)進(jìn)行該轉(zhuǎn)換；以及根據(jù)該確定執(zhí)行該轉(zhuǎn)換。
[0705]
48.根據(jù)示例47的方法，其中該編解碼條件對(duì)應(yīng)于比特流表示中的語法元素。
[0706]
49.根據(jù)示例48的方法，其中該編解碼條件包括當(dāng)前視頻塊的大小。
[0707]
50.根據(jù)示例47-49中任一示例的方法，其中，在確定使用sst時(shí)，該轉(zhuǎn)換使用基于另一編解碼條件從sst集中選擇的所選擇的sst。
[0708]
51.根據(jù)示例50的方法，其中另一編解碼條件包括當(dāng)前視頻塊的尺寸。
[0709]
52.根據(jù)示例1-51中任一示例的方法，其中該轉(zhuǎn)換包括解碼和解析比特流表示以生成視頻。
[0710]
53.根據(jù)示例1-51中任一示例的方法，其中該轉(zhuǎn)換包括將視頻編碼為比特流表示。
[0711]
54.一種視頻處理裝置，包括處理器，其被配置為實(shí)施示例1到53中的一個(gè)或多個(gè)示例。
[0712]
55.一種其上存儲(chǔ)有代碼的計(jì)算機(jī)可讀介質(zhì)，當(dāng)由處理器執(zhí)行時(shí)，該代碼使處理器實(shí)施在示例1至53中的任何一個(gè)或多個(gè)中敘述的方法。
[0713]
將理解，所公開的技術(shù)可以體現(xiàn)在視頻編碼器或解碼器中，以使用包括使用縮減維度的二次變換的技術(shù)來提高壓縮效率。
[0714]
圖19是示出了其中可以實(shí)施本文公開的各種技術(shù)的示例視頻處理系統(tǒng)1900的框圖。各種實(shí)施方式可以包括系統(tǒng)1900的部分或全部組件。系統(tǒng)1900可以包括用于接收視頻內(nèi)容的輸入1902。視頻內(nèi)容可以以原始或未壓縮格式(例如，8或10比特多分量像素值)接收，或者可以以壓縮或編碼格式接收。輸入1902可以表示網(wǎng)絡(luò)接口、外圍總線接口或存儲(chǔ)接口。網(wǎng)絡(luò)接口的示例包括有線接口，例如以太網(wǎng)、無源光網(wǎng)絡(luò)(pon)等，以及無線接口，例如wi-fi或蜂窩接口。
[0715]
系統(tǒng)1900可以包括編解碼組件1904，其可以實(shí)施本文檔中描述的各種編解碼或編
碼方法。編解碼組件1904可以將視頻的平均比特率從輸入1902降低到編解碼組件1904的輸出，以產(chǎn)生視頻的編解碼表示。因此，編解碼技術(shù)有時(shí)被稱為視頻壓縮或視頻轉(zhuǎn)碼技術(shù)。編解碼組件1904的輸出可以被存儲(chǔ)，或者經(jīng)由由組件1906表示的連接的通信來發(fā)送。組件1908可以使用在輸入1902處接收的視頻的存儲(chǔ)的或通信的比特流(或編解碼的)表示來生成發(fā)送到顯示接口1910的像素值或可顯示視頻。從比特流表示生成用戶可視視頻的過程有時(shí)稱為視頻解壓縮。此外，雖然某些視頻處理操作被稱為“編解碼”操作或工具，但應(yīng)理解，在編碼器處使用編解碼工具或操作，并且解碼器將執(zhí)行反轉(zhuǎn)編解碼的結(jié)果的相應(yīng)的解碼工具或操作。
[0716]
外圍總線接口或顯示接口的示例可包括通用串行總線(usb)或高清晰度多媒體接口(hdmi)或顯示端口等。存儲(chǔ)接口的示例包括sata(串行高級(jí)技術(shù)附件)、pci、ide接口等。本文檔中描述的技術(shù)可以體現(xiàn)在各種電子設(shè)備中，例如移動(dòng)電話、膝上型電腦、智能手機(jī)或能夠執(zhí)行數(shù)字?jǐn)?shù)據(jù)處理和/或視頻顯示的其他設(shè)備。
[0717]
圖28是示出了可利用本公開的技術(shù)的示例視頻編解碼系統(tǒng)100的框圖。
[0718]
如圖28所示，視頻編解碼系統(tǒng)100可以包括源設(shè)備110和目標(biāo)設(shè)備120。源設(shè)備110生成編碼視頻數(shù)據(jù)，源設(shè)備110可以被稱為視頻編碼設(shè)備。目標(biāo)設(shè)備120可以對(duì)源設(shè)備110生成的編碼視頻數(shù)據(jù)進(jìn)行解碼，目標(biāo)設(shè)備120可以被稱為視頻解碼設(shè)備。
[0719]
源設(shè)備110可以包括視頻源112、視頻編碼器114和輸入/輸出(i/o)接口116。
[0720]
視頻源112可以包括諸如視頻捕獲設(shè)備的源、用于從視頻內(nèi)容提供商接收視頻數(shù)據(jù)的接口和/或用于生成視頻數(shù)據(jù)的計(jì)算機(jī)圖形系統(tǒng)，或這些源的組合。視頻數(shù)據(jù)可以包括一個(gè)或多個(gè)圖片。視頻編碼器114對(duì)來自視頻源112的視頻數(shù)據(jù)進(jìn)行編碼以生成比特流。比特流可以包括形成視頻數(shù)據(jù)的編解碼表示的比特序列。比特流可以包括編解碼圖片和相關(guān)數(shù)據(jù)。編解碼圖片是圖片的編解碼表示。相關(guān)聯(lián)的數(shù)據(jù)可以包括序列參數(shù)集、圖片參數(shù)集和其他語法結(jié)構(gòu)。i/o接口116可以包括調(diào)制器/解調(diào)器(調(diào)制解調(diào)器)和/或發(fā)送器。編碼的視頻數(shù)據(jù)可以通過網(wǎng)絡(luò)130a經(jīng)由i/o接口116直接發(fā)送到目標(biāo)設(shè)備120。編碼視頻數(shù)據(jù)還可以存儲(chǔ)在存儲(chǔ)介質(zhì)/服務(wù)器130b上，以供目標(biāo)設(shè)備120訪問。
[0721]
目標(biāo)設(shè)備120可以包括i/o接口126、視頻解碼器124和顯示設(shè)備122。
[0722]
i/o接口126可以包括接收器和/或調(diào)制解調(diào)器。i/o接口126可以從源設(shè)備110或存儲(chǔ)介質(zhì)/服務(wù)器130b獲取編碼視頻數(shù)據(jù)。視頻解碼器124可解碼編碼的視頻數(shù)據(jù)。顯示設(shè)備122可以向用戶顯示解碼的視頻數(shù)據(jù)。顯示設(shè)備122可以與目標(biāo)設(shè)備120集成，或者可以在目標(biāo)設(shè)備120外部，該目標(biāo)設(shè)備120被配置為與外部顯示設(shè)備接口。
[0723]
視頻編碼器114和視頻解碼器124可以根據(jù)視頻壓縮標(biāo)準(zhǔn)操作，例如高效視頻編解碼(hevc)標(biāo)準(zhǔn)、通用視頻編解碼(vvc)標(biāo)準(zhǔn)和其他當(dāng)前和/或進(jìn)一步的標(biāo)準(zhǔn)。
[0724]
圖29是示出了可以是圖28所示的系統(tǒng)100中的視頻編碼器114的視頻編碼器200的示例的框圖。
[0725]
視頻編碼器200可被配置為執(zhí)行本公開的任何或所有技術(shù)。在圖29的示例中，視頻編碼器200包括多個(gè)功能組件。本公開中描述的技術(shù)可以在視頻編碼器200的各個(gè)組件之間共享。在一些示例中，處理器可被配置為執(zhí)行本公開中描述的任何或所有技術(shù)。
[0726]
視頻編碼器200的功能組件可以包括分割單元201、預(yù)測單元202，預(yù)測單元1602可以包括模式選擇單元203、運(yùn)動(dòng)估計(jì)單元204、運(yùn)動(dòng)補(bǔ)償單元205和幀內(nèi)預(yù)測單元206，殘差生
成單元207、變換單元208、量化單元209，逆量化單元210、逆變換單元211、重建單元212、緩沖器213和熵編碼單元214。
[0727]
在其他示例中，視頻編碼器200可以包括更多、更少或不同的功能組件。在一個(gè)示例中，預(yù)測單元202可以包括塊內(nèi)復(fù)制(ibc)單元。ibc單元可以在ibc模式下執(zhí)行預(yù)測，其中至少一個(gè)參考圖片是當(dāng)前視頻塊所在的圖片。
[0728]
此外，一些組件，例如運(yùn)動(dòng)估計(jì)單元204和運(yùn)動(dòng)補(bǔ)償單元205可以是高度集成的，但是為了解釋的目的在圖19的示例中分別表示。
[0729]
分割單元201可以將圖片分割成一個(gè)或多個(gè)視頻塊。視頻編碼器200和視頻解碼器300可以支持各種視頻塊大小。
[0730]
模式選擇單元203可以例如基于錯(cuò)誤結(jié)果選擇一種編解碼模式(幀內(nèi)或幀間)，并將得到的幀內(nèi)或幀間編碼塊提供給殘差生成單元207以生成殘差塊數(shù)據(jù)，并提供給重建單元212以重建編碼塊以用作參考圖片。在一些示例中，模式選擇單元203可以選擇幀內(nèi)和幀間預(yù)測的組合(ciip)模式，其中預(yù)測基于幀間預(yù)測信號(hào)和幀內(nèi)預(yù)測信號(hào)。模式選擇單元203還可以在幀間預(yù)測的情況下為塊選擇運(yùn)動(dòng)矢量的分辨率(例如，子像素或整數(shù)像素精度)。
[0731]
為了對(duì)當(dāng)前視頻塊執(zhí)行幀間預(yù)測，運(yùn)動(dòng)估計(jì)單元204可以通過將來自緩沖器213的一個(gè)或多個(gè)參考幀與當(dāng)前視頻塊進(jìn)行比較來生成當(dāng)前視頻塊的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償單元205可以基于運(yùn)動(dòng)信息和來自緩沖器213的圖片的解碼樣本(與當(dāng)前視頻塊相關(guān)聯(lián)的圖片除外)來確定當(dāng)前視頻塊的預(yù)測視頻塊。
[0732]
例如，運(yùn)動(dòng)估計(jì)單元204和運(yùn)動(dòng)補(bǔ)償單元205可以根據(jù)當(dāng)前視頻塊是在i條帶、p條帶還是b條帶中，對(duì)當(dāng)前視頻塊執(zhí)行不同的操作。
[0733]
在一些示例中，運(yùn)動(dòng)估計(jì)單元204可以對(duì)當(dāng)前視頻塊執(zhí)行單向預(yù)測，并且運(yùn)動(dòng)估計(jì)單元204可以在列表0或列表1的參考圖片中搜索當(dāng)前視頻塊的參考視頻塊。然后，運(yùn)動(dòng)估計(jì)單元204可以生成參考索引，該參考索引指示包含參考視頻塊的列表0或列表1中的參考圖片以及指示當(dāng)前視頻塊和參考視頻塊之間的空間位移的運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)單元204可以輸出參考索引、預(yù)測方向指示符和運(yùn)動(dòng)矢量作為當(dāng)前視頻塊的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償單元205可以基于由當(dāng)前視頻塊的運(yùn)動(dòng)信息指示的參考視頻塊生成當(dāng)前塊的預(yù)測視頻塊。
[0734]
在其他示例中，運(yùn)動(dòng)估計(jì)單元204可以對(duì)當(dāng)前視頻塊執(zhí)行雙向預(yù)測，運(yùn)動(dòng)估計(jì)單元204可以在列表0中的參考圖片中搜索當(dāng)前視頻塊的參考視頻塊，并且還可以在列表1中的參考圖片中搜索當(dāng)前視頻塊的另一參考視頻塊。然后，運(yùn)動(dòng)估計(jì)單元204可以生成指示包含參考視頻塊的列表0和列表1中的參考圖片的參考索引和指示參考視頻塊和當(dāng)前視頻塊之間的空間位移的運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)單元204可以輸出當(dāng)前視頻塊的參考索引和運(yùn)動(dòng)矢量作為當(dāng)前視頻塊的運(yùn)動(dòng)信息。運(yùn)動(dòng)補(bǔ)償單元205可以基于由當(dāng)前視頻塊的運(yùn)動(dòng)信息指示的參考視頻塊生成當(dāng)前視頻塊的預(yù)測視頻塊。
[0735]
在一些示例中，運(yùn)動(dòng)估計(jì)單元204可以輸出用于解碼器的解碼處理的運(yùn)動(dòng)信息的完整集合。
[0736]
在一些示例中，運(yùn)動(dòng)估計(jì)單元204可以不輸出當(dāng)前視頻的運(yùn)動(dòng)信息的完整集合。相反，運(yùn)動(dòng)估計(jì)單元204可以參考另一視頻塊的運(yùn)動(dòng)信息來信令通知當(dāng)前視頻塊的運(yùn)動(dòng)信息。例如，運(yùn)動(dòng)估計(jì)單元204可以確定當(dāng)前視頻塊的運(yùn)動(dòng)信息與相鄰視頻塊的運(yùn)動(dòng)信息足夠相似。
[0737]
在一個(gè)示例中，運(yùn)動(dòng)估計(jì)單元204可以在與當(dāng)前視頻塊相關(guān)聯(lián)的語法結(jié)構(gòu)中指示向視頻解碼器300指示當(dāng)前視頻塊與另一視頻塊具有相同的運(yùn)動(dòng)信息的值。
[0738]
在另一示例中，運(yùn)動(dòng)估計(jì)單元204可以在與當(dāng)前視頻塊相關(guān)聯(lián)的語法結(jié)構(gòu)中識(shí)別另一視頻塊和運(yùn)動(dòng)矢量差(mvd)。運(yùn)動(dòng)矢量差指示當(dāng)前視頻塊的運(yùn)動(dòng)矢量與所指示視頻塊的運(yùn)動(dòng)矢量之間的差。視頻解碼器300可以使用所指示視頻塊的運(yùn)動(dòng)矢量和運(yùn)動(dòng)矢量差來確定當(dāng)前視頻塊的運(yùn)動(dòng)矢量。
[0739]
如上所述，視頻編碼器200可以預(yù)測地信令通知運(yùn)動(dòng)矢量。可由視頻編碼器200實(shí)施的預(yù)測信令技術(shù)的兩個(gè)示例包括高級(jí)運(yùn)動(dòng)矢量預(yù)測(amvp)和合并模式信令。
[0740]
幀內(nèi)預(yù)測單元206可以對(duì)當(dāng)前視頻塊執(zhí)行幀內(nèi)預(yù)測。當(dāng)幀內(nèi)預(yù)測單元206對(duì)當(dāng)前視頻塊執(zhí)行幀內(nèi)預(yù)測時(shí)，幀內(nèi)預(yù)測單元206可以基于同一圖片中其他視頻塊的解碼樣本生成當(dāng)前視頻塊的預(yù)測數(shù)據(jù)。當(dāng)前視頻塊的預(yù)測數(shù)據(jù)可以包括預(yù)測視頻塊和各種語法元素。
[0741]
殘差生成單元207可以通過從當(dāng)前視頻塊減去(例如，由減號(hào)指示)當(dāng)前視頻塊的預(yù)測視頻塊(多個(gè))來生成當(dāng)前視頻塊的殘差數(shù)據(jù)。當(dāng)前視頻塊的殘差數(shù)據(jù)可以包括對(duì)應(yīng)于當(dāng)前視頻塊中的樣本的不同樣本分量的殘差視頻塊。
[0742]
在其他示例中，例如在跳過模式下，對(duì)于當(dāng)前視頻塊，可以沒有當(dāng)前視頻塊的殘差數(shù)據(jù)，并且殘差生成單元207可以不執(zhí)行減法操作。
[0743]
變換處理單元208可以通過將一個(gè)或多個(gè)變換應(yīng)用于與當(dāng)前視頻塊相關(guān)聯(lián)的殘差視頻塊來為當(dāng)前視頻塊生成一個(gè)或多個(gè)變換系數(shù)視頻塊。
[0744]
在變換處理單元208生成與當(dāng)前視頻塊相關(guān)聯(lián)的變換系數(shù)視頻塊之后，量化單元209可以基于與當(dāng)前視頻塊相關(guān)聯(lián)的一個(gè)或多個(gè)量化參數(shù)(qp)值對(duì)與當(dāng)前視頻塊相關(guān)聯(lián)的變換系數(shù)視頻塊進(jìn)行量化。
[0745]
逆量化單元210和逆變換單元211可分別對(duì)變換系數(shù)視頻塊應(yīng)用逆量化和逆變換，以從變換系數(shù)視頻塊重建殘差視頻塊。重建單元212可以將重建的殘差視頻塊添加到來自預(yù)測單元202生成的一個(gè)或多個(gè)預(yù)測視頻塊的對(duì)應(yīng)樣本中，以產(chǎn)生與當(dāng)前塊相關(guān)聯(lián)的重建視頻塊，以存儲(chǔ)在緩沖器213中。
[0746]
在重建單元212重建視頻塊之后，可以執(zhí)行環(huán)路濾波操作以減少視頻塊中的視頻塊偽影。
[0747]
熵編碼單元214可以從視頻編碼器200的其他功能組件接收數(shù)據(jù)。當(dāng)熵編碼單元214接收到數(shù)據(jù)時(shí)，熵編碼單元214可以執(zhí)行一個(gè)或多個(gè)熵編碼操作以生成熵編碼數(shù)據(jù)并輸出包括熵編碼數(shù)據(jù)的比特流。
[0748]
圖30是示出了可以是圖28所示的系統(tǒng)100中的視頻解碼器114的視頻解碼器300的示例的框圖。
[0749]
視頻解碼器300可被配置為執(zhí)行本公開的任何或所有技術(shù)。在圖30的示例中，視頻解碼器300包括多個(gè)功能組件。本公開中描述的技術(shù)可以在視頻解碼器300的各個(gè)組件之間共享。在一些示例中，處理器可被配置為執(zhí)行本公開中描述的任何或所有技術(shù)。
[0750]
在圖30的示例中，視頻解碼器300包括熵解碼單元301、運(yùn)動(dòng)補(bǔ)償單元302、幀內(nèi)預(yù)測單元303、逆量化單元304、逆變換單元305、重建單元306和緩沖器307。在一些示例中，視頻解碼器300可以執(zhí)行與關(guān)于視頻編碼器200(圖29)描述的編碼過程大體相反的解碼過程。
[0751]
熵解碼單元301可以檢索編碼比特流。編碼比特流可包括熵編解碼視頻數(shù)據(jù)(例
如，視頻數(shù)據(jù)的編碼塊)。熵解碼單元301可以解碼熵編解碼視頻數(shù)據(jù)，并且運(yùn)動(dòng)補(bǔ)償單元302可以從熵解碼視頻數(shù)據(jù)確定包括運(yùn)動(dòng)矢量、運(yùn)動(dòng)矢量精度、參考圖片列表索引和其他運(yùn)動(dòng)信息的運(yùn)動(dòng)信息。例如，運(yùn)動(dòng)補(bǔ)償單元302可以通過執(zhí)行amvp和合并模式來確定這樣的信息。
[0752]
運(yùn)動(dòng)補(bǔ)償單元302可以產(chǎn)生運(yùn)動(dòng)補(bǔ)償塊，可能基于插值濾波器執(zhí)行插值。可以在語法元素中包括以子像素精度使用的插值濾波器的標(biāo)識(shí)符。
[0753]
運(yùn)動(dòng)補(bǔ)償單元302可以使用視頻編碼器20在視頻塊編碼期間使用的插值濾波器來計(jì)算參考?jí)K的子整數(shù)像素的內(nèi)插值。運(yùn)動(dòng)補(bǔ)償單元302可以根據(jù)接收到的語法信息確定視頻編碼器200使用的插值濾波器，并使用插值濾波器來產(chǎn)生預(yù)測塊。
[0754]
運(yùn)動(dòng)補(bǔ)償單元302可以使用一些語法信息來確定用于對(duì)編碼視頻序列的幀(多個(gè))和/或條帶(多個(gè))進(jìn)行編碼的塊的大小、描述如何對(duì)編碼視頻序列的圖片的每個(gè)宏塊進(jìn)行分割的分區(qū)信息、指示如何對(duì)每個(gè)分區(qū)進(jìn)行編碼的模式、用于每個(gè)幀間編碼塊的一個(gè)或多個(gè)參考幀(和參考幀列表)，以及用于解碼編碼視頻序列的其他信息。
[0755]
幀內(nèi)預(yù)測單元303可以使用例如在比特流中接收的幀內(nèi)預(yù)測模式來從空域相鄰塊形成預(yù)測塊。逆量化單元303對(duì)在比特流中提供并由熵解碼單元301解碼的量化視頻塊系數(shù)進(jìn)行逆量化(即，反量化)。逆變換單元303應(yīng)用逆變換。
[0756]
重建單元306可以將殘差塊與由運(yùn)動(dòng)補(bǔ)償單元202或幀內(nèi)預(yù)測單元303生成的相應(yīng)預(yù)測塊相加，以形成解碼塊。如果需要，還可以應(yīng)用去塊濾波器對(duì)解碼塊進(jìn)行濾波，以去除塊性偽影。解碼視頻塊隨后存儲(chǔ)在緩沖器307中，緩沖器307為后續(xù)運(yùn)動(dòng)補(bǔ)償/幀內(nèi)預(yù)測提供參考?jí)K，并且還產(chǎn)生解碼視頻以在顯示設(shè)備上呈現(xiàn)。
[0757]
圖31是根據(jù)本技術(shù)的用于視頻處理的方法3100的流程圖表示。方法3100包括，在操作3110，根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定是否或如何在比特流中指示視頻單元內(nèi)的二次變換的使用。在量化之前或反量化之后應(yīng)用二次變換。
[0758]
在一些實(shí)施例中，在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用二次變換。在一些實(shí)施例中，視頻單元包括視頻的視頻圖片。在一些實(shí)施例中，視頻單元包括視頻的視頻序列。在一些實(shí)施例中，二次變換包括增強(qiáng)的二次變換。
[0759]
在一些實(shí)施例中，二次變換的使用的隱式或顯式指示基于視頻塊的編解碼模式。在一些實(shí)施例中，以幀內(nèi)編解碼模式對(duì)視頻塊進(jìn)行編解碼。在不使用衍生的樹塊劃分或脈沖編解碼調(diào)制(pcm)編解碼工具對(duì)視頻塊進(jìn)行編解碼的情況下，在比特流中顯式地指示二次變換的使用。在一些實(shí)施例中，語法元素用于顯式地指示二次變換的使用。在一些實(shí)施例中，以幀內(nèi)編解碼模式對(duì)視頻塊進(jìn)行編解碼。在使用衍生的樹塊劃分對(duì)視頻塊進(jìn)行編解碼的情況下，在比特流中隱式地指示二次變換的使用。在一些實(shí)施例中，總是在視頻單元內(nèi)應(yīng)用二次變換。在一些實(shí)施例中，以幀內(nèi)編解碼模式對(duì)視頻塊進(jìn)行編解碼。在使用脈沖編解碼調(diào)制(pcm)編解碼工具對(duì)視頻塊進(jìn)行編解碼的情況下，在比特流中隱式地指示二次變換的使用。在一些實(shí)施例中，在視頻單元內(nèi)總是排除二次變換。
[0760]
在一些實(shí)施例中，使用一個(gè)或多個(gè)隱式方法來隱式指示二次變換的使用。在一些實(shí)施例中，一個(gè)或多個(gè)隱式方法的確定基于視頻塊的編解碼信息。在一些實(shí)施例中，以幀內(nèi)編解碼模式對(duì)視頻塊進(jìn)行編解碼。在不使用衍生的樹塊劃分或脈沖編解碼調(diào)制(pcm)編解
碼工具對(duì)視頻塊進(jìn)行編解碼的情況下，基于適用的變換系數(shù)來確定一個(gè)或多個(gè)隱式方法。在一些實(shí)施例中，基于視頻塊中奇數(shù)變換系數(shù)的奇偶性和/或偶數(shù)系數(shù)的奇偶性來指示二次變換的使用。
[0761]
圖32是根據(jù)本技術(shù)的用于視頻處理的方法3200的流程圖表示。方法3200包括，在操作3210，根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定基于與視頻塊相關(guān)聯(lián)的語法元素來確定在視頻塊中可分離二次變換的使用。在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用可分離二次變換。
[0762]
在一些實(shí)施例中，在語法元素的值為1的情況下，將可分離二次變換應(yīng)用于視頻塊。在一些實(shí)施例中，在語法元素的值為1的情況下，在視頻塊中禁用可分離二次變換。在一些實(shí)施例中，基于視頻塊的編解碼信息來調(diào)節(jié)語法元素的指示。在一些實(shí)施例中，在視頻塊是亮度塊的情況下指示語法元素。在一些實(shí)施例中，在視頻塊中使用衍生的樹塊劃分的情況下，在比特流中省略語法元素。在一些實(shí)施例中，在主變換不是離散余弦變換類型-ii(dct-2)的情況下，在比特流中省略語法元素。在一些實(shí)施例中，在比特流中省略語法元素的情況下，語法元素的默認(rèn)值被推斷為0。
[0763]
圖33是根據(jù)本技術(shù)的用于視頻處理的方法3300的流程圖表示。方法3300包括，在操作3310，根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定從要應(yīng)用于視頻塊的多個(gè)可分離二次變換中選擇一個(gè)二次變換。二次變換應(yīng)用于視頻塊的行或視頻塊的列。
[0764]
在一些實(shí)施例中，在比特流中指示二次變換的選擇。在一些實(shí)施例中，基于視頻塊的編解碼信息導(dǎo)出二次變換的選擇。在一些實(shí)施例中，在視頻塊的寬度小于或等于n，n為正整數(shù)的情況下，將4
×
4可分離二次變換應(yīng)用于視頻塊的行。在一些實(shí)施例中，在視頻塊的高度小于或等于n，n為正整數(shù)的情況下，將4
×
4可分離二次變換應(yīng)用于視頻塊的列。在一些實(shí)施例中，在視頻塊的寬度大于n，n為正整數(shù)的情況下，將8
×
8可分離二次變換應(yīng)用于視頻塊的行。在一些實(shí)施例中，在視頻塊的高度大于n，n為正整數(shù)的情況下，將8
×
8可分離二次變換應(yīng)用于視頻塊的列。在一些實(shí)施例中，在視頻塊的高度小于或等于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于視頻塊的最頂部的四行。在一些實(shí)施例中，在視頻塊的高度大于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于視頻塊的最頂部的八行。在一些實(shí)施例中，在視頻塊的寬度小于或等于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于視頻塊的最左邊的四列。在一些實(shí)施例中，在視頻塊的寬度大于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于視頻塊的最左邊的八列。在一些實(shí)施例中，n是4或8。
[0765]
在一些實(shí)施例中，8
×
8可分離二次變換的核心矩陣被定義為：
[0766]
圖34是根據(jù)本技術(shù)的用于視頻處理的方法3400的流程圖表示。方法3400包括，在操作3410，基于條件確定用于視頻的視頻塊的運(yùn)動(dòng)補(bǔ)償?shù)囊粋€(gè)或多個(gè)插值濾波器。方法3400包括，在操作3420，根據(jù)該確定執(zhí)行視頻的視頻塊與視頻的比特流之間的轉(zhuǎn)換。
[0767]
在一些實(shí)施例中，條件包括仿射預(yù)測是否應(yīng)用于視頻塊。在一些實(shí)施例中，條件包括交織預(yù)測是否應(yīng)用于視頻塊。在一些實(shí)施例中，條件包括仿射預(yù)測和雙向預(yù)測是否應(yīng)用于視頻塊。在一些實(shí)施例中，條件包括交織預(yù)測和雙向預(yù)測是否應(yīng)用于視頻塊。
[0768]
在一些實(shí)施例中，具有不同數(shù)量的濾波器系數(shù)的兩個(gè)插值濾波器是不同的。在一些實(shí)施例中，具有至少一個(gè)不同濾波器系數(shù)的兩個(gè)插值濾波器是不同的。在一些實(shí)施例中，在滿足條件的情況下，一個(gè)或多個(gè)插值濾波器包括以下中的至少一個(gè)：{0，0，0，64，0，0，0，0}，{0，1，-3，63，4，-2，1，0}，{0，2，-5，62，8，-3，0，0}，{0，3，-8，60，13，-4，0，0}，{0，4，-10，58，17，-5，0，0}，{0，3，-11，52，26，-8，2，0}，{0，2，-9，47，31，-10，3，0}，{0，3，-11，45，34，-10，3，0}，{0，3，-11，40，40，-11，3，0}，{0，3，-10，34，45，-11，3，0}，{0，3，-10，31，47，-9，2，0}，{0，2，-8，26，52，-11，3，0}，{0，0，-5，17，58，-10，4，0}，{0，0，-4，13，60，-8，3，0}，{0，0，-3，8，62，-5，2，0}，或{0，1，-2，4，63，-3，1，0}。
[0769]
在一些實(shí)施例中，在滿足條件的情況下，一個(gè)或多個(gè)插值濾波器包括以下中的至少一個(gè)：{0，0，0，64，0，0，0，0}，{0，1，-3，63，4，-1，0，0}，{0，2，-6，62，8，-3，1，0}，{0，2，-8，60，13，-5，2，0}，{0，2，-9，57，18，-6，2，0}，{0，3，-11，53，24，-8，3，0}，{0，3，-10，49，29，-9，2，0}，{0，3，-11，45，34，-10，3，0}，{0，3，-11，40，40，-11，3，0}，{0，3，-10，34，45，-11，3，0}，{0，2，-9，29，49，-10，3，0}，{0，3，-8，24，53，-11，3，0}，{0，2，-6，18，57，-9，2，0}，{0，2，-5，13，60，-8，2，0}，{0，1，-3，8，62，-6，2，0}或{0，0，-1，4，63，-3，1，0}。
[0770]
圖35是根據(jù)本技術(shù)的用于視頻處理的方法3500的流程圖表示。方法3500包括，在操作3510，根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。使用交織預(yù)測模式對(duì)視頻塊進(jìn)行編解碼，在該交織預(yù)測模式中使用第一樣式和第二樣式將視頻塊劃分為子塊，并且最終預(yù)測被確定為具有第一樣式和第二樣式的兩個(gè)輔助預(yù)測的加權(quán)和。該規(guī)則指定具有第一樣式和第二樣式的兩個(gè)輔助預(yù)測包括單預(yù)測和雙預(yù)測，其中第一樣式和第二樣式是不同的。
[0771]
在一些實(shí)施例中，用于單預(yù)測模式的第一樣式包括在視頻塊的左下角處具有2
×
2偏移的4
×
4子塊。在一些實(shí)施例中，用于單預(yù)測模式的第一樣式包括在視頻塊的左下角處具有4
×
4偏移的8
×
8子塊。
[0772]
在一些實(shí)施例中，用于加權(quán)和的兩個(gè)適用的加權(quán)值wa和wb滿足wa+wb＝2n，其中n
是大于1的正整數(shù)。在一些實(shí)施例中，第一權(quán)重w1與由第一樣式生成的第一預(yù)測樣點(diǎn)p1相關(guān)聯(lián)，第二權(quán)重w2與由第二樣式生成的第二預(yù)測樣點(diǎn)p2相關(guān)聯(lián)。在w1和w2相同，w1和w2為wa或wb的情況下，最終預(yù)測被計(jì)算為p＝(p1+p2)》》1或(p1+p2+1)》》1。在一些實(shí)施例中，第一權(quán)重w1與由第一樣式生成的第一預(yù)測樣點(diǎn)p1相關(guān)聯(lián)，第二權(quán)重w2與由第二樣式生成的第二預(yù)測樣點(diǎn)p2相關(guān)聯(lián)。在w1和w2不同，其中偏移等于1《《(n-1)或0的情況下，最終預(yù)測被計(jì)算為p＝(w1
×
p1+w1
×
p2+偏移)》》n。
[0773]
在一些實(shí)施例中，8
×
8子塊的加權(quán)值由如下矩陣示出：
[0774]
wbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwb
[0775]
在一些實(shí)施例中，8
×
4子塊的加權(quán)值由如下矩陣示出：
[0776]
wbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwb
[0777]
在一些實(shí)施例中，4
×
8子塊的加權(quán)值由如下矩陣示出：
[0778]
wbwbwbwbwbwbwbwbwawawawawawawawawawawawawawawawawbwbwbwbwbwbwbwb
[0779]
在一些實(shí)施例中，4
×
4子塊的加權(quán)值由如下矩陣示出：
[0780]
wawawawawawawawawawawawawawawawa
[0781]
在一些實(shí)施例中，轉(zhuǎn)換包括將視頻編碼為比特流。在一些實(shí)施例中，轉(zhuǎn)換包括解碼比特流以生成視頻。
[0782]
所公開的技術(shù)的一些實(shí)施例包括做出決定或確定以啟用視頻處理工具或模式。在一個(gè)示例中，當(dāng)啟用視頻處理工具或模式時(shí)，編碼器將在視頻塊的處理中使用或?qū)嵤┰摴?br/>具或模式，但可能不一定基于該工具或模式的使用來修改所得到的比特流。也就是說，當(dāng)基于決定或確定啟用視頻處理工具或模式時(shí)，從視頻塊到視頻的比特流表示的轉(zhuǎn)換將使用視頻處理工具或模式。在另一示例中，當(dāng)啟用視頻處理工具或模式時(shí)，解碼器將在知道比特流已經(jīng)基于視頻處理工具或模式被修改的情況下處理比特流。也就是說，將使用基于決定或確定而啟用的視頻處理工具或模式來執(zhí)行從視頻的比特流表示到視頻塊的轉(zhuǎn)換。
[0783]
所公開的技術(shù)的一些實(shí)施例包括作出決定或確定以禁用視頻處理工具或模式。在一個(gè)示例中，當(dāng)禁用視頻處理工具或模式時(shí)，編碼器在視頻塊到視頻的比特流表示的轉(zhuǎn)換中將不使用該工具或模式。在另一示例中，當(dāng)禁用視頻處理工具或模式時(shí)，解碼器將在知道比特流尚未使用基于決定或確定而啟用的視頻處理工具或模式被修改的情況下處理比特流。
[0784]
在本文檔中，術(shù)語“視頻處理”可指視頻編碼、視頻解碼、視頻壓縮或視頻解壓縮。例如，視頻壓縮算法可以在從視頻的像素表示轉(zhuǎn)換為相應(yīng)的比特流表示期間應(yīng)用，反之亦然。例如，當(dāng)前視頻塊的比特流表示可以對(duì)應(yīng)于如語法所定義的，在比特流內(nèi)位于同一位置或分散在不同位置的比特。例如，宏塊可以根據(jù)變換和編解碼的錯(cuò)誤殘值進(jìn)行編碼，并且還可以使用報(bào)頭中的比特和比特流中的其他字段。
[0785]
本文檔中描述的公開和其他解決方案、示例、實(shí)施例、模塊和功能操作可在數(shù)字電子電路中或在計(jì)算機(jī)軟件、固件或硬件(包括本文檔中公開的結(jié)構(gòu)及其結(jié)構(gòu)等效物，或以它們中的一種或多種的組合)中實(shí)施。所公開的實(shí)施例和其他實(shí)施例可以實(shí)施為一個(gè)或多個(gè)計(jì)算機(jī)程序產(chǎn)品，例如，編碼在計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)程序指令的一個(gè)或多個(gè)模塊，用于由數(shù)據(jù)處理裝置執(zhí)行或控制其操作。計(jì)算機(jī)可讀介質(zhì)可以是機(jī)器可讀存儲(chǔ)設(shè)備、機(jī)器可讀存儲(chǔ)基板、存儲(chǔ)設(shè)備、影響機(jī)器可讀傳播信號(hào)的物質(zhì)的組合物，或者它們中的一個(gè)或多個(gè)的組合。術(shù)語“數(shù)據(jù)處理裝置”包括用于處理數(shù)據(jù)的所有裝置、設(shè)備和機(jī)器，例如包括可編程處理器、計(jì)算機(jī)或多個(gè)處理器或計(jì)算機(jī)。除了硬件之外，裝置還可以包括為所討論的計(jì)算機(jī)程序創(chuàng)建執(zhí)行環(huán)境的代碼，例如，構(gòu)成處理器固件、協(xié)議棧、數(shù)據(jù)庫管理系統(tǒng)、操作系統(tǒng)或它們中的一個(gè)或多個(gè)的組合的代碼。傳播信號(hào)是人為生成的信號(hào)，例如，機(jī)器生成的電、光或電磁信號(hào)，其生成用于編碼信息以傳輸?shù)胶线m的接收器裝置。
[0786]
計(jì)算機(jī)程序(也稱為程序、軟件、軟件應(yīng)用程序、腳本或代碼)可以用任何形式的編程語言編寫，包括編譯或解釋語言，并且可以以任何形式部署，包括作為獨(dú)立程序或作為模塊、組件、子例程，或其他適合在計(jì)算環(huán)境中使用的單元。計(jì)算機(jī)程序不一定與文件系統(tǒng)中的文件相對(duì)應(yīng)。程序可以存儲(chǔ)在保存其他程序或數(shù)據(jù)(例如，標(biāo)記語言文檔中存儲(chǔ)的一個(gè)或多個(gè)腳本)的文件的一部分、專用于所討論的程序的單個(gè)文件或多個(gè)協(xié)調(diào)文件(例如，存儲(chǔ)一個(gè)或多個(gè)模塊、子程序或部分代碼的文件)中。計(jì)算機(jī)程序可以部署在一臺(tái)計(jì)算機(jī)上執(zhí)行或者部署在位于一個(gè)站點(diǎn)或分布在多個(gè)站點(diǎn)并通過通信網(wǎng)絡(luò)互連的多臺(tái)計(jì)算機(jī)上執(zhí)行。
[0787]
本文檔中描述的過程和邏輯流可由一個(gè)或多個(gè)可編程處理器執(zhí)行，該處理器執(zhí)行一個(gè)或多個(gè)計(jì)算機(jī)程序，通過操作輸入數(shù)據(jù)和生成輸出來執(zhí)行功能。處理和邏輯流還可以由專用邏輯電路執(zhí)行，并且裝置也可以實(shí)現(xiàn)為專用邏輯電路，例如fpga(現(xiàn)場可編程門陣列)或asic(專用集成電路)。
[0788]
例如，適于執(zhí)行計(jì)算機(jī)程序的處理器包括通用和專用微處理器，以及任何類型的數(shù)字計(jì)算機(jī)的任何一個(gè)或多個(gè)處理器。通常，處理器將從只讀存儲(chǔ)器或隨機(jī)存取存儲(chǔ)器或
兩者接收指令和數(shù)據(jù)。計(jì)算機(jī)的基本元件是執(zhí)行指令的處理器和存儲(chǔ)指令和數(shù)據(jù)的一個(gè)或多個(gè)存儲(chǔ)設(shè)備。通常，計(jì)算機(jī)還將包括或操作地耦合以從用于存儲(chǔ)數(shù)據(jù)的一個(gè)或多個(gè)大容量存儲(chǔ)設(shè)備(例如，磁盤、磁光盤或光盤)接收數(shù)據(jù)或向其傳輸數(shù)據(jù)或兩者。然而，計(jì)算機(jī)不需要具有這樣的設(shè)備。適于存儲(chǔ)計(jì)算機(jī)程序指令和數(shù)據(jù)的計(jì)算機(jī)可讀介質(zhì)包括所有形式的非易失性存儲(chǔ)器、介質(zhì)和存儲(chǔ)器設(shè)備，包括例如半導(dǎo)體存儲(chǔ)器設(shè)備，例如eprom、eeprom和閃存設(shè)備；磁盤，例如內(nèi)部硬盤或可移動(dòng)盤；磁光盤；以及cd-rom及dvd-rom盤。處理器和存儲(chǔ)器可由專用邏輯電路補(bǔ)充或并入專用邏輯電路中。
[0789]
盡管本專利文檔包含許多細(xì)節(jié)，但這些細(xì)節(jié)不應(yīng)被解釋為對(duì)任何主題或可能要求保護(hù)的內(nèi)容的范圍的限制，而是對(duì)可能特定于特定技術(shù)的特定實(shí)施例的特征的描述。本專利文檔中在單獨(dú)實(shí)施例的上下文中描述的某些特征也可以在單個(gè)實(shí)施例中組合實(shí)施。相反，在單個(gè)實(shí)施例的上下文中描述的各種特征也可以單獨(dú)地或以任何合適的子組合在多個(gè)實(shí)施例中實(shí)施。此外，盡管上述特征可以被描述為在某些組合中起作用，甚至最初被聲稱為這樣，但在一些情況下，可以從組合中刪除來自所聲稱的組合的一個(gè)或多個(gè)特征，并且所聲稱的組合可以被定向到子組合或子組合的變體。
[0790]
類似地，雖然在附圖中以特定順序描述操作，但這不應(yīng)理解為要求以所示的特定順序或順序執(zhí)行此類操作，或要求執(zhí)行所有圖示操作以實(shí)現(xiàn)期望結(jié)果。此外，本專利文檔中描述的實(shí)施例中的各種系統(tǒng)組件的分離不應(yīng)理解為在所有實(shí)施例中都需要這種分離。
[0791]
僅描述了一些實(shí)施方式和示例，并且可以基于本專利文檔中描述和說明的內(nèi)容來進(jìn)行其他實(shí)施方式、增強(qiáng)和變化。
技術(shù)特征：
1.一種視頻處理方法，包括：根據(jù)規(guī)則執(zhí)行視頻的視頻塊和所述視頻的比特流之間的轉(zhuǎn)換，其中所述規(guī)則指定是否或如何在所述比特流中指示視頻單元內(nèi)的二次變換的使用，其中在量化之前或在反量化之后應(yīng)用所述二次變換。2.根據(jù)權(quán)利要求1所述的方法，其中在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用所述二次變換。3.根據(jù)權(quán)利要求1所述的方法，其中所述視頻單元包括所述視頻的視頻圖片。4.根據(jù)權(quán)利要求1所述的方法，其中所述視頻單元包括所述視頻的視頻序列。5.根據(jù)權(quán)利要求1所述的方法，其中所述二次變換包括增強(qiáng)的二次變換。6.根據(jù)權(quán)利要求1至5中任一項(xiàng)所述的方法，其中所述二次變換的所述使用的隱式或顯式指示基于所述視頻塊的編解碼模式。7.根據(jù)權(quán)利要求6所述的方法，其中以幀內(nèi)編解碼模式對(duì)所述視頻塊進(jìn)行編解碼，并且其中在不使用衍生的樹塊劃分或脈沖編解碼調(diào)制(pcm)編解碼工具對(duì)所述視頻塊進(jìn)行編解碼的情況下，在所述比特流中顯式地指示所述二次變換的所述使用。8.根據(jù)權(quán)利要求7所述的方法，其中語法元素用于顯式地指示所述二次變換的所述使用。9.根據(jù)權(quán)利要求6所述的方法，其中以幀內(nèi)編解碼模式對(duì)所述視頻塊進(jìn)行編解碼，并且其中在使用衍生的樹塊劃分對(duì)所述視頻塊進(jìn)行編解碼的情況下，在所述比特流中隱式地指示所述二次變換的所述使用。10.根據(jù)權(quán)利要求9所述的方法，其中總是在所述視頻單元內(nèi)應(yīng)用所述二次變換。11.根據(jù)權(quán)利要求6所述的方法，其中以幀內(nèi)編解碼模式對(duì)所述視頻塊進(jìn)行編解碼，并且其中在使用脈沖編解碼調(diào)制(pcm)編解碼工具對(duì)所述視頻塊進(jìn)行編解碼的情況下，在所述比特流中隱式地指示所述二次變換的所述使用。12.根據(jù)權(quán)利要求11所述的方法，其中在所述視頻單元內(nèi)總是排除所述二次變換。13.根據(jù)權(quán)利要求1至12中任一項(xiàng)所述的方法，其中使用一個(gè)或多個(gè)隱式方法來隱式指示所述二次變換的所述使用。14.根據(jù)權(quán)利要求13所述的方法，其中所述一個(gè)或多個(gè)隱式方法的確定基于所述視頻塊的編解碼信息。15.根據(jù)權(quán)利要求14所述的方法，其中以幀內(nèi)編解碼模式對(duì)所述視頻塊進(jìn)行編解碼，并且其中在不使用衍生的樹塊劃分或脈沖編解碼調(diào)制(pcm)編解碼工具對(duì)所述視頻塊進(jìn)行編解碼的情況下，基于適用的變換系數(shù)來確定所述一個(gè)或多個(gè)隱式方法。16.根據(jù)權(quán)利要求15所述的方法，其中基于所述視頻塊中奇數(shù)變換系數(shù)的奇偶性和/或偶數(shù)系數(shù)的奇偶性來指示所述二次變換的所述使用。17.一種視頻處理方法，包括：根據(jù)規(guī)則執(zhí)行視頻的視頻塊和所述視頻的比特流之間的轉(zhuǎn)換，其中所述規(guī)則指定基于與所述視頻塊相關(guān)聯(lián)的語法元素來確定所述視頻塊中的可分離二次變換的使用，其中在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用所述可分離二次變換。18.根據(jù)權(quán)利要求17所述的方法，其中在所述語法元素的值為1的情況下，將所述可分
離二次變換應(yīng)用于所述視頻塊。19.根據(jù)權(quán)利要求17所述的方法，其中在所述語法元素的值為1的情況下，在所述視頻塊中禁用所述可分離二次變換。20.根據(jù)權(quán)利要求17至19中任一項(xiàng)所述的方法，其中基于所述視頻塊的編解碼信息來調(diào)節(jié)所述語法元素的指示。21.根據(jù)權(quán)利要求20所述的方法，其中在所述視頻塊是亮度塊的情況下指示所述語法元素。22.根據(jù)權(quán)利要求20所述的方法，其中在所述視頻塊中使用衍生的樹塊劃分的情況下，在所述比特流中省略所述語法元素。23.根據(jù)權(quán)利要求20所述的方法，其中在主變換不是離散余弦變換類型-ii(dct-2)的情況下，在所述比特流中省略所述語法元素。24.根據(jù)權(quán)利要求17至23中任一項(xiàng)所述的方法，其中在所述比特流中省略所述語法元素的情況下，所述語法元素的默認(rèn)值被推斷為0。25.一種視頻處理方法，包括：根據(jù)規(guī)則執(zhí)行視頻的視頻塊和所述視頻的比特流之間的轉(zhuǎn)換，其中所述規(guī)則指定從要應(yīng)用于所述視頻塊的多個(gè)可分離二次變換中選擇二次變換，其中所述二次變換應(yīng)用于所述視頻塊的行或所述視頻塊的列。26.根據(jù)權(quán)利要求25所述的方法，其中在所述比特流中指示所述二次變換的選擇。27.根據(jù)權(quán)利要求25所述的方法，其中基于所述視頻塊的編解碼信息導(dǎo)出所述二次變換的選擇。28.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的寬度小于或等于n，n為正整數(shù)的情況下，將4
×
4可分離二次變換應(yīng)用于所述視頻塊的行。29.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的高度小于或等于n，n為正整數(shù)的情況下，將4
×
4可分離二次變換應(yīng)用于所述視頻塊的列。30.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的寬度大于n，n為正整數(shù)的情況下，將8
×
8可分離二次變換應(yīng)用于所述視頻塊的行。31.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的高度大于n，n為正整數(shù)的情況下，將8
×
8可分離二次變換應(yīng)用于所述視頻塊的列。32.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的高度小于或等于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于所述視頻塊的最頂部的四行。33.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的高度大于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于所述視頻塊的最頂部的八行。34.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的寬度小于或等于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于所述視頻塊的最左邊的四列。35.根據(jù)權(quán)利要求27所述的方法，其中在所述視頻塊的寬度大于n，n為正整數(shù)的情況下，將4
×
4或8
×
8可分離二次變換應(yīng)用于所述視頻塊的最左邊的八列。36.根據(jù)權(quán)利要求25至32中任一項(xiàng)所述的方法，其中n為4或8。37.根據(jù)權(quán)利要求17至36中任一項(xiàng)所述的方法，其中8
×
8可分離二次變換的核心矩陣被定義為：
38.一種視頻處理方法，包括：基于條件確定用于視頻的視頻塊的運(yùn)動(dòng)補(bǔ)償?shù)囊粋€(gè)或多個(gè)插值濾波器；以及根據(jù)所述確定執(zhí)行所述視頻的所述視頻塊和所述視頻的比特流之間的轉(zhuǎn)換。39.根據(jù)權(quán)利要求38所述的方法，其中所述條件包括仿射預(yù)測是否應(yīng)用于所述視頻塊。40.根據(jù)權(quán)利要求38所述的方法，其中所述條件包括交織預(yù)測是否應(yīng)用于所述視頻塊。41.根據(jù)權(quán)利要求38所述的方法，其中所述條件包括仿射預(yù)測和雙向預(yù)測是否應(yīng)用于所述視頻塊。42.根據(jù)權(quán)利要求38所述的方法，其中所述條件包括交織預(yù)測和雙向預(yù)測是否應(yīng)用于所述視頻塊。43.根據(jù)權(quán)利要求38至42中任一項(xiàng)所述的方法，其中具有不同數(shù)量的濾波器系數(shù)的兩個(gè)插值濾波器是不同的。44.根據(jù)權(quán)利要求38至42中任一項(xiàng)所述的方法，其中具有至少一個(gè)不同濾波器系數(shù)的兩個(gè)插值濾波器是不同的。45.根據(jù)權(quán)利要求38至44中任一項(xiàng)所述的方法，其中，在滿足所述條件的情況下，所述一個(gè)或多個(gè)插值濾波器包括以下中的至少一個(gè)：{0，0，0，64，0，0，0，0}，{0，1，-3，63，4，-2，1，0}，{0，2，-5，62，8，-3，0，0}，{0，3，-8，60，13，-4，0，0}，{0，4，-10，58，17，-5，0，0}，{0，3，-11，52，26，-8，2，0}，{0，2，-9，47，31，-10，3，0}，{0，3，-11，45，34，-10，3，0}，{0，3，-11，40，40，-11，3，0}，{0，3，-10，34，45，-11，3，0}，{0，3，-10，31，47，-9，2，0}，{0，2，-8，26，52，-11，3，0}，{0，0，-5，17，58，-10，4，0}，{0，0，-4，13，60，-8，3，0}，{0，0，-3，8，62，-5，2，0}，或
{0，1，-2，4，63，-3，1，0}。46.根據(jù)權(quán)利要求38至45中任一項(xiàng)所述的方法，其中，在滿足所述條件的情況下，所述一個(gè)或多個(gè)插值濾波器包括以下中的至少一個(gè)：{0，0，0，64，0，0，0，0}，{0，1，-3，63，4，-1，0，0}，{0，2，-6，62，8，-3，1，0}，{0，2，-8，60，13，-5，2，0}，{0，2，-9，57，18，-6，2，0}，{0，3，-11，53，24，-8，3，0}，{0，3，-10，49，29，-9，2，0}，{0，3，-11，45，34，-10，3，0}，{0，3，-11，40，40，-11，3，0}，{0，3，-10，34，45，-11，3，0}，{0，2，-9，29，49，-10，3，0}，{0，3，-8，24，53，-11，3，0}，{0，2，-6，18，57，-9，2，0}，{0，2，-5，13，60，-8，2，0}，{0，1，-3，8，62，-6，2，0}，或{0，0，-1，4，63，-3，1，0}。47.一種視頻處理方法，包括：根據(jù)規(guī)則執(zhí)行視頻的視頻塊和所述視頻的比特流之間的轉(zhuǎn)換，其中使用交織預(yù)測模式對(duì)所述視頻塊進(jìn)行編解碼，在所述交織預(yù)測模式中使用第一樣式和第二樣式將所述視頻塊劃分為子塊，并且最終預(yù)測被確定為具有所述第一樣式和所述第二樣式的兩個(gè)輔助預(yù)測的加權(quán)和，并且其中所述規(guī)則規(guī)定具有所述第一樣式和所述第二樣式的所述兩個(gè)輔助預(yù)測包括單預(yù)測和雙預(yù)測，其中所述第一樣式和所述第二樣式是不同的。48.根據(jù)權(quán)利要求47所述的方法，其中用于所述單預(yù)測模式的所述第一樣式包括在所述視頻塊的左下角處具有2
×
2偏移的4
×
4子塊。49.根據(jù)權(quán)利要求47所述的方法，其中用于所述單預(yù)測模式的所述第一樣式包括在所述視頻塊的左下角處具有4
×
4偏移的8
×
8子塊。50.根據(jù)權(quán)利要求47至49中任一項(xiàng)所述的方法，其中用于所述加權(quán)和的兩個(gè)適用的加權(quán)值wa和wb滿足wa+wb＝2n，其中n是大于1的正整數(shù)。51.根據(jù)權(quán)利要求50所述的方法，其中第一權(quán)重w1與由所述第一樣式生成的第一預(yù)測樣點(diǎn)p1相關(guān)聯(lián)，第二權(quán)重w2與由所述第二樣式生成的第二預(yù)測樣點(diǎn)p2相關(guān)聯(lián)，并且其中在w1和w2相同，w1和w2是wa或wb的情況下，所述最終預(yù)測被計(jì)算為p＝(p1+p2)>>1或(p1+p2+1)>>1。52.根據(jù)權(quán)利要求50所述的方法，其中第一權(quán)重w1與由所述第一樣式生成的第一預(yù)測樣點(diǎn)p1相關(guān)聯(lián)，第二權(quán)重w2與由所述第二樣式生成的第二預(yù)測樣點(diǎn)p2相關(guān)聯(lián)，并且其中在w1和w2不同的情況下，所述最終預(yù)測被計(jì)算為(w1
×
p1+w1
×
p2+偏移)>>n，其中偏移等于1<
<(n-1)或0。53.根據(jù)權(quán)利要求50至52中任一項(xiàng)所述的方法，其中8
×
8子塊的加權(quán)值由如下矩陣示出：wbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwawa|wawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwbwb。54.根據(jù)權(quán)利要求50至52中任一項(xiàng)所述的方法，其中8
×
4子塊的加權(quán)值由如下矩陣示出：wbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwbwbwbwawawawawbwb。55.根據(jù)權(quán)利要求50至52中任一項(xiàng)所述的方法，其中4
×
8子塊的加權(quán)值由如下矩陣示出：wbwbwbwbwbwbwbwbwawawawawawawawawawawawawawawawawbwbwbwbwbwbwbwb。56.根據(jù)權(quán)利要求50至52中任一項(xiàng)所述的方法，其中4
×
4子塊的加權(quán)值由如下矩陣示出：wawawawawawawawawawawawawawawawa。57.根據(jù)權(quán)利要求1至56中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括將所述視頻編碼為所述比特流。
58.根據(jù)權(quán)利要求1至56中任一項(xiàng)所述的方法，其中所述轉(zhuǎn)換包括解碼所述比特流以生成所述視頻。59.一種用于存儲(chǔ)視頻的比特流的方法，包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定是否或如何在所述比特流中指示視頻單元內(nèi)的二次變換的使用，其中在量化之前或在反量化之后應(yīng)用所述二次變換。60.一種用于存儲(chǔ)視頻的比特流的方法，包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定基于與所述視頻塊相關(guān)聯(lián)的語法元素來確定所述視頻塊中的可分離二次變換的使用，其中在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用所述可分離二次變換。61.一種用于存儲(chǔ)視頻的比特流的方法，包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定從要應(yīng)用于所述視頻塊的多個(gè)可分離二次變換中選擇二次變換，其中所述二次變換應(yīng)用于所述視頻塊的行或所述視頻塊的列。62.一種用于存儲(chǔ)視頻的比特流的方法，包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定基于條件確定用于所述視頻塊的運(yùn)動(dòng)補(bǔ)償?shù)囊粋€(gè)或多個(gè)插值濾波器。63.一種用于存儲(chǔ)視頻的比特流的方法，包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中使用交織預(yù)測模式對(duì)所述視頻塊進(jìn)行編解碼，在所述交織預(yù)測模式中使用第一樣式和第二樣式將所述視頻塊劃分為子塊，并且最終預(yù)測被確定為具有所述第一樣式和所述第二樣式的兩個(gè)輔助預(yù)測的加權(quán)和，并且其中所述規(guī)則規(guī)定具有所述第一樣式和所述第二樣式的所述兩個(gè)輔助預(yù)測包括單預(yù)測和雙預(yù)測，其中所述第一樣式和所述第二樣式是不同的。64.一種視頻解碼裝置，包括處理器，所述處理器被配置為實(shí)施權(quán)利要求1到63中任一項(xiàng)所述的方法。65.一種視頻編碼裝置，包括處理器，所述處理器被配置為實(shí)施權(quán)利要求1到63中任一項(xiàng)所述的方法。66.一種計(jì)算機(jī)程序產(chǎn)品，其上存儲(chǔ)有計(jì)算機(jī)代碼，所述代碼在由處理器執(zhí)行時(shí)，使得所述處理器實(shí)施權(quán)利要求1至63中任一項(xiàng)所述的方法。67.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)由視頻處理裝置執(zhí)行的方法生成的視頻的比特流，其中所述方法包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定是否或如何在所述比特流中指示視頻單元內(nèi)的二次變換的使用，其中在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用所述二次變換。68.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)由視頻處理裝置執(zhí)行的方法生成的視頻的比特流，其中所述方法包括：
根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定基于與所述視頻塊相關(guān)聯(lián)的語法元素來確定所述視頻塊中的可分離二次變換的使用，其中在前向主變換和量化之間或在反量化和反向主變換之間應(yīng)用所述可分離二次變換。69.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)由視頻處理裝置執(zhí)行的方法生成的視頻的比特流，其中所述方法包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定從要應(yīng)用于所述視頻塊的多個(gè)可分離二次變換中選擇二次變換，其中所述二次變換應(yīng)用于所述視頻塊的行或所述視頻塊的列。70.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)由視頻處理裝置執(zhí)行的方法生成的視頻的比特流，其中所述方法包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中所述規(guī)則指定基于條件確定用于所述視頻塊的運(yùn)動(dòng)補(bǔ)償?shù)囊粋€(gè)或多個(gè)插值濾波器。71.一種非暫時(shí)性計(jì)算機(jī)可讀記錄介質(zhì)，存儲(chǔ)由視頻處理裝置執(zhí)行的方法生成的視頻的比特流，其中所述方法包括：根據(jù)規(guī)則從所述視頻的視頻塊生成所述視頻的比特流，其中使用交織預(yù)測模式對(duì)所述視頻塊進(jìn)行編解碼，在所述交織預(yù)測模式中使用第一樣式和第二樣式將所述視頻塊劃分為子塊，并且最終預(yù)測被確定為具有所述第一樣式和所述第二樣式的兩個(gè)輔助預(yù)測的加權(quán)和，并且其中所述規(guī)則規(guī)定具有所述第一樣式和所述第二樣式的所述兩個(gè)輔助預(yù)測包括單預(yù)測和雙預(yù)測，其中所述第一樣式和所述第二樣式是不同的。
技術(shù)總結(jié)
一種視頻處理方法，包括根據(jù)規(guī)則執(zhí)行視頻的視頻塊和視頻的比特流之間的轉(zhuǎn)換。該規(guī)則指定是否或如何在比特流中指示視頻單元內(nèi)的二次變換的使用。在量化之前或反量化之后應(yīng)用二次變換。次變換。次變換。
