將雙耳信號轉換為立體聲音頻信號的制作方法
1.本技術涉及用于將雙耳信號轉換為立體聲音頻信號的裝置和方法，但非排他地涉及用于在空間音頻信號環境內進行轉換的裝置和方法。
背景技術：
2.聲音方向的人類感知是基于雙耳線索，其包括耳間時間差(itd)、耳間水平差(ild)、以及頻譜線索。通常使用幅度平移(例如，如ville pulkki在“使用向量基幅度平移的虛擬聲源定位(virtual sound source positioning using vector base amplitude panning)”(音頻工程學會期刊，1997年)中討論的vbap)來產生用于揚聲器再現的立體聲信號，當用立體聲揚聲器再現幅度平移的聲音并由人類收聽者收聽時，幅度平移轉變為這些線索。
3.相應地，聲音的空間感和包圍感的人類感知是基于與耳間相干性(ic)相關的雙耳線索。立體聲信號通常以如下一種方式(例如，使用混響器)產生：當由立體聲揚聲器再現立體聲信號時，在人耳處產生生成寬度或空間感等的感知的ic線索。
4.另一方面，雙耳信號意味著由耳機來再現。因此，雙耳線索(包括itd、ild、ic、以及頻譜線索)需要在音頻信號本身中是固有的。這可以例如通過用麥克風在真實人類或人造頭部的耳道入口處記錄空間聲音來實現。還可以例如通過向多通道揚聲器混音應用合適的頭部相關傳遞函數(hrtf)和混響器來合成地生成雙耳聲音。當用耳機再現(可能在耳機校正之后)這種雙耳記錄(或一般地，雙耳音頻)時，空間聲音的真實感知被實現。
5.沉浸式音頻編解碼器正被實現，以支持范圍從低比特率操作到透明性的大量操作點。這種編解碼器的示例是沉浸式語音和音頻服務(ivas)編解碼器，其被設計為適合于在諸如3gpp 4g/5g網絡之類的通信網絡上使用，包括在諸如例如用于虛擬現實(vr)的沉浸式語音和音頻之類的沉浸式服務中使用。
6.輸入信號可以以多種所支持的格式之一(以及以一些被允許的格式組合)被呈現給ivas編碼器。
7.已經建議ivas使用雙耳信號作為輸入并具有常規的立體聲音頻輸出。
8.由于立體聲音頻信號更適合揚聲器回放，因此需要用于將雙耳信號有效地轉換為常規的立體聲音頻信號的裝置和方法。
技術實現要素：
9.根據第一方面，提供了一種裝置，其包括被配置為執行以下操作的部件：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
10.雙耳音頻信號的至少一個頻帶的通道間差異可以包括以下中的至少一個：雙耳音
頻信號的通道的至少一個能量/幅度差；雙耳音頻信號的通道的至少一個相位差；以及雙耳音頻信號的通道的至少一個時間差。
11.被配置為對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的部件可以被配置為：進一步基于至少一個頻帶的至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整。
12.被配置為基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的部件可以被配置為：針對雙耳音頻信號的至少一個頻帶，生成協方差矩陣的至少一部分的估計；針對雙耳音頻信號的至少一個頻帶，生成能量估計；針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分；生成用于混合雙耳音頻信號的至少一個頻帶的混合矩陣；以及基于混合矩陣，從雙耳音頻信號的至少一個頻帶的通道組合生成左通道音頻信號和右通道音頻信號。
13.用于揚聲器再現的至少兩個音頻信號可以包括左通道音頻信號和右通道音頻信號。
14.被配置為基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的部件可以進一步被配置為：針對至少一個頻帶，基于雙耳音頻信號，生成去相關音頻信號；針對去相關音頻信號，生成另一混合矩陣；基于另一混合矩陣，從去相關音頻信號的至少一個頻帶的通道組合生成另一左通道音頻信號和另一右通道音頻信號；組合左通道音頻信號和另一左通道音頻信號以生成組合左通道；以及組合右通道音頻信號和另一右通道音頻信號以生成組合右通道，并且其中，用于揚聲器再現的至少兩個音頻信號包括組合左通道音頻信號和組合右通道音頻信號。
15.被配置為進一步基于至少一個頻帶的至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整的部件可以被配置為：基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計；以及從經處理的至少一個頻帶對所確定的雙耳響應和/或長期響應估計進行補償。
16.雙耳響應和/或長期響應可以包括以下中的至少一個：至少一個能量/幅度；雙耳音頻信號的通道的至少一個相關性；雙耳音頻信號的通道的至少一個相位差；雙耳音頻信號的通道的至少一個時間差。
17.雙耳響應和/或長期響應可以包括雙耳音頻信號的頻譜，并且其中，被配置為從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的部件可以被配置為：基于所估計的方向參數和與至少一個方向參數對應的平均頭部相關傳遞函數，獲得濾波器和/或增益；以及對經處理的至少一個頻帶應用濾波器和/或增益。
18.被配置為基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計的部件可以被配置為：通過比較雙耳信號的平均頻譜與預定hrtf數據集來生成長期均衡濾波器，并且其中，被配置為從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的部件可以被配置為：對經處理的至少一個頻帶應用長期均衡濾波器。
19.被配置為基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數的部件可以被配置為：分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少
一個方向參數。
20.被配置為分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少一個方向參數的部件可以進一步被配置為：針對至少一個頻帶，估計延遲，該延遲使雙耳音頻信號的通道之間的相關性最大化；以及基于所估計的延遲，制定方向參數。
21.上述部件可以進一步被配置為：針對雙耳音頻信號的至少一個頻帶，基于雙耳音頻信號的通道之間的所測量的歸一化相關性，獲得直接對總能量比(direct-to-total energy ratio)值。
22.被配置為針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分的部件可以進一步被配置為：針對雙耳音頻信號的至少一個頻帶，進一步基于至少一個頻帶的直接對總能量比值，生成目標協方差矩陣的至少一部分。
23.被配置為基于至少一個頻帶的至少一個方向參數，確定雙耳響應和/或長期響應估計的部件可以被配置為：基于至少一個頻帶的直接對總能量比值，確定雙耳響應和/或長期響應估計。
24.被配置為獲得雙耳音頻信號的部件可以被配置為執行以下中的一個：用仿真頭捕獲雙耳音頻信號；在用戶的耳道入口處捕獲雙耳音頻信號；根據頭部相關傳遞函數來渲染雙耳音頻信號；以及使用雙耳房間脈沖響應來渲染雙耳音頻信號。
25.被配置為輸出用于揚聲器再現的至少兩個音頻信號的部件可以被配置為：將用于揚聲器再現的至少兩個音頻信號輸出到立體聲揚聲器。
26.根據第二方面，提供一種方法，其包括：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
27.雙耳音頻信號的至少一個頻帶的通道間差異可以包括以下中的至少一個：雙耳音頻信號的通道的至少一個能量/幅度差；雙耳音頻信號的通道的至少一個相位差；以及雙耳音頻信號的通道的至少一個時間差。
28.對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號可以包括：進一步基于至少一個頻帶的至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整。
29.基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號可以包括：針對雙耳音頻信號的至少一個頻帶，生成協方差矩陣的至少一部分的估計；針對雙耳音頻信號的至少一個頻帶，生成能量估計；針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分；生成用于混合雙耳音頻信號的至少一個頻帶的混合矩陣；以及基于混合矩陣，從雙耳音頻信號的至少一個頻帶的通道組合生成左通道音頻信號和右通道音頻信號。
30.用于揚聲器再現的至少兩個音頻信號可以包括左通道音頻信號和右通道音頻信號。
31.基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號可以包括：針對至少一個頻帶，基于雙耳音頻信號，生成去相關音頻信號；針對去相關音頻信號，生成另一混合矩陣；基于另一混合矩陣，從去相關音頻信號的至少一個頻帶的通道組合生成另一左通道音頻信號和另一右通道音頻信號；組合左通道音頻信號和另一左通道音頻信號以生成組合左通道；以及組合右通道音頻信號和另一右通道音頻信號以生成組合右通道，并且其中，用于揚聲器再現的至少兩個音頻信號包括組合左通道音頻信號和組合右通道音頻信號。
32.進一步基于至少一個頻帶的至少一個方向參數，對經處理的至少一個頻帶應用頻譜調整可以包括：基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計；以及從經處理的至少一個頻帶對所確定的雙耳響應和/或長期響應估計進行補償。
33.雙耳響應和/或長期響應可以包括以下中的至少一個：至少一個能量/幅度；雙耳音頻信號的通道的至少一個相關性；雙耳音頻信號的通道的至少一個相位差；雙耳音頻信號的通道的至少一個時間差。
34.雙耳響應和/或長期響應可以包括雙耳音頻信號的頻譜，并且其中，從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計可以包括：基于所估計的方向參數和與至少一個方向參數對應的平均頭部相關傳遞函數，獲得濾波器和/或增益；以及對經處理的至少一個頻帶應用濾波器和/或增益。
35.基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計可以包括：通過比較雙耳信號的平均頻譜與預定hrtf數據集來生成長期均衡濾波器，并且其中，從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計可以包括：對經處理的至少一個頻帶應用長期均衡濾波器。
36.基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數可以包括：分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少一個方向參數。
37.分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少一個方向參數可以包括：針對至少一個頻帶，估計延遲，該延遲使雙耳音頻信號的通道之間的相關性最大化；以及基于所估計的延遲，制定方向參數。
38.該方法可以進一步包括：針對雙耳音頻信號的至少一個頻帶，基于雙耳音頻信號的通道之間的所測量的歸一化相關性，獲得直接對總能量比值。
39.針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分可以進一步包括：針對雙耳音頻信號的至少一個頻帶，進一步基于至少一個頻帶的直接對總能量比值，生成目標協方差矩陣的至少一部分。
40.基于至少一個頻帶的至少一個方向參數，確定雙耳響應和/或長期響應估計可以包括：基于至少一個頻帶的直接對總能量比值，確定雙耳響應和/或長期響應估計。
41.獲得雙耳音頻信號可以包括執行以下中的一個：用仿真頭捕獲雙耳音頻信號；在用戶的耳道入口處捕獲雙耳音頻信號；根據頭部相關傳遞函數來渲染雙耳音頻信號；以及使用雙耳房間脈沖響應來渲染雙耳音頻信號。
42.輸出用于揚聲器再現的至少兩個音頻信號可以包括：將用于揚聲器再現的至少兩個音頻信號輸出到立體聲揚聲器。
43.根據第三方面，提供了一種裝置，其包括至少一個處理器和包括計算機程序代碼
的至少一個存儲器，該至少一個存儲器和計算機程序代碼被配置為與至少一個處理器一起使該裝置至少：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
44.雙耳音頻信號的至少一個頻帶的通道間差異可以包括以下中的至少一個：雙耳音頻信號的通道的至少一個能量/幅度差；雙耳音頻信號的通道的至少一個相位差；以及雙耳音頻信號的通道的至少一個時間差。
45.被使得對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的該裝置可以被使得：進一步基于至少一個頻帶的至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整。
46.被使得基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的該裝置可以被使得：針對雙耳音頻信號的至少一個頻帶，生成協方差矩陣的至少一部分的估計；針對雙耳音頻信號的至少一個頻帶，生成能量估計；針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分；生成用于混合雙耳音頻信號的至少一個頻帶的混合矩陣；以及基于混合矩陣，從雙耳音頻信號的至少一個頻帶的通道組合生成左通道音頻信號和右通道音頻信號。
47.用于揚聲器再現的至少兩個音頻信號可以包括左通道音頻信號和右通道音頻信號。
48.被使得基于至少一個頻帶的至少一個方向參數，通過修改至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的該裝置可以進一步被使得：針對至少一個頻帶，基于雙耳音頻信號，生成去相關音頻信號；針對去相關音頻信號，生成另一混合矩陣；基于另一混合矩陣，從去相關音頻信號的至少一個頻帶的通道組合生成另一左通道音頻信號和另一右通道音頻信號；組合左通道音頻信號和另一左通道音頻信號以生成組合左通道；以及組合右通道音頻信號和另一右通道音頻信號以生成組合右通道，并且其中，用于揚聲器再現的至少兩個音頻信號包括組合左通道音頻信號和組合右通道音頻信號。
49.被使得進一步基于至少一個頻帶的至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整的該裝置可以被使得：基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計；以及從經處理的至少一個頻帶對所確定的雙耳響應和/或長期響應估計進行補償。
50.雙耳響應和/或長期響應可以包括以下中的至少一個：至少一個能量/幅度；雙耳音頻信號的通道的至少一個相關性；雙耳音頻信號的通道的至少一個相位差；雙耳音頻信號的通道的至少一個時間差。
51.雙耳響應和/或長期響應可以包括雙耳音頻信號的頻譜，并且其中，被使得從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的該裝置可以被使得：基于所估計的方向參數和與至少一個方向參數對應的平均頭部相關傳遞函數，獲得濾波器和/或增益；以及對經處理的至少一個頻帶應用濾波器和/或增益。
52.被使得基于至少一個頻帶的方向參數，確定雙耳響應和/或長期響應估計的該裝置可以被使得：通過比較雙耳信號的平均頻譜與預定hrtf數據集來生成長期均衡濾波器，并且其中，被使得從經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的該裝置可以被使得：對經處理的至少一個頻帶應用長期均衡濾波器。
53.被使得基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數的該裝置可以被使得：分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少一個方向參數。
54.被使得分析雙耳音頻信號的至少一個頻帶以確定至少一個頻帶的至少一個方向參數的該裝置可以進一步被使得：針對至少一個頻帶，估計延遲，該延遲使雙耳音頻信號的通道之間的相關性最大化；以及基于所估計的延遲，制定方向參數。
55.該裝置可以進一步被使得：針對雙耳音頻信號的至少一個頻帶，基于雙耳音頻信號的通道之間的所測量的歸一化相關性，獲得直接對總能量比值。
56.被使得針對雙耳音頻信號的至少一個頻帶，基于至少一個頻帶的至少一個方向參數，生成目標協方差矩陣的至少一部分的該裝置可以進一步被使得：針對雙耳音頻信號的至少一個頻帶，進一步基于至少一個頻帶的直接對總能量比值，生成目標協方差矩陣的至少一部分。
57.被使得基于至少一個頻帶的至少一個方向參數，確定雙耳響應和/或長期響應估計的該裝置可以被使得：基于至少一個頻帶的直接對總能量比值，確定雙耳響應和/或長期響應估計。
58.被使得獲得雙耳音頻信號的該裝置可以被使得執行以下中的一個：用仿真頭捕獲雙耳音頻信號；在用戶的耳道入口處捕獲雙耳音頻信號；根據頭部相關傳遞函數來渲染雙耳音頻信號；以及使用雙耳房間脈沖響應來渲染雙耳音頻信號。
59.被使得輸出用于揚聲器再現的至少兩個音頻信號的該裝置可以被使得：將用于揚聲器再現的至少兩個音頻信號輸出到立體聲揚聲器。
60.根據第四方面，提供了一種裝置，其包括：獲得電路，被配置為獲得雙耳音頻信號；獲得電路，被配置為基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；處理電路，被配置為基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出電路，被配置為輸出用于揚聲器再現的至少兩個音頻信號。
61.根據第五方面，提供一種包括指令的計算機程序[或者包括程序指令的計算機可讀介質]，這些指令[或者程序指令]用于使裝置至少執行以下操作：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
[0062]
根據第六方面，提供了一種包括程序指令的非暫時性計算機可讀介質，這些程序指令用于使裝置至少執行以下操作：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚
聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
[0063]
根據第七方面，提供了一種裝置，其包括：用于獲得雙耳音頻信號的部件；用于基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數的部件；用于基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的部件；以及用于輸出用于揚聲器再現的至少兩個音頻信號的部件。
[0064]
根據第八方面，提供了一種包括程序指令的計算機可讀介質，這些程序指令用于使裝置至少執行以下操作：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。
[0065]
一種裝置，包括用于執行如上所述的方法的動作的部件。
[0066]
一種裝置，被配置為執行如上所述的方法的動作。
[0067]
一種計算機程序，包括用于使計算機執行如上所述的方法的程序指令。
[0068]
一種被存儲在介質上的計算機程序產品可以使裝置執行本文所述的方法。
[0069]
一種電子設備可以包括如本文所述的裝置。
[0070]
一種芯片組可以包括如本文所述的裝置。
[0071]
本技術的實施例旨在解決與現有技術相關聯的問題。
附圖說明
[0072]
為了更好地理解本技術，現在將通過示例的方式參考附圖，其中：
[0073]
圖1示意性地示出適于實現一些實施例的裝置的系統；
[0074]
圖2示出根據一些實施例的示例裝置的操作的流程圖；
[0075]
圖3示意性地示出根據一些實施例的如圖1中所示的通道間差異修改器；
[0076]
圖4示出根據一些實施例的如圖3中所示的示例通道間差異修改器的操作的流程圖；
[0077]
圖5示意性地示出根據一些實施例的如圖1中所示的頻譜白化器；
[0078]
圖6示出根據一些實施例的如圖5所示的示例頻譜白化器的操作的流程圖；以及
[0079]
圖7示出適于實現在前面附圖中示出的裝置的示例設備。
具體實施方式
[0080]
下面更詳細地描述用于將雙耳信號轉換為常規的立體聲音頻信號的合適裝置和可能機制。
[0081]
如在以下實施例中進一步詳細討論的概念是從雙耳音頻信號生成合適的立體聲音頻信號。在以下描述中，生成至少兩個音頻信號(其可以包括左和右通道音頻信號，或者可以包括左和右通道的前、中、后、上、或下版本)。所生成的立體聲音頻信號可以用(立體聲)揚聲器來再現。因此，由所生成的立體聲音頻信號的立體聲揚聲器再現生成的在收聽者的耳朵處的雙耳線索(itd、ild、ic、頻譜線索)與在耳機上回放雙耳信號時的雙耳線索相似，并且以預期的方式感知空間音頻。換句話說，它旨在防止根據輸出部件而在收聽者的耳
朵處造成的感知差異。這些差異可以包括：在聲音方向上的差異、在聲音寬度上的差異、在聲音空間感上的差異、在聲音的頻譜上的差異。
[0082]
關于頻譜差異，雙耳信號通常包含由來自人類的耳朵、頭部、軀干等的反射所引起的獨特頻譜。如本文所討論的實施例旨在基于雙耳信號來產生立體聲音頻信號，其中，該獨特頻譜被補償以使得當用(立體聲)揚聲器再現并由人類收聽者收聽時，在信號處沒有額外的雙耳響應。因此，人類收聽者不會接收到“雙重的雙耳頻譜(double binaural spectra)”，并且對音的感知與原始音相似。
[0083]
關于方向差異，雙耳信號在更低頻率時接近于實際上是具有潛在相位差的雙單聲道信號，因此，通過立體聲揚聲器再現這種信號在更低頻率時產生類似于將聲音幅度平移到揚聲器對的中間的效果。如本文所討論的實施例試圖生成立體聲音頻信號，當與通過耳機再現時的雙耳音頻信號相比時，該立體聲音頻信號在用立體聲揚聲器配置再現時保持對寬度和源定位的合適感知。
[0084]
如本文所討論的實施例被配置為從雙耳音頻信號生成合適的立體聲音頻信號，因此，在使用立體聲揚聲器作為回放部件時防止使用雙耳信號的需要，從而防止或減少任何空間和音感知差錯。因此，如本文所討論的實施例具有改進的感知音頻質量，因為不會從錯誤的方向感知聲源并且音不會被使用立體聲揚聲器直接再現的雙耳音頻信號著。
[0085]
如本文實施例中所討論的概念可以被概括為涉及用揚聲器再現雙耳信號的裝置和方法，并且其中，提供了用于將雙耳信號轉換為適合于立體聲和多通道揚聲器再現的“非雙耳”立體聲信號的裝置和/或方法。另外，如本文實施例中所描述的，通過分析來自雙耳信號的頻帶中的到達方向(或更一般地，方向參數)并基于所分析的方向而修改雙耳信號來執行轉換，以使得通道間差異和頻譜與“非雙耳”立體聲信號的預期特征相匹配。
[0086]
雙耳信號可以是任何種類的雙耳信號，諸如：用仿真頭捕獲的信號、在真實人類的耳道的入口處捕獲的信號、使用頭部相關傳遞函數渲染的信號、或者使用雙耳房間脈沖響應渲染的信號。此外，雙耳信號可以或者可以不包含任何類型的耳機補償(例如已使用所測量的耳機傳遞函數而導出的)。
[0087]
雙耳信號旨在用于耳機收聽，當這樣做時，它們創建空間聲音的自然感知(經由自然itd、ild、以及頻譜)。因此，可以從正確的方向以正確的音感知聲源。相反，“非雙耳”立體聲信號旨在用于揚聲器收聽(即，它們是“常規”立體聲信號)。如果通過耳機進行收聽，則再現在itd、ild方面并不類似于雙耳聲音，也不類似于雙耳頻譜，而是代替地，當由揚聲器再現“非雙耳”立體聲信號并將其傳播到收聽者的耳朵時形成這些特征。
[0088]
可以通過在頻帶中估計使(雙耳)信號之間的相關性最大化的延遲并基于該延遲值來制定方向值來分析到達方向。基于雙耳左和右信號之間的所測量的歸一化相關性，在頻帶中估計直接對總能量比值。
[0089]
在一些實施例中，可以通過基于方向和比率元數據而至少確定用于揚聲器再現的目標能量/幅度(以及潛在的相關性、相位/時間差)并至少校正輸入雙耳信號的能量/幅度(以及潛在的相關性、相位/時間差)以與對應的目標特性相匹配來對通道間差異進行修改。
[0090]
在一些實施例中，可以通過首先基于所估計的到達方向和與該方向對應的(多個hrtf集的)平均hrtf而獲得濾波器(或頻帶中的增益)來對頻譜進行修改。此外，可以通過比較雙耳信號的平均頻譜與預定hrtf數據集(也具有不同的耳機補償)來應用長期均衡濾波
器。
[0091]
在一些實施例中，所得到的“非雙耳”信號基本上去除或減少它們中的任何雙耳特征(在原始雙耳信號中固有的)。因此，雙耳特征將通過從揚聲器到收聽者的耳朵的聲傳播而被添加。因此，對于使用本發明的雙耳信號的揚聲器再現，可以實現良好的音頻質量(精確和自然的方向感知和無著的音)。
[0092]
關于圖1，示出了適于實現一些實施例的裝置的框圖。如隨后所描述的，該裝置可以在移動電話或計算機內部實現。此外，它例如可以被實現為獨立的裝置或程序，或者它例如可以是諸如ivas編解碼器之類的音頻編解碼器的一部分。
[0093]
該框圖示出了雙耳音頻信號100。在此示例中，雙耳音頻信號100是時域信號。然而，在其中雙耳音頻信號100是時頻域信號的一些實施例中，可以跳過或繞過時頻變換器的使用。
[0094]
在一些實施例中，該裝置包括時頻變換器101。時頻變換器101被配置為接收(時域)雙耳音頻信號100，將它們轉換到時頻域。合適的變換包括例如短時傅里葉變換(stft)和復合調制正交鏡像濾波器(qmf)組。所得到的時頻雙耳音頻信號102可以被標示為sm(b,n)，其中，m是通道索引，b是頻率倉(frequency bin)索引，n是時間索引。
[0095]
時頻雙耳音頻信號102可以被轉發到方向分析器105和通道間差異修改器103。
[0096]
在一些實施例中，該裝置或轉換器包括方向分析器105。方向分析器105被配置為接收時頻域雙耳音頻信號102，并在時頻域中分析到達方向θ(k,n)和直接對總能量比r(k,n)，其中，k是頻帶索引。
[0097]
在頻帶中執行方向分析。時頻變換具有一定的頻率分辨率，例如，1024-點stft會導致從dc頻率到奈奎斯特(nyquist)頻率的513個頻率倉。這些倉被分組成頻帶，例如，接近巴克(bark)頻率分辨率的24個頻帶。
[0098]
分析可以在這些頻帶內進行。每個頻帶k具有最低倉b
low
(k)和最高倉b
high
(k)。
[0099]
分析器例如可以被配置為到延遲τk，其針對每個頻帶k使兩個通道之間的相關性最大化。這可以通過在通道之一中創建信號的時移版本并將這些時移版本與另一通道信號相關來實現。sm(b,n)的τ個時域樣本的時移可以被獲得為：
[0100][0101]
其中，n是stft操作的長度。頻帶k(和時間索引n)的最佳延遲τk從下式獲得：
[0102][0103]
其中，c(k,n)是具有最佳延遲τk(其是使上述方程式最大化的參數τ)的相關性，re表示該結果的實部，*表示復共軛。搜索延遲d
max
的范圍是基于聲音到達兩耳的所估計最大時間延遲差而選擇的。
[0104]
延遲τk可以通過下式而被轉變成角度值：
[0105]
[0106]
該方向參數是在-90與90度之間的方位角值。該方向信息106足以用于對立體聲揚聲器輸出進行渲染，因為沒有升高或后置的揚聲器(換句話說，輸出音頻信號在“水平”平面上并且不需要仰角值)。方向信息106或信號進而可以被輸出到通道間修改器103和頻譜白化器107。
[0107]
另外，在一些實施例中，方向分析器105進一步被配置為確定至少一個對應的能量比r(k,n)。能量比r(k,n)可以通過以下操作來估計：使用例如歸一化后的相關性值c(k,n)，例如，通過下式：
[0108][0109]
進而將相關性值與頻帶c
diff
(k)的中心頻率的雙耳擴散場相關性相比較以獲得該比率：
[0110][0111]
所估計的直接對總能量比也可以被轉發到通道間差異修改器103和頻譜白化器107。
[0112]
在一些實施例中，轉換器包括通道間差異修改器103。通道間差異修改器103被配置為接收時頻雙耳音頻信號102、方向信息106以及能量比信息108。通道間差異修改器103被配置為基于所分析的方向和能量比，至少修改頻帶中的時頻雙耳音頻信號的耳間水電平差(以及潛在的相位和/或時間差和/或相干性)，以使得經處理的輸出具有適合于聲音在θ(k,n)方向上并具有直接對總能量比r(k,n)的揚聲器再現的通道間水平差。
[0113]
所得到的時頻中間音頻信號104從通道間差異修改器被輸出并被傳遞給頻譜白化器107。
[0114]
在一些實施例中，轉換器包括頻譜白化器107。該頻譜白化器被配置為接收時頻中間音頻信號104。時頻中間音頻信號104具有適合于揚聲器回放的方向線索(例如，水平差)，但是它們仍然具有所包括的雙耳頻譜的元素，其可以使用頻譜白化器107來去除。因此，頻譜白化器107進一步被配置為接收方向信息106和直接對總能量比信息108。頻譜白化器107被配置為反轉或補償雙耳頻譜，并且所得到的時頻立體聲音頻信號110被輸出到逆時頻變換器111。
[0115]
在一些實施例中，轉換器包括逆時頻變換器111。逆時頻變換器111被配置為對所接收的時頻立體聲音頻信號110應用與所應用的時頻變換對應的逆變換(例如，與stft對應的逆stft)，并被配置為輸出合適的(脈沖編碼調制的)pcm立體聲音頻信號112，其進而可以用立體聲揚聲器來再現。
[0116]
關于圖2，示出了圖示如圖1中所示的轉換器的操作的流程圖。
[0117]
因此，例如，第一操作是如在圖2中由步驟201所示的接收雙耳音頻信號的操作。
[0118]
進而，如在圖2中由步驟203所示，對雙耳音頻信號進行時頻變換以生成時頻雙耳音頻信號。
[0119]
如在圖2中由步驟204所示，進而可以分析時頻雙耳音頻信號以確定方向和能量比。
[0120]
如在圖2中由步驟205所示，進而可以基于所確定的方向和能量比，對時頻雙耳音頻信號進行通道間修改，以生成時頻中間音頻信號。
[0121]
如在圖2中由步驟207所示，進而還可以基于所確定的方向和能量比，對時頻中間音頻信號進行頻譜白化(spectral whitened/whitening)，以生成經時頻處理的(立體聲)音頻信號。
[0122]
進而，如在圖2中由步驟209所示，對經時頻處理的(立體聲)音頻信號進行逆時頻變換以生成立體聲音頻信號。
[0123]
如在圖2中由步驟211所示，進而可以輸出立體聲音頻信號。
[0124]
關于圖3，更詳細地示出了通道間差異修改器103。在一些實施例中，通道間差異修改器103包括協方差矩陣估計器301。協方差矩陣估計器301被配置為接收時頻雙耳音頻信號102，并產生合適的估計協方差矩陣(estimated cov mtx)300，諸如：
[0125][0126]
其中，h表示復共軛，并且
[0127][0128]
協方差矩陣估計器301被配置為將估計協方差矩陣c
in
(k,n)300輸出到混合矩陣制定器307。
[0129]
協方差矩陣估計器301還可以被配置為將總能量估計e(k,n)用公式表示為c
in
(k,n)的對角線元素的總和?？偰芰抗烙?02被提供給目標協方差矩陣制定器305。
[0130]
在本文所描述的示例中，輸入和目標協方差矩陣公式封裝了一組通道間特性(能量差、相位差、相關性)，并且所有這些都可以被處理。然而，在一些實施例中，可以存在信號的至少一部分(例如，在一些頻率中)，其中，只有能量將被調整或修改。在這種情況下，不需要估計完整的協方差矩陣。然而，為了簡單起見，在此估計了完整的協方差矩陣，屆時在后期階段并不使用可能不必要的數據(取決于配置)。在一些實施例中，實際實現被配置為僅估計在后期階段中所需的數據或信息。
[0131]
在一些實施例中，通道間差異修改器103包括目標協方差矩陣制定器305。目標協方差矩陣制定器305被配置為接收能量估計302以及方向θ(k,n)和直接對總能量比r(k,n)108參數。在一些實施例中，目標協方差矩陣制定器305針對輸出揚聲器信號而生成目標協方差矩陣。在一些實施例中，這可以通過以下操作來實現。
[0132]
首先，該矩陣生成平移增益：
[0133]
[0134]
其中，g
l
(θ(k,n))和gr(θ(k,n))是針對在
±
30
°
的揚聲器的根據向量基幅度平移(vbap)定律的增益：
[0135][0136]
和
[0137][0138]
進而，目標協方差矩陣被制定為：
[0139][0140]
其中，左側部分g(k,n)g
t
(k,n)r(k,n)表明與前面平移的聲音相關的協方差矩陣，右側部分表明與環境(或非定向的)聲音相關的協方差矩陣。
[0141]
如在上述方程式中所示，這些左和右側部分進而被相加在一起并用總能量估計e(k,n)對其加權以獲得目標協方差矩陣c
target
(k,n)。
[0142]
進而，目標協方差矩陣c
target
(k,n)306可以被提供給混合矩陣制定器307。
[0143]
在一些實施例中，通道間差異修改器103包括混合矩陣制定器307?；旌暇仃囍贫ㄆ?07被配置為接收目標協方差矩陣306和所估計的協方差矩陣300并生成混合矩陣308，其可以被傳遞給混合器309。
[0144]
在一些實施例中，混合矩陣制定器307被配置為根據在us20140233762a1以及vilkamo juha、tom 和achim kuntz的“用于空間音頻的時頻處理的優化協方差域框架(optimized covariance domain framework for time
–
frequency processing of spatial audio)”(音頻工程學會期刊，第61卷，第6期，2013年:第403-411頁)中所描述的方法來生成混合矩陣。
[0145]
所引用的論文中的方法包括最小二乘優化信號混合技術，用于操縱信號的協方差矩陣，同時很好地保持音頻質量。因此，這些方法利用輸入信號的協方差矩陣度量和目標協方差矩陣并提供混合矩陣來執行這種處理。當在輸入端沒有足夠量的獨立信號能量時，這些方法還提供最佳使用去相關聲音的手段。
[0146]
因此，在一些實施例中，混合矩陣制定器307被配置為生成原型矩陣，該原型矩陣確定輸出通道應如何類似于輸入通道(同時滿足目標協方差矩陣的合成)。在當前上下文中，原型矩陣是：
[0147][0148]
當q、c
target
(k,n)和c
in
(k,n)現在已知時，如在所引用的論文中討論的方法針對非去相關聲音提供兩個混合矩陣m(k,n)并針對去相關聲音提供mr(k,n)。這些混合矩陣308被
提供給混合器309。
[0149]
在一些實施例中，混合矩陣制定器307被配置為(僅)對信號的能量進行補償而不影響通道之間的相位或相關性。例如，在高頻處，這可以是最魯棒的選擇，并且在高頻處，相位/相關性信息還具有比在低頻處更小的感知關聯(perceptual relevance)。在這種情況下，用公式表示的混合矩陣可以是：
[0150][0151][0152]
其中，括號{}標示從協方差矩陣中選擇單個矩陣條目。除此以外處理如前所述。
[0153]
在一些實施例中，通道間差異修改器103包括通道去相關器303。通道去相關器303被配置為接收時頻雙耳音頻信號102，并對這兩個通道s(b,n)應用去相關以生成雙耳輸入信號的兩個不相干版本(相對于彼此并相對于輸入)。該結果是去相關信號sd(b,n)。去相關過程可以是非時變相位加擾(time-invariant phase-scrambling)過程。可以應用任何去相關器，并且去相關器的選擇可以取決于所應用的時頻變換。去相關信號304進而被提供給混合器309。
[0154]
在一些實施例中，通道間差異修改器103包括混合器309?；旌掀?09被配置為接收時頻去相關音頻信號304、時頻雙耳音頻信號102以及混合矩陣308，并針對每個頻帶k生成時頻揚聲器信號104(沒有頻譜白化)為：
[0155]s′
ls
(b,n)＝m(k,n)s(b,n)+mr(k,n)sd(b,n)
[0156]
混合矩陣是針對每個頻帶k的，并且可以針對該頻帶內的每個倉b應用相同的混合矩陣?？梢噪S時間對混合矩陣(或者可替代地，在制定混合矩陣之前的協方差矩陣)進行平滑以減少潛在的處理偽影。混合器309進而被配置為輸出時頻中間(揚聲器)信號(沒有頻譜白化)104。
[0157]
通道間差異修改器103的操作如在圖4中所示的流程圖中被示出。
[0158]
接收時頻雙耳音頻信號在圖4中由步驟401示出。
[0159]
如在圖4中由步驟403所示，在接收到時頻雙耳音頻信號之后，對這兩個通道進行去相關。
[0160]
此外，如在圖4中由步驟405所示，從時頻雙耳音頻信號中估計協方差矩陣和(總)能量估計。
[0161]
接收諸如方向和能量比之類的參數化參數在圖4中由步驟404示出。
[0162]
如在圖4中由步驟407所示，在接收諸如方向和能量比之類的參數化參數以及估計協方差矩陣之后，制定目標協方差矩陣。
[0163]
如在圖4中由步驟409所示，在已制定目標協方差矩陣后，進而制定混合矩陣。
[0164]
進而，如在圖4中由步驟411所示，基于所定制的混合矩陣來混合時頻雙耳音頻信號和時頻去相關音頻信號，以生成時頻中間(揚聲器)音頻信號。
[0165]
如在圖4中由步驟413所示，進而輸出時頻中間(揚聲器)音頻信號。
[0166]
關于圖5，示出了根據一些實施例的示例頻譜白化器107的框圖。
[0167]
頻譜白化器107被配置為接收時頻中間(揚聲器)信號(沒有頻譜白化)s
′
ls
(b,n)104、方向θ(k,n)106以及直接對總能量比r(k,n)108。
[0168]
在一些實施例中，頻譜白化器107包括雙耳響應估計器503。在一些實施例中，雙耳響應估計器503被配置為接收方向106和能量比108，雙耳響應估計器503進而可以估計與方向θ(k,n)和能量比r(k,n)對應的典型雙耳信號的能量響應。該能量響應對于雙耳來說是共同的，因為通道間差異已經在通道間差異修改器103中被校正。
[0169]
雙耳響應估計器503例如可以被配置為首先基于方向θ(k,n)來估計對直接聲音的能量響應。這例如可以通過下式來實現：
[0170]edir
(k,n)＝f
hrtf
(θ(k,n))
[0171]
其中，f
hrtf
()是用于獲得與在頻帶k的方向θ對應的hrtf對的平均能量譜的函數。它可以以任何合適的方式來實現。例如，獲得若干組hrtf，在此示例中，每組hrtf在數據集中具有相同的方向集合。接下來，針對每個數據集中的每個方向來計算hrtf對的平均能量響應，例如，通過下式：
[0172][0173]
其中，h
left
是用于左耳的hrtf，h
right
是用于右耳的hrtf，i是數據集的索引，|.|標示計算絕對值。當在頻帶k中確定了hrtf時，進而可以制定在頻帶k的中間頻率處的hrtf?？梢越M合數據集，例如，通過針對每個方向對它們取平均值，從而得到e
avg
(k,θ)。進而，最后可以實現f
hrtf
()，例如，通過在e
avg
(k,θ)的最接近數據點之間進行插值，以便獲得針對方向θ的值(如果數據集e
avg
(k,θ)具有剛好在方向θ上的數據點，則可以直接使用它)。
[0174]
接下來，估計對環境聲音的能量響應。由于該估計不基于任何參數，因此，它可以從數據庫中取得?？梢岳缤ㄟ^對被平均hrtf能量數據集的所有方向進行平均來形成環境聲音能量響應的估計：
[0175][0176]
其中，θ(d)是數據集中的d個hrtf方向。
[0177]
進而，雙耳能量響應的估計可以通過下式來形成：
[0178]ebin
(k,n)＝r(k,n)e
dir
(k,n)+(1-r(k,n))e
amb
(k)
[0179]
其可以作為雙耳響應504被輸出到雙耳響應去除器501。
[0180]
在一些實施例中，頻譜白化器107包括雙耳響應去除器501。雙耳響應去除器501被配置為接收時頻中間(揚聲器)信號(沒有頻譜白化)s
′
ls
(b,n)104和雙耳能量響應e
bin
(k,n)504作為輸入。雙耳響應去除器501被配置為首先通過下式來制定均衡器：
[0181][0182]
其可以在時間上被平滑(或者，e
bin
(k,n)可以在制定g
eq
(k,n))之前在時間上被平滑)。進而可以用公式表示一組經處理的中間信號，如通過下式：
[0183]s″
ls
(b,n)＝g
eq
(k,n)s
′
ls
(b,n)
[0184]
其中，k是倉b所在的頻帶索引。在所得到的經處理的中間信號s
″
ls
(b,n)處，根據平均hrtf的雙耳頻譜已被去除。通常，這些信號已經適合于揚聲器再現。然而，由于最初產生雙耳信號的方式可能存在差異(例如，存在不同種類的人造頭和不同的hrtf和brir數據庫)，因此，經處理的中間信號s
″
ls
(b,n)502的頻譜可能仍然會偏離最優值。
[0185]
因此，在一些實施例中，經處理的中間信號s
″
ls
(b,n)502可以被轉發到長期頻譜估計器505和長期響應去除器507。
[0186]
在一些實施例中，頻譜白化器107包括長期頻譜估計器505，其被配置為接收經處理的中間信號s
″
ls
(b,n)502，并估計這些中間信號的長期頻譜并將其與預期平均頻譜相比較。如果該估計器發現這兩者之間的可靠偏差，則它生成所估計的長期響應h
lt
(b,n)506并將其發送到長期響應去除器507。
[0187]
在一些實施例中，頻譜白化器107包括長期響應去除器507，其被配置為接收經處理的中間信號s
″
ls
(b,n)502并基于所估計的長期響應506來處理經處理的中間信號s
″
ls
(b,n)502，并輸出合適的時頻立體聲(揚聲器)音頻信號110：
[0188][0189]
當沒有檢測到任何可靠偏差時，所估計的響應h
lt
(b,n)可以在所有頻率被設置為1。此外，在一些實施例中，長期頻譜估計器505和長期響應去除器507是可選的并且可以被省略，經處理的中間音頻信號s
″
ls
(b,n)502直接被傳遞為時頻立體聲音頻信號110。
[0190]
頻譜白化器107的輸出被示出為時頻域立體聲信號s
ls
(b,n)，其進而被變換為如在圖1的上下文中所表述的時域信號，并且該結果適合于揚聲器再現。
[0191]
雙耳通道間差異已被修改為更適合于揚聲器再現的通道間差異，并且已對雙耳頻譜進行了補償。
[0192]
關于圖6，示出了，圖示示例光譜白化器107的操作的流程圖。
[0193]
因此，如在圖6中由步驟601所示，接收時頻中間音頻信號。
[0194]
另外，接收諸如方向和能量比之類的參數化參數在圖6中由步驟602示出。
[0195]
如在圖6中由步驟604所示，估計雙耳響應。
[0196]
進而，如在圖6中由步驟605所示，從時頻中間音頻信號中去除所估計的雙耳響應。
[0197]
可選地，如在圖6中由步驟607所示，進而估計長期響應。
[0198]
進而，如在圖6中由步驟609所示，可選地，進而去除所估計的長期響應。
[0199]
在以上所討論的實施例中，雙耳信號被完全轉換為非雙耳立體聲信號。然而，可存在如下情況：希望僅將雙耳信號的一部分轉換為非雙耳立體聲信號。例如，當發生從雙耳到非雙耳的轉換時，可以僅將映射到立體聲揚聲器之間的那些方向渲染為非雙耳聲音，同時
使用串擾消除方案(cross-talk cancelling scheme)來在揚聲器上再現剩余的(雙耳)聲音。因此，在一些實施例中，針對方向范圍的雙耳音頻信號的一部分被轉換為立體聲信號，而該信號的剩余部分未經轉換地被傳遞。這部分也可以是雙耳音頻信號的總能量的一部分，或者可以是雙耳音頻信號的頻譜的一部分(例如，頻帶中的一些被轉換，而頻帶中的一些未經處理地被傳遞)。
[0200]
關于圖7，示出了可以被用作如上所述的系統的任何裝置部件的示例電子設備。該設備可以是任何合適的電子設備或裝置。例如，在一些實施例中，設備1700是移動設備、用戶設備、平板計算機、計算機、音頻回放裝置等。
[0201]
在一些實施例中，設備1700包括至少一個處理器或中央處理單元1707。處理器1707可以被配置為執行各種程序代碼，諸如本文所述的方法。
[0202]
在一些實施例中，設備1700包括存儲器1711。在一些實施例中，至少一個處理器1707被耦接到存儲器1711。存儲器1711可以是任何合適的存儲部件。在一些實施例中，存儲器1711包括用于存儲可在處理器1707上實現的程序代碼的程序代碼部分。此外，在一些實施例中，存儲器1711還可以包括用于存儲數據(例如根據本文所述的實施例已被處理或將要被處理的數據)的存儲數據部分。只要需要，被存儲在程序代碼部分內的所實現的程序代碼和被存儲在存儲數據部分內的數據可以經由存儲器-處理器耦接而被處理器1707取得。
[0203]
在一些實施例中，設備1700包括用戶接口1705。在一些實施例中，用戶接口1705可以被耦接到處理器1707。在一些實施例中，處理器1707可以控制用戶接口1705的操作并從用戶接口1705接收輸入。在一些實施例中，用戶接口1705可以使得用戶能夠例如經由小鍵盤向設備1700輸入命令。在一些實施例中，用戶接口1705可以使得用戶能夠從設備1700獲得信息。例如，用戶接口1705可以包括被配置為向用戶顯示來自設備1700的信息的顯示器。在一些實施例中，用戶接口1705可以包括觸摸屏或觸摸接口，其既能夠使信息被輸入到設備1700中，又能夠向設備1700的用戶顯示信息。在一些實施例中，用戶接口1705可以是用于通信的用戶接口。
[0204]
在一些實施例中，設備1700包括輸入/輸出端口1709。在一些實施例中，輸入/輸出端口1709包括收發機。在這種實施例中，收發機可以被耦接到處理器1707，并且被配置為例如經由無線通信網絡實現與其他裝置或電子設備的通信。在一些實施例中，收發機或任何合適的收發機或發射機和/或接收機部件可以被配置為經由有線或有線耦接來與其他電子設備或裝置通信。
[0205]
收發機可以通過任何合適的已知通信協議來與其他裝置通信。例如，在一些實施例中，收發機可以使用合適的通用移動電信系統(umts)協議、諸如ieee 802.x之類的無線局域網(wlan)協議、諸如藍牙之類的合適的短距離射頻通信協議、或紅外數據通信路徑(irda)。
[0206]
收發機輸入/輸出端口1709可以被配置為接收信號。
[0207]
輸入/輸出端口1709可以被耦接到任何合適的音頻輸出，例如，立體聲揚聲器系統。
[0208]
通常，本發明的各種實施例可以采用硬件或專用電路、軟件、邏輯或其任何組合來實現。例如，一些方面可以采用硬件來實現，而其他方面可以采用可由控制器、微處理器或其他計算設備執行的固件或軟件來實現，但是本發明不限于此。盡管本發明的各個方面可
以被圖示和描述為框圖、流程圖或使用一些其他圖形表示，但是眾所周知地，本文所描述的這些框、裝置、系統、技術或方法可以作為非限制示例采用硬件、軟件、固件、專用電路或邏輯、通用硬件或控制器或其他計算設備或其某種組合來實現。
[0209]
本發明的實施例可以通過可由移動設備的數據處理器(諸如在處理器實體中)執行的計算機軟件來實現，或者由硬件、或者由軟件和硬件的組合來執行。此外，就此而言，應當注意，如附圖中的邏輯流程的任何塊可以表示程序步驟、或者互連的邏輯電路、塊和功能、或者程序步驟和邏輯電路、塊和功能的組合。該軟件可以被存儲在諸如存儲器芯片或在處理器內實現的存儲器塊之類的物理介質上，諸如硬盤或軟盤之類的磁性介質上、以及諸如dvd及其數據變體cd之類的光學介質上。
[0210]
存儲器可以是適合于本地技術環境的任何類型，并且可以使用任何適當的數據存儲技術來實現，諸如基于半導體的存儲器設備、磁存儲器設備和系統、光學存儲器設備和系統、固定存儲器和可移除存儲器。數據處理器可以是適合于本地技術環境的任何類型，并且作為非限制性示例，可以包括通用計算機、專用計算機、微處理器、數字信號處理器(dsp)、專用集成電路(asic)、基于多核處理器架構的門級電路和處理器中的一個或多個。
[0211]
可以在諸如集成電路模塊之類的各種組件中實踐本發明的實施例。集成電路的設計總體上是高度自動化的過程。復雜而功能強大的軟件工具可用于將邏輯級設計轉換為準備在半導體襯底上蝕刻和形成的半導體電路設計。
[0212]
程序，諸如由加利福尼亞州山景城的synopsys公司和加利福尼亞州圣何塞的cadence design所提供的程序，使用完善的設計規則以及預先存儲的設計模塊庫來自動對導體進行布線并將組件定位在半導體芯片上。一旦完成了半導體電路的設計，就可以將標準化電子格式(例如，opus、gdsii等)的所得設計傳送到半導體制造設施或“fab”進行制造。
[0213]
前面的描述已經通過示例性和非限制性示例提供了本發明的示例性實施例的完整和有益的描述。然而，當結合附圖和所附權利要求書閱讀時，鑒于以上描述，各種修改和改編對于相關領域的技術人員而言將變得顯而易見。然而，本發明的教導的所有這些和類似的修改仍將落入所附權利要求書所限定的本發明的范圍內。
技術特征：
1.一種裝置，包括被配置為執行以下操作的部件：獲得雙耳音頻信號；基于對所述雙耳音頻信號的至少一個頻帶的分析，獲得所述雙耳音頻信號的所述至少一個頻帶的至少一個方向參數；基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述雙耳音頻信號的所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的所述至少兩個音頻信號。2.根據權利要求1所述的裝置，其中，所述雙耳音頻信號的所述至少一個頻帶的所述通道間差異包括以下中的至少一個：所述雙耳音頻信號的通道的至少一個能量/幅度差；所述雙耳音頻信號的通道的至少一個相位差；以及所述雙耳音頻信號的通道的至少一個時間差。3.根據權利要求1或2中任一項所述的裝置，其中，被配置為對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的所述部件被配置為：進一步基于所述至少一個頻帶的所述至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整。4.根據權利要求1至3中任一項所述的裝置，其中，被配置為基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的所述部件被配置為：針對所述雙耳音頻信號的所述至少一個頻帶，生成協方差矩陣的至少一部分的估計；針對所述雙耳音頻信號的所述至少一個頻帶，生成能量估計；針對所述雙耳音頻信號的所述至少一個頻帶，基于所述至少一個頻帶的所述至少一個方向參數，生成目標協方差矩陣的至少一部分；生成用于混合所述雙耳音頻信號的所述至少一個頻帶的混合矩陣；以及基于所述混合矩陣，從所述雙耳音頻信號的所述至少一個頻帶的通道組合生成左通道音頻信號和右通道音頻信號。5.根據權利要求4所述的裝置，其中，用于揚聲器再現的所述至少兩個音頻信號包括所述左通道音頻信號和所述右通道音頻信號。6.根據權利要求4所述的裝置，其中，被配置為基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號的所述部件進一步被配置為：針對至少一個頻帶，基于所述雙耳音頻信號，生成去相關音頻信號；針對所述去相關音頻信號，生成另一混合矩陣；基于所述另一混合矩陣，從所述去相關音頻信號的所述至少一個頻帶的通道組合生成另一左通道音頻信號和另一右通道音頻信號；組合所述左通道音頻信號和所述另一左通道音頻信號以生成組合左通道；以及組合所述右通道音頻信號和所述另一右通道音頻信號以生成組合右通道，并且其中，用于揚聲器再現的所述至少兩個音頻信號包括所述組合左通道音頻信號和所述組合右通道音頻信號。
7.根據權利要求3或從屬于權利要求3的任一權利要求所述的裝置，其中，被配置為進一步基于所述至少一個頻帶的所述至少一個方向參數，進一步對經處理的至少一個頻帶應用頻譜調整的所述部件被配置為：基于所述至少一個頻帶的所述方向參數，確定雙耳響應和/或長期響應估計；以及從所述經處理的至少一個頻帶對所確定的雙耳響應和/或長期響應估計進行補償。8.根據權利要求7所述的裝置，其中，所述雙耳響應和/或所述長期響應包括以下中的至少一個：至少一個能量/幅度；所述雙耳音頻信號的通道的至少一個相關性；所述雙耳音頻信號的通道的至少一個相位差；所述雙耳音頻信號的通道的至少一個時間差。9.根據權利要求7所述的裝置，其中，所述雙耳響應和/或所述長期響應包括所述雙耳音頻信號的頻譜，并且其中，被配置為從所述經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的所述部件被配置為：基于所估計的方向參數和與所述至少一個方向參數對應的平均頭部相關傳遞函數，獲得濾波器和/或增益；以及對所述經處理的至少一個頻帶應用所述濾波器和/或所述增益。10.根據權利要求7所述的裝置，其中，被配置為基于所述至少一個頻帶的所述方向參數，確定雙耳響應和/或長期響應估計的所述部件被配置為：通過比較所述雙耳信號的平均頻譜與預定hrtf數據集來生成長期均衡濾波器，并且其中，被配置為從所述經處理的至少一個頻帶去除所確定的雙耳響應和/或長期響應估計的所述部件被配置為：對所述經處理的至少一個頻帶應用所述長期均衡濾波器。11.根據權利要求1至10中任一項所述的裝置，其中，被配置為基于所述雙耳音頻信號，獲得所述雙耳音頻信號的至少一個頻帶的至少一個方向參數的所述部件被配置為：分析所述雙耳音頻信號的所述至少一個頻帶以確定所述至少一個頻帶的所述至少一個方向參數。12.根據權利要求11所述的裝置，其中，被配置為分析所述雙耳音頻信號的所述至少一個頻帶以確定所述至少一個頻帶的所述至少一個方向參數的所述部件進一步被配置為：針對所述至少一個頻帶，估計延遲，所述延遲使所述雙耳音頻信號的通道之間的相關性最大化；以及基于所估計的延遲，制定方向參數。13.根據權利要求1至11中任一項所述的裝置，其中，所述部件進一步被配置為：針對所述雙耳音頻信號的所述至少一個頻帶，基于所述雙耳音頻信號的通道之間的所測量的歸一化相關性，獲得直接對總能量比值。14.根據從屬于權利要求4或從屬于權利要求4的任一權利要求的權利要求13所述的裝置，其中，被配置為針對所述雙耳音頻信號的所述至少一個頻帶，基于所述至少一個頻帶的所述至少一個方向參數，生成目標協方差矩陣的至少一部分的所述部件進一步被配置為：針對所述雙耳音頻信號的所述至少一個頻帶，進一步基于所述至少一個頻帶的所述直接對總能量比值，生成所述目標協方差矩陣的所述至少一部分。15.根據從屬于權利要求4或從屬于權利要求4的任一權利要求的權利要求13所述的裝
置，其中，被配置為基于所述至少一個頻帶的所述至少一個方向參數，確定雙耳響應和/或長期響應估計的所述部件被配置為：基于所述至少一個頻帶的所述直接對總能量比值，確定所述雙耳響應和/或長期響應估計。16.根據權利要求1至15中任一項所述的裝置，其中，被配置為獲得雙耳音頻信號的所述部件被配置為執行以下中的一個：用仿真頭捕獲所述雙耳音頻信號；在用戶的耳道入口處捕獲所述雙耳音頻信號；根據頭部相關傳遞函數來渲染所述雙耳音頻信號；以及使用雙耳房間脈沖響應來渲染所述雙耳音頻信號。17.根據權利要求1至16中任一項所述的裝置，其中，被配置為輸出用于揚聲器再現的所述至少兩個音頻信號的所述部件被配置為：將用于揚聲器再現的所述至少兩個音頻信號輸出到立體聲揚聲器。18.一種方法，包括：獲得雙耳音頻信號；基于對所述雙耳音頻信號的至少一個頻帶的分析，獲得所述雙耳音頻信號的所述至少一個頻帶的至少一個方向參數；基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述雙耳音頻信號的所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的所述至少兩個音頻信號。19.一種裝置，包括至少一個處理器和包括計算機程序代碼的至少一個存儲器，所述至少一個存儲器和所述計算機程序代碼被配置為與所述至少一個處理器一起使所述裝置至少：獲得雙耳音頻信號；基于對所述雙耳音頻信號的至少一個頻帶的分析，獲得所述雙耳音頻信號的所述至少一個頻帶的至少一個方向參數；基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述雙耳音頻信號的所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的所述至少兩個音頻信號。20.一種非暫時性計算機可讀介質，包括程序指令，所述程序指令用于使裝置至少執行以下操作：獲得雙耳音頻信號；基于對所述雙耳音頻信號的至少一個頻帶的分析，獲得所述雙耳音頻信號的所述至少一個頻帶的至少一個方向參數；基于所述至少一個頻帶的所述至少一個方向參數，通過修改所述雙耳音頻信號的所述至少一個頻帶的通道間差異，對所述雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的所述至少兩個音頻信號。
技術總結
一種裝置，包括被配置為執行以下操作的部件：獲得雙耳音頻信號；基于雙耳音頻信號，獲得雙耳音頻信號的至少一個頻帶的至少一個方向參數；基于至少一個頻帶的至少一個方向參數，通過修改雙耳音頻信號的至少一個頻帶的通道間差異，對雙耳音頻信號進行處理以生成用于揚聲器再現的至少兩個音頻信號；以及輸出用于揚聲器再現的至少兩個音頻信號。聲器再現的至少兩個音頻信號。聲器再現的至少兩個音頻信號。
