一種基于多模融合的智能交互方法及裝置與流程
1.本發(fā)明實施例涉及人機交互領域，特別涉及一種基于多模融合的智能交互方法及裝置。
背景技術：
2.人機交互是指人與機器或計算機系統(tǒng)通過某種對話語言，以一定的交互方式進行的信息交換過程。而汽車作為一種交通工具，其內也設置了人機交互系統(tǒng)以方便用戶對汽車進行操控。因用戶出行需求的變化，用車場景愈發(fā)復雜，且隨智能化、網(wǎng)聯(lián)化的發(fā)展，車載人機交互系統(tǒng)也開始逐漸智能化。
3.為實現(xiàn)車載人機交互系統(tǒng)的智能化，大屏顯示、多屏互動、語音交互、車內攝像頭、智能空調、智能音響、座椅按摩等一系列功能設備被配置在汽車當中，使車輛能夠更加精準地接收用戶指令，以滿足用戶的需求。
4.但車載人機交互系統(tǒng)的智能化僅增加了輸入指令的方式，在原有的旋鈕、按鈕控制等方式的基礎上，增加了觸屏控制、語音控制、動作控制等方式，在進行交互時均需要用戶主動進行操作。因此車載人機交互系統(tǒng)仍存在只能被動交互的問題，即交互系統(tǒng)僅會執(zhí)行用戶輸入的指令，使車輛不能主動提供符合用戶當前需求的交互服務。
技術實現(xiàn)要素：
5.本技術提供了一種基于多模融合的智能交互方法及系統(tǒng)，以解決車載人機交互系統(tǒng)無法主動提供符合用戶當前需求的交互服務的問題。
6.第一方面，本技術提供了一種基于多模融合的智能交互方法，包括：獲取多模態(tài)信息，所述多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息或環(huán)境信息中的至少一種；根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，所述交互數(shù)據(jù)包括車輛控制指令和/或交互提示信息；輸出所述交互數(shù)據(jù)。
7.可選的，當所述多模態(tài)信息包括所述用戶信息時，所述用戶信息包括用戶特征數(shù)據(jù)，以及用戶語音數(shù)據(jù)和用戶圖像數(shù)據(jù)中的至少一種，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：通過所述用戶圖像數(shù)據(jù)和/或所述用戶語音數(shù)據(jù)獲取車輛內用戶數(shù)量；根據(jù)所述用戶數(shù)量和所述用戶特征數(shù)據(jù)，生成乘車用戶類型組合；根據(jù)所述乘車用戶類型組合，生成交互提示信息，所述交互提示信息包括推薦目的地。
8.可選的，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶信息和/或所述環(huán)境信息，確定所述駕駛人員的疲勞程度和/或所述用戶的情緒狀態(tài)；根據(jù)所述駕駛人員的疲勞程度和所述車輛的位置信息，生成緩解所述駕駛人員疲勞程度的車輛控制指令和/或交互提示信息；所述車輛控制指令包括空調控制指令和座椅按摩指令，所述交互提示信息包括疲勞提醒和推薦休息地；和/或，根據(jù)所述用戶的情緒狀態(tài)，生成緩解所述用戶情緒狀態(tài)的交互提示信息。
9.可選的，當所述多模態(tài)信息包括所述環(huán)境信息、所述用戶信息和所述車輛位置信
息時，所述環(huán)境信息包括車內溫度，所述用戶信息包括用戶特征數(shù)據(jù)，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶圖像數(shù)據(jù)和所述用戶特征數(shù)據(jù)，確定特殊用戶，以及所述特殊用戶的乘坐位置；所述特殊用戶包括大齡用戶和幼齡用戶；根據(jù)所述特殊用戶的乘坐位置、所述車輛位置信息以及所述車內溫度，生成車輛控制指令和交互提示信息，所述車輛控制指令用于控制所述車輛內所述特殊用戶的乘坐位置的空調溫度高于閾值溫度且風量低于閾值風量，所述交互提示信息用于提示用戶所述車輛的空調調節(jié)模式。
10.可選的，所述多模態(tài)信息還包括導航信息，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述車輛位置信息和導航信息，獲取行駛路線信息；根據(jù)所述行駛路線信息，判斷所述車輛是否接近特殊路段；所述特殊路段包括隧道路段；若所述車輛接近所述特殊路段，生成車輛控制指令和交互提示信息；所述車輛控制指令包括打開車燈指令、關閉車窗指令，以及所述車輛的空調運行模式調整指令，所述交互提示信息用于提示用戶注意特殊路段。
11.可選的，所述車輛狀態(tài)信息包括所述車輛的電池電量，所述多模態(tài)信息還包括導航信息，所述車輛位置信息包括車輛位置，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述車輛的電池電量，確定所述車輛的續(xù)航里程；根據(jù)所述車輛位置和所述導航信息，確定剩余里程；若所述車輛的續(xù)航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述車輛續(xù)航里程范圍內充電站的路線信息。
12.可選的，所述若所述車輛的續(xù)航里程小于所述剩余里程，生成交互提示信息，包括：若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量小于或等于閾值電量，生成包括第一路線信息的交互提示信息，所述第一路線信息包括與所述車輛位置最近的充電站的路線信息；若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量大于所述閾值電量，生成包括第二路線信息的交互提示信息，所述第二路線信息包括所述車輛續(xù)航里程范圍內的目標充電站的路線信息；所述目標充電站包括充電價格低于閾值價格、和/或空閑率高于閾值空閑率、和/或具有停車休息服務的充電站。
13.可選的，所述用戶信息包括所述用戶的面部信息和/或所述用戶的聲紋信息，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶的面部信息和/或所述用戶的聲紋信息，識別所述用戶身份；根據(jù)所述用戶身份對應的車輛歷史設置參數(shù)，生成與所述用戶身份對應的車輛控制指令；所述車輛控制指令包括座椅位置調節(jié)指令、后視鏡位置調節(jié)指令、多媒體音樂播放指令、導航指令、語音指令中的至少一項。
14.第二方面，本技術還提供一種智能交互裝置，所述智能交互裝置包括處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行上述任一所述基于多模融合的智能交互方法的操作。
15.第三方面，本技術還提供一種車輛，所述車輛包括上述任一所述智能交互裝置，以及數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)用于采集所述多模態(tài)信息。
16.由以上技術方案可知，本技術提供一種基于多模融合的智能交互方法、及裝置，所述方法通過獲取多模態(tài)信息，并根據(jù)多模態(tài)信息生成交互數(shù)據(jù)，并將交互數(shù)據(jù)進行輸出。其中多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息以及環(huán)境信息中的一種或多種的組合。所述方法通過對車輛本身和用戶進行全方位的數(shù)據(jù)采集，進而生成交互數(shù)據(jù)，使交
互裝置能夠與用戶進行主動交互，解決了車載人機交互系統(tǒng)無法對多維度用戶及車輛信息進行有效融合的問題，使車載人機交互系統(tǒng)能夠主動為用戶提供符合當前需求的交互服務。
附圖說明
17.為了更清楚地說明本技術的技術方案，下面將對實施例中所需要使用的附圖作簡單地介紹，顯而易見地，對于本領域普通技術人員而言，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
18.圖1為本技術中一種基于多模融合的智能交互方法的流程示意圖；
19.圖2為本技術實施例中一種獲取用戶信息的流程示意圖；
20.圖3為本技術實施例中第一種生成交互數(shù)據(jù)的時序圖；
21.圖4為本技術實施例中第二種生成交互數(shù)據(jù)的時序圖；
22.圖5為本技術實施例中一種生成交互數(shù)據(jù)的流程示意圖；
23.圖6為圖5中所示生成交互數(shù)據(jù)的交互示意圖；
24.圖7為本技術實施例中一種生成交互數(shù)據(jù)的流程示意圖；
25.圖8為圖7中所示生成交互數(shù)據(jù)的交互示意圖；
26.圖9為本技術實施例中一種基于多模融合的智能交互系統(tǒng)的示意圖；
27.圖10為本技術實施例中另一種基于多模融合的智能交互系統(tǒng)的示意圖。
具體實施方式
28.下面將詳細地對實施例進行說明，其示例表示在附圖中。下面的描述涉及附圖時，除非另有表示，不同附圖中的相同數(shù)字表示相同或相似的要素。以下實施例中描述的實施方式并不代表與本技術相一致的所有實施方式。僅是與權利要求書中所詳述的、本技術的一些方面相一致的裝置和方法的示例。
29.本技術中說明書和權利要求書及上述附圖中的術語“第一”、“第二”、“第三”等是用于區(qū)別類似或同類的對象或實體，而不必然意味著限定特定的順序或先后次序，除非另外注明。應該理解這樣使用的用語在適當情況下可以互換。
30.人機交互指的是人與機器系統(tǒng)或計算機系統(tǒng)通過某種對話語言，以一定的交互方式進行的信息交換過程，下述使用機器代指人機交互過程中機器系統(tǒng)和/或計算機系統(tǒng)。在此過程中，用戶對機器做出的任何操作及機統(tǒng)的后續(xù)響應動作都可視為交互。
31.交互分為主動式交互和被動式交互，值得說明的是，由于交互過程中具有至少兩方，即用戶的一方和機器的一方，主動式交互和被動式交互是以單方視角，即交互發(fā)起方單側進行定義的，用戶的主動式交互即代表機器的被動式交互，用戶的被動式交互即代表機器的主動式交互，在本技術實施例中，主動式交互和被動式交互均從機器視角進行定義。本技術實施例中主動式交互為機器作為交互發(fā)起方主動為用戶提供服務，被動式交互指用戶作為交互發(fā)起方，機器響應用戶操作指令進而為用戶提供服務，且本技術實施例中的用戶包括駕駛人員和乘車人員。
32.在機器視角中交互還可包括建議式交互，建議式交互指的是機器為用戶提供一定針對當前應用場景的建議或提示，而用戶根據(jù)建議或提示發(fā)出一定指示，以控制機器提供
服務。由于建議式交互過程中交互發(fā)起方為機器，但交互過程需要經(jīng)過用戶下發(fā)指令，因此建議式交互可被認為是一種特殊的主動式交互。本技術實施例中的主動交互既包括主動式交互也包括建議式交互。
33.汽車作為一種交通工具，也是一種機器，也需要與用戶進行交互從而提供服務，汽車的交互系統(tǒng)被稱為車載人機交互系統(tǒng)，下述說明中均用車載系統(tǒng)進行指代車載人機交互系統(tǒng)?；A的車載系統(tǒng)均采用被動式交互方式，即用戶輸入指令和/或進行操作后，車輛響應指令和/或操作為用戶提供服務。包括方向盤、車內按鈕(車內外燈光、空調、多媒體、導航等)、擋桿、手剎等在內的組件均可視為執(zhí)行被動式交互的車載系統(tǒng)。
34.在上述車載系統(tǒng)的基礎上，大部分車載系統(tǒng)還進行了智能化改進，在車載系統(tǒng)內添加了各種傳感器，包括語音傳感器、動作傳感器、攝像頭等以采集用戶的信息，同時還添加了觸摸屏等組件，用戶可通過觸摸屏對車輛進行控制以取代車內部分按鈕控制，車輛在通過采集用戶的觸屏控制指令、語音指令、動作指令、手勢指令甚至視線指令等信息后，為用戶提供服務。通過采集用戶的各種指令進行服務反饋的方式，使得智能化后的車載系統(tǒng)還屬于被動式交互的車載系統(tǒng)。而智能化后的車載系統(tǒng)不能有效融合采集到的多維度信息，也使得智能化后的車載系統(tǒng)不能提供符合用戶當前需求的交互服務。
35.參見圖1，為本技術中一種基于多模融合的智能交互方法的流程示意圖。如圖1所示，本技術提供一種智能交互方法，以解決車載系統(tǒng)不能有效融合采集到的多維度信息使車載系統(tǒng)不能提供符合用戶當前需求的交互服務的問題。所述交互方法包括：
36.s1：獲取多模態(tài)信息；
37.多模態(tài)信息為智能交互裝置通過車輛內置的各種傳感器采集的數(shù)據(jù)，多模態(tài)信息可以包括車輛狀態(tài)信息、車輛位置信息、用戶信息以及環(huán)境信息中的一種或多種的組合。具體的，為了實現(xiàn)對不同數(shù)據(jù)的融合以獲取多模態(tài)信息，車輛內部的各種傳感器可整合為感知單元，使得感知單元包括各種傳感器，能夠采集周圍的圖片、視頻、語音及位置等數(shù)據(jù)，進而使采集到的數(shù)據(jù)融合為多模態(tài)信息。
38.需要說明的是，本技術中所述基于多模融合的智能交互方法的執(zhí)行主體可為所述智能交互裝置，也可為服務器或其他具有聯(lián)網(wǎng)高速運算能力的電子設備。本技術實施例中通過智能交互裝置執(zhí)行的動作，可通過服務器等電子設備進行實現(xiàn)。具體的，在本技術的部分實施例中，獲取多模態(tài)信息的步驟可為：響應于車輛被激活，調用狀態(tài)傳感器、位置傳感器以及環(huán)境傳感器中的一種或多種；通過狀態(tài)傳感器采集車輛狀態(tài)信息，和/或，通過位置傳感器采集車輛位置信息，和/或，通過環(huán)境傳感器采集環(huán)境信息；對采集的環(huán)境信息、車輛狀態(tài)信息和車輛位置信息中的一種或多種進行融合，以獲取與車輛相關的多模態(tài)信息。
39.其中，傳感器的調用發(fā)生在車輛被激活后，即傳感器在車輛被激活時采集數(shù)據(jù)。車輛的激活能夠通過車鑰匙遠程開鎖，以及用戶在車輛內部通過按鈕、指紋、語音等進行識別來實現(xiàn)，車輛的具體激活方式本技術中不做限制。需要說明的是，部分傳感器也可以在車輛被激活前就被調用，例如用于實現(xiàn)防盜功能的位置傳感器、門磁傳感器等。
40.車輛狀態(tài)信息是指車輛在運行狀態(tài)中的車輛自身的數(shù)據(jù)，包括但不限于車輛的剩余能源情況、車輛的整體運行狀態(tài)、車輛的行駛速度和行駛里程、車輛中門體的開關情況等數(shù)據(jù)。
41.在本實施例中，用于采集車輛狀態(tài)信息的狀態(tài)傳感器可為振動傳感器、門磁傳感
器、速度傳感器、胎壓傳感器、能源傳感器等傳感設備中的一種或多種。其中，振動傳感器可用于感知車身運行時的振動狀態(tài)，以對車輛的整體運行狀態(tài)進行感知。門磁傳感器設置在車門、后備箱門及發(fā)動機蓋等具有開合結構的位置，用于檢測上述開合結構的狀態(tài)，以便為用戶提供安全提醒。速度傳感器能夠采集車輛的運行速度信息。胎壓傳感器能夠檢測車輛輪胎的壓力數(shù)據(jù)。能源傳感器能夠監(jiān)測車輛的剩余能源狀況，而不同種類的汽車使用不同的傳感器，例如油量傳感器用于傳統(tǒng)的耗油汽車，電量傳感器用于新能源汽車。
42.而位置傳感器可為gps天線、北斗天線或其他帶有定位功能的組件中的一種或多種，因此位置傳感器能夠通過定位衛(wèi)星實現(xiàn)車輛位置信息的獲取。在部分實施例中，由于定位衛(wèi)星的精度和傳輸過程中的時延影響，車輛在行駛過程中位置獲取相對于車輛真實位置可能會存在滯后現(xiàn)象，在獲取車輛位置信息后可結合狀態(tài)傳感器和環(huán)境傳感器采集到的信息對車輛位置信息進行實時修正。
43.環(huán)境傳感器用于采集車輛內外的環(huán)境信息，可為攝像頭、溫度傳感器、濕度傳感器等傳感器中的一種或多種的組合。但需要說明的是，為更好的采集環(huán)境信息，攝像頭、溫度傳感器和濕度傳感器具有車內外之分，車外攝像頭、車外溫度傳感器和車外濕度傳感器能夠較全面的獲取車外環(huán)境信息，而車內攝像頭、車內溫度傳感器和車內濕度傳感器能夠更好的獲取車輛空間內的環(huán)境信息，便于后續(xù)針對車內外環(huán)境信息對比，以對車輛內部服務進行調用。
44.在獲取上述信息后，還需要對用戶信息進行采集，上述信息主要是車輛中的傳感器針對車輛自身和車內外的環(huán)境進行采集，而用戶信息則是對車輛內用戶采集的數(shù)據(jù)。用戶信息包括圖像數(shù)據(jù)、語音數(shù)據(jù)、用戶識別結果數(shù)據(jù)以及登錄賬號信息中的一種或多種的組合。
45.用戶信息可以由用戶手動輸入，也可以通過采集獲取，即部分用戶信息內的數(shù)據(jù)需要通過主機單元在采集數(shù)據(jù)后通過對進行分析計算獲取。在本技術的部分實施例中，在獲取用戶信息前，所述方法還包括：響應于檢測到用戶進入車輛，獲取在車輛內用戶的圖像數(shù)據(jù)及語音數(shù)據(jù)；從圖像數(shù)據(jù)中提取用戶面部特征信息，以及從語音數(shù)據(jù)中提取聲紋信息；將面部特征及聲紋信息與預先錄入的模板信息進行比對，以根據(jù)比對結果生成用戶識別結果數(shù)據(jù)。
46.由于用戶在車輛外部時，車輛即使能夠檢測到用戶的數(shù)據(jù)，也無法為用戶提供服務，僅有當用戶進入車輛后，車輛對用戶的數(shù)據(jù)采集才具有實際意義，因此在部分實施例中，采集用戶信息前需要檢測用戶是否已經(jīng)進入車輛。而檢測用戶是否已經(jīng)進入車輛可通過在門體內放置傳感器、車輛內設置攝像頭和/或語音采集器、座椅內放置壓力傳感器等一種或多種組合的方法實現(xiàn)，具體的檢測方法本技術中不做限制。
47.當檢測到用戶進入車輛或檢測到車輛內存在用戶，車內攝像頭和語音采集器等設備就能夠對車輛內用戶進行圖像數(shù)據(jù)和語音數(shù)據(jù)的采集。在圖像數(shù)據(jù)和語音數(shù)據(jù)采集完成后，在圖像數(shù)據(jù)和語音數(shù)據(jù)中分別提取能夠辨識用戶特征的面部特征信息和聲紋信息，再將提取獲得的信息和預先錄入的模板信息進行比對并根據(jù)比對結果生成用戶識別數(shù)據(jù)。
48.需要說明的是，模板信息為用戶提前錄入的信息，在部分實施例中，車輛用戶通過向車輛的云端或本地存儲中上傳清晰正面照片及清晰錄音，就能夠錄入模板信息。所述正面照片用于提取模板面部特征信息，清晰錄音用于提取模板聲紋信息。顯然，同一輛車的用
戶可以不唯一，具有權限的用戶可自行錄入不同用戶的模板信息，便于車輛應用于不同場景，所述具有權限的用戶可為已錄入模板信息的用戶。
49.在一些實施例中，若車輛的云端和本地均未錄入模板信息，可通過車鑰匙或其他識別工具進行模板信息的上傳錄入，其中，識別工具可為磁卡、識別碼等，具體識別方法本技術中不做限制。但為保證安全，通過非具有權限的用戶錄入模板信息的機會僅有一次。
50.在部分實施例中，提取面部特征信息的過程可簡化為在圖像數(shù)據(jù)中提取幾幀圖像，其中包括用戶的正面清晰圖像，通過對比預先錄入的模板信息中的圖像進行比對，相似度達到相似度閾值即可通過面部識別，相似度閾值可為75％或80％，相似度閾值可由用戶自行設置，但不宜過低，本技術中不做其他限制。
51.由于驗證聲紋信息需要提取用戶的語音數(shù)據(jù)，在僅有一個用戶進入車輛的場景中，很難提取到有效的語音數(shù)據(jù)。因此在部分實施例中，在檢測到車輛內用戶為1時，進行用戶識別時，僅提取用戶的面部特征信息與模板信息進行比對，以根據(jù)比對結果生成用戶識別結果數(shù)據(jù)。
52.用戶識別結果數(shù)據(jù)是根據(jù)面部特征及聲紋信息與模板信息進行比對的結果生成的，當比對成功通過時，用戶識別結果數(shù)據(jù)中包含識別成功信息以及該用戶提前錄入的身份信息和車輛的專屬登錄賬號；當比對失敗時，用戶識別結果數(shù)據(jù)中僅包括識別失敗信息和車輛采集到的當前用戶信息，即當前用戶的圖像數(shù)據(jù)和語音數(shù)據(jù)。
53.需要說明的是，車輛內包括識別成功信息的用戶識別結果數(shù)據(jù)數(shù)量需要大于或等于1，在部分實施例中，在檢測到車輛內有用戶存在，但包括識別成功信息的用戶識別結果數(shù)據(jù)數(shù)量小于1個時，車輛發(fā)出警報且無法啟動。
54.s2：根據(jù)多模態(tài)信息，生成交互數(shù)據(jù)。
55.在采集完多模態(tài)信息后，為了實現(xiàn)主動式交互，還需要根據(jù)多模態(tài)信息，生成交互數(shù)據(jù)，而交互數(shù)據(jù)包括用于適應多模態(tài)信息的車輛控制指令和/或交互提示信息。具體的，車輛控制指令用于控制車輛中的器件為用戶提供服務，而交互提示信息部分為車輛控制指令執(zhí)行完成后的反饋結果，部分為根據(jù)多模態(tài)信息生成的針對用戶當前所處場景的建議性信息。
56.交互提示信息是為了告知用戶車輛已經(jīng)做出的操作以及建議用戶將要對車輛進行的交互。交互提示信息可通過語音和/或圖片的方法通知至用戶。在本技術的部分實施例中，車輛內設置了語音交互單元和/或顯示模塊，以實現(xiàn)交互提示信息的語音播放和/或圖片顯示。
57.s3：輸出交互數(shù)據(jù)。
58.如果所述根據(jù)多模態(tài)信息，生成交互數(shù)據(jù)這一步驟在所述智能交互裝置中進行，在生成交互數(shù)據(jù)后，所述智能交互裝置可直接將交互數(shù)據(jù)輸出至車輛的控制單元中，以控制車輛提供交互數(shù)據(jù)中包含的服務。
59.在部分實施例中，存在通過云端服務器等設備執(zhí)行所述智能交互方法，在此基礎上，智能交互裝置與云端服務器無線連接，云端服務器用于獲取多模態(tài)信息，根據(jù)多模態(tài)信息生成交互數(shù)據(jù)，并將交互數(shù)據(jù)輸出至智能交互裝置，再由智能交互裝置將交互數(shù)據(jù)發(fā)送至車輛的控制單元中，以控制車輛提供交互數(shù)據(jù)中包含的服務。
60.而為了使生成的交互數(shù)據(jù)更加符合當前用戶的喜好或使用習慣，當所述多模態(tài)信
息包括環(huán)境信息、用戶信息、車輛位置信息時，所述環(huán)境信息包括車內溫度，所述用戶信息包括用戶特征數(shù)據(jù)和用戶圖像數(shù)據(jù)，所述根據(jù)多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶圖像數(shù)據(jù)和所述用戶特征數(shù)據(jù)，確定特殊用戶，以及所述特殊用戶的乘坐位置，所述特殊用戶包括大齡用戶和幼齡用戶；根據(jù)所述特殊用戶的乘坐位置、所述車輛位置信息以及所述車內溫度，生成車輛控制指令和交互提示信息；所述車輛控制指令用于控制所述特殊用戶的乘坐位置的空調溫度高于閾值溫度且風量低于閾值風量，所述交互提示信息用于提示用戶所述車輛的空調調節(jié)模式。
61.需要說明的是，所述特殊用戶可直接通過用戶特征數(shù)據(jù)進行判斷，用戶特征數(shù)據(jù)中包括用戶的年齡、職業(yè)、性別等用戶個人的特征信息。但如果車輛內未存儲用戶的特征數(shù)據(jù)，則通過采集用戶圖像數(shù)據(jù)和/或用戶語音數(shù)據(jù)判斷用戶年齡，進而判斷出用戶的用戶類型。在部分實施例中，大齡用戶可為年齡大于或等于60歲的用戶，幼齡用戶可為年齡小于或等于10歲的用戶，大齡用戶和幼齡用戶的年齡可由用戶自行設置。通過調節(jié)特殊用戶所在區(qū)域的空調，防止特殊用戶因空調溫度過低或風量過大產生健康風險。所述閾值溫度可通過用戶自行進行設置，例如閾值溫度可設為25℃。由于車內空調常設置檔位以表示風量的大小，所述閾值風量可為閾值風量檔位，例如車內空調的風量由低至高設有5檔，可設置閾值風量檔位為3檔，使得風量不會過大。
62.例如，在晴天較熱時，若用戶為大齡用戶或幼齡用戶，則所述車輛控制指令會控制該用戶所在位置的空調溫度不會低于閾值溫度，且風量不會大于閾值風量。若用戶不屬于上述的兩種用戶，則所述車輛控制指令不會控制該用戶所在位置的空調。在部分實施例中，若用戶為大齡用戶或幼齡用戶，還會對車輛內的濕度進行控制。
63.具體的，為了實現(xiàn)對不同用戶的提供不同的服務，如圖3所示，在本技術的部分實施例中，生成交互數(shù)據(jù)的步驟包括：根據(jù)用戶識別結果數(shù)據(jù)，獲取登錄賬號信息；依據(jù)登錄賬號信息查詢用戶習慣參數(shù)；根據(jù)用戶習慣參數(shù)，結合多模態(tài)信息生成車輛控制指令；獲取車輛執(zhí)行車輛控制指令的反饋信號，以及根據(jù)反饋信號生成交互提示信息。
64.在本實施例中，能夠通過用戶識別結果數(shù)據(jù)，獲取登錄賬號信息。具體的，在面部特征及聲紋信息與模板信息進行比對，生成用戶識別結果數(shù)據(jù)時，如果比對成功通過，還能夠從云端或本地存儲中獲取當前用戶的專屬登錄賬號，通過專屬登錄賬號執(zhí)行登錄操作。如果專屬登錄賬號登錄成功，則在賬號內讀取當前用戶的登錄賬號信息。
65.登錄賬號信息包括用戶習慣參數(shù)，根據(jù)當前用戶的登錄賬號信息，能夠查詢到當前用戶的用戶習慣參數(shù)，用戶習慣參數(shù)包括但不限于車輛空調溫度、座椅位置、后視鏡位置、多媒體音樂、導航等不同模式的參數(shù)。根據(jù)用戶習慣參數(shù)，并結合多模態(tài)信息，進而生成車輛控制指令，車輛控制指令能夠控制車輛按一定參數(shù)為用戶提供服務。車輛在執(zhí)行車輛控制指令后會生成反饋信號，根據(jù)反饋信號就可以生成交互提示信息。
66.在獲取用戶習慣參數(shù)后，結合多模態(tài)信息生成車輛控制指令是為了使交互服務更符合當前用戶的需求。用戶習慣參數(shù)僅代表當前用戶的一種常用參數(shù)設置，而外界環(huán)境的變化也會影響用戶所需要的交互服務發(fā)生變化，只使用用戶習慣參數(shù)進行設置會缺少變通，使得車輛提供的交互服務不符合用戶當前的需求。例如下雨時仍采用晴天時的用戶習慣參數(shù)進行設置，可能會導致車內進水或車內空調溫度過低等問題出現(xiàn)。因此在實際應用中，在獲取到用戶習慣參數(shù)后，還需要結合多模態(tài)信息，共同生成車輛控制指令。
67.本實施例中的交互提示信息主要用于提示用戶車輛已按照用戶習慣參數(shù)進行參數(shù)設置，交互提示信息可通過語音播放和/或圖片顯示的方式通知到用戶，示例性的，在獲取到反饋信號后，通過語音發(fā)出“已為您打開空調，并調整至舒適的溫度模式”的提示。
68.在車輛內存在多人的場景中，為盡可能滿足車內所有用戶的需求以及為用戶提供一定的規(guī)劃建議，當多模態(tài)信息包括用戶信息時，所述用戶信息包括用戶特征數(shù)據(jù)，以及用戶語音數(shù)據(jù)和用戶圖像數(shù)據(jù)中的至少一種，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括通過用戶圖像數(shù)據(jù)和/或用戶語音數(shù)據(jù)獲取車輛內用戶數(shù)量；根據(jù)所述用戶數(shù)量和所述用戶特征數(shù)據(jù)，生成乘車用戶類型組合；根據(jù)所述乘車用戶類型組合，生成與用戶出行需求對應的交互提示信息，所述交互提示信息包括推薦目的地。
69.在部分實施例中，生成交互數(shù)據(jù)，且交互數(shù)據(jù)中包括與用戶出行需求對應的交互提示信息的步驟，包括：在用戶識別結果數(shù)據(jù)中提取車輛內用戶數(shù)量；如果用戶數(shù)量大于1，獲取針對車輛內所有用戶的用戶識別結果數(shù)據(jù)；根據(jù)位于車輛駕駛位用戶的用戶識別結果數(shù)據(jù)，獲取登錄賬號信息；從多個用戶識別結果數(shù)據(jù)中讀取用戶類型，以生成乘車用戶類型組合；根據(jù)乘車用戶類型組合，生成交互提示信息，交互提示信息包括推薦目的地。
70.在本實施例中，需要對車輛內部用戶數(shù)量進行檢測。通過用戶識別結果數(shù)據(jù)的數(shù)量能夠判斷車輛內的用戶數(shù)量，用戶數(shù)量大于或等于2時，獲取車輛內所有用戶的用戶識別結果數(shù)據(jù)。為了獲取初步的設置參數(shù)，根據(jù)車輛駕駛位用戶的用戶識別結果數(shù)據(jù)能夠登錄以獲取登錄賬號信息。
71.當獲取多個用戶識別結果數(shù)據(jù)后，從中讀取用戶類型，而后根據(jù)用戶類型間的關系生成用戶類型組合。用戶類型主要根據(jù)用戶識別結果數(shù)據(jù)中的用戶性別、用戶年齡等信息進行判斷，示例性的，用戶類型包括嬰幼兒、兒童、青年男、青年女、中年男、中年女、老年男、老年女等類型，用戶類型的名稱并不固定，不同用戶類型的用戶僅存在年齡和/或性別差異。
72.用戶性別和用戶年齡等信息均根據(jù)用戶識別結果數(shù)據(jù)中獲取，而用戶識別結果數(shù)據(jù)中可包括用戶的圖像數(shù)據(jù)和語音數(shù)據(jù)，因此綜合用戶的圖像數(shù)據(jù)和語音數(shù)據(jù)能夠對用戶的年齡和性別進行判定。需要說明的是，對用戶的年齡和性別進行判定存在一定的誤判幾率，且用戶的年齡通常為一個年齡范圍。
73.用戶類型組合是對于車內用戶體進行識別后的一種可能結果。在本實施例中，用戶類型組合可包括家庭、朋友、情侶、同事等。例如，通過圖像數(shù)據(jù)和語音數(shù)據(jù)，得到車輛內用戶為4個，所有用戶的年齡在同一個年齡范圍內，由此即可判斷用戶類型組合為朋友。例如通過圖像數(shù)據(jù)和語音數(shù)據(jù)，得到車輛內用戶為3個，一個為中年男性，一個為中年女性，一個為兒童或青年，可判斷用戶類型組合為家庭。
74.在獲取用戶類型組合后，生成交互提示信息。在部分實施例中，為實現(xiàn)與用戶的主動交互，在獲取用戶類型組合后，還需要獲取時間，對用戶的出行目的進行初步的判斷，并通過初步判斷結果與導航地圖等數(shù)據(jù)生成推薦目的地列表，并將推薦目的地列表以語音和/或屏幕顯示的方式呈現(xiàn)給用戶，為用戶提供出行推薦目的地的交互服務。例如獲取到的用戶類型組合為家庭，其中孩子的年齡位于兒童年齡范圍內，時間為周末，可判斷出行目的為家庭周末出游，生成的推薦目的地包括附近的大型商場、游樂場和公園等目標，并以語音形式播放和/或圖片形式顯示在顯示模塊上，以便于用戶進行觀看和判斷。
75.在部分實施例中，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：
76.根據(jù)所述用戶信息和/或所述環(huán)境信息，確定所述駕駛人員的疲勞程度和/或所述用戶的情緒狀態(tài)；根據(jù)所述駕駛人員的疲勞程度和所述車輛的位置信息，生成緩解所述駕駛人員疲勞程度的車輛控制指令和/或交互提示信息，所述車輛控制指令包括空調控制指令和座椅按摩指令，所述交互提示信息包括疲勞提醒和推薦休息地；和/或，根據(jù)所述用戶的情緒狀態(tài)，生成緩解所述用戶情緒狀態(tài)的交互提示信息。
77.具體的，環(huán)境信息可包括天氣、時間、車輛外部溫度等信息，所述用戶信息可包括駕駛人員的面部信息、駕駛人員的駕駛時長、用戶語音數(shù)據(jù)、用戶圖像數(shù)據(jù)以及用戶特征數(shù)據(jù)等信息。
78.在車輛內存在多人的場景中，車內可能存在年齡較小的用戶，為避免年齡較小的用戶的情緒影響車輛內其他用戶，特別是駕駛位用戶，在本技術的部分實施例中，生成緩解所述用戶情緒狀態(tài)的交互提示信息，還可包括：從用戶識別結果數(shù)據(jù)中讀取用戶年齡；如果用戶年齡小于或等于年齡閾值，根據(jù)圖像數(shù)據(jù)和語音數(shù)據(jù)識別用戶情緒信息；根據(jù)用戶情緒信息生成交互提示信息，交互提示信息包括互動語音和互動圖像。
79.本實施例中，用戶識別結果數(shù)據(jù)中包括用戶年齡，用戶年齡是通過圖像數(shù)據(jù)和語音數(shù)據(jù)分析獲取的預估值，用戶識別結果數(shù)據(jù)中的用戶年齡不代表用戶的真實年齡。需要說明的是，在部分實施例中，用戶在錄入模板信息時，錄入的模板信息中包含用戶年齡，因此在獲取用戶識別結果數(shù)據(jù)后，根據(jù)用戶識別結果數(shù)據(jù)是否包括識別成功信息，可對獲取的年齡進行準確判斷，若用戶識別結果數(shù)據(jù)包括識別成功信息，則該用戶的年齡為真實年齡；用戶識別結果數(shù)據(jù)不包括識別成功信息則該用戶的年齡為預估年齡。
80.獲取用戶年齡后，還需要通過用戶年齡與年齡閾值進行比對，如果用戶年齡小于或等于年齡閾值，根據(jù)圖像數(shù)據(jù)和語音數(shù)據(jù)識別用戶情緒信息。年齡閾值為系統(tǒng)默認的信息，默認值為10，但用戶能夠對年齡閾值進行變更，但為避免錯誤變更導致不識別用戶情緒信息，年齡閾值可在8～14范圍內進行選取。需要說明的是，用戶情緒信息包括用戶的表情信息，而用戶的表情信息是通過用戶的圖像數(shù)據(jù)進行識別的。
81.在獲取用戶情緒信息后，根據(jù)獲取到的用戶情緒信息生成交互提示信息，交互提示信息包括互動語音和互動圖像。生成交互提示信息的過程中，首先需要對用戶情緒信息進行識別，如果用戶情緒信息中包含哭鬧或吵鬧情緒信息，生成用于安撫的互動語音，同時顯示模塊能夠顯示與互動語音相配合的互動圖像，增加安撫效果。具體的，互動語音可為猜謎、講故事或閑聊，互動圖像可為與互動語音配合的圖像。
82.由于產生哭鬧或吵鬧信息的通常為年齡較小，而年齡較小的用戶在乘坐車輛時需要坐在駕駛座后排座椅上，一旦產生哭鬧或吵鬧情緒，會導致駕駛位用戶分心查看，為駕駛帶來一定的危險，因此在本技術的部分實施例中，在獲取用戶情緒信息后，如果用戶情緒信息中包含哭鬧或吵鬧情緒信息，還會在顯示模塊上顯示哭鬧用戶的圖像信息，使駕駛位用戶不需要大幅動作即可觀察到哭鬧用戶的情況，減少了駕駛過程中分心的情況。
83.在部分實施例中，車輛在進行長途運行或夜間運行的過程中，駕駛位用戶可能存在困倦、疲憊的情況，為避免疲勞駕駛帶來的安全風險，如圖4所示，生成緩解所述駕駛人員疲勞程度的交互數(shù)據(jù)的步驟，還包括：從多模態(tài)信息中讀取車輛狀態(tài)信息和車輛位置信息，車輛狀態(tài)信息包括單次行駛時間；如果單次行駛時間大于或等于時間閾值，根據(jù)圖像數(shù)據(jù)
及語音數(shù)據(jù)，識別用戶疲勞狀態(tài)信息；根據(jù)用戶疲勞狀態(tài)信息和車輛位置信息，生成交互提示信息，交互提示信息包括疲勞提醒和推薦休息地。
84.在本實施例中，主機單元從多模態(tài)信息中讀取車輛狀態(tài)信息和車輛位置信息，并從車輛狀態(tài)信息中獲取單次行駛時間，具體的，單次行駛時間為當前駕駛位用戶本次持續(xù)駕車行駛時間。將單次行駛時間與時間閾值進行對比，如果單次行駛時間大于或等于時間閾值，主機單元會對駕駛位用戶的實時圖像數(shù)據(jù)和語音數(shù)據(jù)進行提取分析，通過圖像數(shù)據(jù)中的眨眼頻率、閉眼時長及語音數(shù)據(jù)中的打哈欠數(shù)據(jù)進行分析，獲取用戶的疲勞狀態(tài)信息。主機單元再根據(jù)用戶疲勞狀態(tài)信息和車輛位置信息結合，生成交互提示信息。交互提示信息能夠通過語音提示、彈框提示以及形象交互等的形式進行實現(xiàn)。
85.需要說明的是，時間閾值的數(shù)值為預置在主機單元內的數(shù)據(jù)，且白天行駛與夜間行駛的時間閾值存在不同，晴天行駛與陰雨天行駛的時間閾值也不相同，例如晴朗白天行駛的時間閾值為1小時，夜間行駛的時間閾值為0.5小時，陰雨天行駛的時間閾值為0.5小時。
86.如圖5所示，具體的，如果檢測到用戶的閉眼時長增加且檢測到打哈欠數(shù)據(jù)，可判斷用戶處于疲勞狀態(tài)，同時還可將疲勞狀態(tài)劃分為輕度疲勞、中度疲勞和重度疲勞，不同的疲勞狀態(tài)間主要通過閉眼時長進行劃分，閉眼時長越長則疲勞狀態(tài)越重。同時針對不同的疲勞狀態(tài)，生成的交互提示信息存在不同，例如主機單元檢測到駕駛位用戶處于輕度疲勞狀態(tài)，自動播放用戶喜愛的音樂和/或將車內空調調整至吹面冷風模式，以幫助駕駛位用戶醒神，如果駕駛位用戶的疲勞狀態(tài)發(fā)展為中度或重度疲勞狀態(tài)，獲取車輛位置信息、目的地信息和導航信息，根據(jù)車輛位置信息、目的地信息和導航信息為駕駛位用戶顯示與目的地的間距，以及為駕駛位用戶推薦最近的休息區(qū)域，并通過語音進行提示，避免用戶疲勞駕駛。
87.示例性的，如果用戶開車行駛在高速公路上，根據(jù)車輛位置信息和導航信息，距離目的地有300公里，且用戶已連續(xù)行駛4小時，車速在100公里每小時以上。獲取到駕駛位用戶處于輕度疲勞狀態(tài)且天氣為小雨，此時語音提醒用戶“雨天行車注意降低車速、保持車距”，并開啟用戶喜歡的音樂類型緩解疲勞。若駕駛位用戶繼續(xù)行駛的過程中疲勞程度加劇，進入中度或重度疲勞狀態(tài)，此時開啟空調吹面冷風或座椅按摩進行提神，并結合導航信息進行語音提示“疲勞駕駛危險，請到前方2公里處的xxx服務區(qū)休息”。
88.為了實現(xiàn)車載系統(tǒng)主動式交互的同時，還能夠為用戶提供更加貼合當前場景的交互服務，如圖6所示，在本技術的部分實施例中，還能夠通過目的地為用戶推送目的地的相關服務，交互數(shù)據(jù)還包括場景推送信息，而生成交互數(shù)據(jù)的步驟，還包括：獲取導航信息；從導航信息中讀取目的地信息，以及從多模態(tài)信息中讀取車輛位置信息；根據(jù)車輛位置信息和目的地信息計算剩余路程；如果剩余路程小于或等于路程閾值，根據(jù)目的地信息和用戶信息生成場景推送信息。
89.在本實施例中，需要在車輛行駛過程中獲取車輛的導航信息，導航信息中包含目的地信息，需要說明的是，目的地信息主要為目的地位置信息、目的地屬性信息及目的地周邊信息，通過目的地位置信息可得知目的地的具體方位；通過目的地屬性信息可得知目的地的功能屬性，例如商場、公園等；通過目的地周邊信息能夠獲取目的地周圍具有商業(yè)屬性的建筑，例如旅館、飯店、停車場等。
90.在通過導航信息獲取目的地信息后，從多模態(tài)信息中獲取車輛位置信息，并根據(jù)目的地信息、車輛位置信息以及導航信息計算車輛距離目的地的剩余路程。將剩余路程與車輛內置的路程閾值進行比較，如果剩余路程小于或等于路程閾值，主機單元根據(jù)目的地信息中的屬性信息和周邊信息與用戶信息結合生成場景推送信息，并在車輛內語音播放場景推送信息和/或顯示被推送的場景。具體的，路程閾值可為默認距離也可為用戶錄入的距離，默認距離為500m，即在檢測到剩余路程小于或等于500m時，根據(jù)目的地信息和用戶信息生成場景推送信息。而針對用戶錄入的距離，僅限制最小值不能小于50m，即用戶錄入的距離大于或等于50m即可。
91.例如，在用戶駕駛車輛在周末中午前往商場，在檢測到剩余路程小于或等于500m時，即可根據(jù)商場信息和用戶信息，推送最近的停車場、評價較好的美食店以及購物場所，通過語音播放附近停車場位置，并通過顯示模塊顯示美食店和/或購物場所及其評價。
92.在部分實施例中，所述多模態(tài)信息中還包括導航信息。在此基礎上，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)車輛位置信息和導航信息，獲取行駛路線信息；根據(jù)行駛路線信息，判斷車輛是否接近特殊路段；特殊路段包括隧道路段；若車輛接近特殊路段，生成車輛控制指令和交互提示信息；車輛控制指令包括打開車燈指令、關閉車窗指令，以及車輛的空調運行模式調整指令，交互提示信息用于提示用戶注意特殊路段。
93.具體的，通過導航信息中的路段信息及交通情況對路程中的特殊路段，例如隧道、高架橋、道口等，進行標注，在車輛的位置與特殊路段的間距小于路程閾值時，生成交互提示信息提醒用戶即將經(jīng)過特殊路段，例如語音提示“前方xxx米經(jīng)過學校路段，請減速慢行”等。在檢測到車輛即將進入特殊路段時，也可生成車輛控制指令對車輛進行控制，例如在車輛即將進入隧道時，通過語音提示用戶“前方即將進入隧道，為您開啟隧道模式”，并自動打開車燈，關閉車窗，將空調切換至內循環(huán)模式。
94.在實際應用中，由于新能源汽車的滿能源續(xù)航里程相較于燃油車短，在行駛途中經(jīng)常會出現(xiàn)電量過低的情況，因此在部分實施例中，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：
95.根據(jù)車輛的電池電量，確定車輛的續(xù)航里程；根據(jù)車輛位置和導航信息，確定剩余里程；若所述車輛的續(xù)航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述車輛續(xù)航里程范圍內充電站的路線信息。其中所述車輛的狀態(tài)信息包括所述車輛的電池電量，所述車輛位置信息包括車輛位置，所述多模態(tài)信息還包括導航信息。
96.同時，在車輛剩余電量不同的條件下，在本技術部分實施例中，生成的路線信息存在不同。若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量小于或等于閾值電量，生成包括第一路線信息的交互提示信息，所述第一路線信息包括與所述車輛位置最近的充電站的路線信息；若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量大于所述閾值電量，生成包括第二路線信息的交互提示信息，所述第二路線信息包括所述車輛續(xù)航里程范圍內的目標充電站的路線信息；所述目標充電站包括充電價格低于閾值價格、空閑率高于閾值空閑率、具有停車休息服務的充電站。具體的，閾值電量可為整體電量的5％。
97.如圖7所示，在部分實施例中，生成交互數(shù)據(jù)的步驟，還包括：從多模態(tài)信息中讀取車輛狀態(tài)信息和車輛位置信息，車輛狀態(tài)信息包括續(xù)航里程；響應于輸入目的地信息，根據(jù)
車輛位置信息生成導航信息；如果續(xù)航里程滿足導航信息中需求的里程，生成第三線路信息，第三線路信息為去往輸入目的地的線路信息；如果續(xù)航里程不滿足導航信息中需求的里程，生成第四線路信息，第四線路信息為去往車輛續(xù)航里程范圍內的加油站或充電樁的路線信息。
98.在本實施例中，在獲取車輛狀態(tài)信息和車輛位置信息后，車輛的續(xù)航里程主要通過車輛狀態(tài)信息中的剩余能源狀況和車輛的功耗共同獲取，如圖8所示，通過輸入的目的地信息以及車輛位置信息生成導航信息，將續(xù)航里程與導航信息的需求里程進行對比，如果續(xù)航里程滿足需求，則會生成第三路線信息，第三路線信息即為導航信息中生成的路線；如果續(xù)航里程不滿足需求，則會生成第四路線信息，第四路線信息是在導航信息的基礎上，增加去往車輛續(xù)航里程范圍內的加油站或充電樁的路線信息。
99.在本實施例中，在生成路線信息后，還可根據(jù)生成的路線信息，生成交互提示信息，例如生成第三路線信息時，可語音播放“當前續(xù)航里程滿足出行需求，請放心行駛”；生成第四路線信息時，可語音播放“當前車輛能源不足，請前往前方n公里處的充電樁/加油站”。
100.在交互系統(tǒng)實際運行過程中，所述智能交互方法可在車輛中進行，也可在服務器中進行。而當所述智能交互方法在所述服務器中進行時，在進行智能交互的過程中，服務器就需要需要向車輛中的智能交互裝置以及控制系統(tǒng)發(fā)送所述車輛控制指令和/或所述交互提示信息。
101.同時，當所述智能交互方法在車輛中的智能交互裝置中執(zhí)行時，如圖2所示，所述方法還包括：根據(jù)所述用戶的面部信息和/或所述用戶的聲紋信息，識別所述用戶身份；根據(jù)所述用戶身份對應的車輛歷史設置參數(shù)，生成與所述用戶身份對應的車輛控制指令；所述車輛控制指令包括座椅位置調節(jié)指令、后視鏡位置調節(jié)指令、多媒體音樂播放指令、導航指令、語音指令中的至少一項。其中車輛歷史設置參數(shù)可為其他實施例中的用戶習慣參數(shù)。
102.具體的，基于上述一種基于多模融合的智能交互方法，本技術還提供一種基于多模融合的智能交互裝置，所述智能交互裝置包括處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行所述基于多模融合的智能交互方法中的操作。
103.同時，本技術還提供一種車輛，所述車輛包括所述智能交互裝置，以及數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)用于采集所述多模態(tài)信息。所述智能交互裝置能夠在車輛端直接進行分析，從而獲取交互數(shù)據(jù)。
104.需要說明的是，若所述智能交互裝置設置在服務器端，車輛端需要同樣設置收發(fā)器，用于發(fā)送多模態(tài)信息和接收交互數(shù)據(jù)。
105.基于上述一種基于多模融合的智能交互方法，本技術還提供一種基于多模融合的智能交互系統(tǒng)，如圖9所示，所述系統(tǒng)可包括感知單元、車身控制單元和車載主機單元。需要說明的是，本實施例中，車載主機單元用于指代智能交互裝置，感知單元用于指代數(shù)據(jù)采集系統(tǒng)，車身控制單元用于指代車輛的控制系統(tǒng)。
106.其中，感知單元能夠采集多模態(tài)信息和用戶信息，具體的，感知單元內置了狀態(tài)傳感器、位置傳感器以及環(huán)境傳感器中的一種或多種的組合，從而對多模態(tài)信息和用戶信息
進行采集。
107.車身控制單元能夠接收和響應車載主機單元生成的交互數(shù)據(jù)。具體的，車身控制單元中包含顯示模塊、語音模塊及控制模塊，顯示模塊和語音模塊能夠在接收到交互數(shù)據(jù)中的交互提示信息后，根據(jù)交互提示信息內容，語音播放或圖像顯示給用戶；控制模塊則在接收到交互數(shù)據(jù)中的車輛控制指令后，控制車輛的空調、座椅、后視鏡、多媒體、導航等功能的開啟和/或參數(shù)調整。
108.在部分實施例中，顯示模塊中可包括虛擬形象組件，使顯示模塊能夠顯示一個可視化形象與用戶進行交互，這種通過形象交互進行提醒的方式，相較于普通的圖像或彈框顯示，能夠增加車輛與用戶的親近感，近似實現(xiàn)與人交流的效果。可視化形象可為卡通形象、虛擬形象及3d真人形象，用戶能夠自行調整可視化形象的外觀種類。同時不同種類的可視化形象還配有不同的語音程序，語音程序能夠使語音模塊進行語音播放過程中，聲音更加符合當前的可視化形象。
109.而車載主機單元則能夠通過感知單元獲取多模態(tài)信息，根據(jù)多模態(tài)信息，生成交互數(shù)據(jù)，并將交互數(shù)據(jù)輸出。其中的多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息以及環(huán)境信息中的一種或多種的組合；而用戶信息包括圖像數(shù)據(jù)、語音數(shù)據(jù)、用戶識別結果數(shù)據(jù)以及登錄賬號信息中的一種或多種的組合；交互數(shù)據(jù)包括用于適應多模態(tài)信息的車輛控制指令和/或交互提示信息。
110.在本技術的部分實施例中，所述智能交互系統(tǒng)包括車輛和服務器；所述車輛用于采集多模態(tài)信息，所述多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息或所述車輛所處的環(huán)境信息中的至少一種；所述車輛向所述服務器發(fā)送所述多模態(tài)信息；所述服務器接收所述多模態(tài)信息，并根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，所述交互數(shù)據(jù)包括車輛控制指令和/或交互提示指令；所述服務器向所述車輛發(fā)送所述交互數(shù)據(jù)；所述車輛接收所述交互數(shù)據(jù)，根據(jù)所述車輛控制指令對所述車輛進行控制，和/或，根據(jù)所述交互提示指令生成交互提示信息。
111.具體的，在本實施例中，如圖10所示，所述系統(tǒng)還包括云端服務單元，云端服務單元與車載主機單元無線連接。云端服務單元起到所述服務器的作用，即在部分實施例中，可通過云端服務單元進行接收多模態(tài)信息，根據(jù)多模態(tài)信息生成交互數(shù)據(jù)以及輸出交互數(shù)據(jù)的步驟。同時云端服務單元接收車載主機單元通過感知單元采集的多模態(tài)信息時，還可以進行存儲，通過存儲的數(shù)據(jù)豐富當前用戶的使用習慣，并通過用戶的使用習慣更新算法，以使云端服務單元能夠準確生成符合當前用戶的交互數(shù)據(jù)并輸出至車輛中。而車載主機單元在接收到云端服務單元輸出的交互數(shù)據(jù)后，將交互數(shù)據(jù)發(fā)送至車身控制單元中，以控制車輛為用戶提供服務。
112.若在云端服務單元執(zhí)行所述智能交互方法的步驟，則在車載主機單元中需要配置與云端服務單元對應的收發(fā)器，以實現(xiàn)車端和云端的數(shù)據(jù)流通。
113.在部分實施例中，云端服務單元也可將更新后的算法下發(fā)至車載主機單元中，更新車載主機單元的算法。云端服務單元還能夠用于對用戶信息的存儲，包括用戶的登錄賬號信息、模板信息以及生成交互數(shù)據(jù)時需要的年齡閾值、時間閾值等信息。同時將面部特征及聲紋信息與預先錄入的模板信息進行比對可在云端服務單元進行，云端服務單元在比對完成后將比對結果下發(fā)給車載主機單元以便于其生成用戶識別結果數(shù)據(jù)。
114.由以上技術方案可知，本技術提供一種基于多模融合的智能交互方法及裝置，所述方法通過獲取多模態(tài)信息，并根據(jù)多模態(tài)信息生成交互數(shù)據(jù)。其中多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息以及環(huán)境信息中的一種或多種的組合。所述方法通過對車輛本身和用戶進行全方位的數(shù)據(jù)采集，進而生成交互數(shù)據(jù)，使交互裝置能夠與用戶進行主動交互，解決了車載人機交互系統(tǒng)無法對多維度用戶及車輛信息進行有效融合的問題，使車載人機交互系統(tǒng)能夠主動為用戶提供符合當前需求的交互服務。
115.本技術提供的實施例之間的相似部分相互參見即可，以上提供的具體實施方式只是本技術總的構思下的幾個示例，并不構成本技術保護范圍的限定。對于本領域的技術人員而言，在不付出創(chuàng)造性勞動的前提下依據(jù)本技術方案所擴展出的任何其他實施方式都屬于本技術的保護范圍。
技術特征：
1.一種基于多模融合的智能交互方法，其特征在于，包括：獲取多模態(tài)信息，所述多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息和環(huán)境信息中的至少一種；根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，所述交互數(shù)據(jù)包括車輛控制指令和/或交互提示信息；輸出所述交互數(shù)據(jù)。2.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，當所述多模態(tài)信息包括所述用戶信息時，所述用戶信息包括用戶特征數(shù)據(jù)，以及用戶語音數(shù)據(jù)和用戶圖像數(shù)據(jù)中的至少一種，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：通過所述用戶圖像數(shù)據(jù)和/或所述用戶語音數(shù)據(jù)獲取車輛內用戶數(shù)量；根據(jù)所述用戶數(shù)量和所述用戶特征數(shù)據(jù)，生成乘車用戶類型組合；根據(jù)所述乘車用戶類型組合，生成交互提示信息，所述交互提示信息包括推薦目的地。3.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶信息和/或所述環(huán)境信息，確定所述駕駛人員的疲勞程度和/或所述用戶的情緒狀態(tài)；根據(jù)所述駕駛人員的疲勞程度和所述車輛的位置信息，生成緩解所述駕駛人員疲勞程度的車輛控制指令和/或交互提示信息；所述車輛控制指令包括空調控制指令和座椅按摩指令，所述交互提示信息包括疲勞提醒和推薦休息地；和/或，根據(jù)所述用戶的情緒狀態(tài)，生成緩解所述用戶情緒狀態(tài)的交互提示信息。4.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，當所述多模態(tài)信息包括所述環(huán)境信息、所述用戶信息和所述車輛位置信息時，所述環(huán)境信息包括車內溫度，所述用戶信息包括用戶圖像數(shù)據(jù)和用戶特征數(shù)據(jù)，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶圖像數(shù)據(jù)和用戶特征數(shù)據(jù)，確定特殊用戶，以及所述特殊用戶的乘坐位置；所述特殊用戶包括大齡用戶和幼齡用戶；根據(jù)所述特殊用戶的乘坐位置、所述車輛位置信息以及所述車內溫度，生成車輛控制指令和交互提示信息；所述車輛控制指令用于控制所述車輛內所述特殊用戶的乘坐位置的空調溫度高于閾值溫度且風量低于閾值風量，所述交互提示信息用于提示用戶所述車輛的空調調節(jié)模式。5.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，所述多模態(tài)信息還包括導航信息，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述車輛位置信息和導航信息，獲取行駛路線信息；根據(jù)所述行駛路線信息，判斷所述車輛是否接近特殊路段；所述特殊路段包括隧道路段；若所述車輛接近所述特殊路段，生成車輛控制指令和交互提示信息；所述車輛控制指令包括打開車燈指令、關閉車窗指令，以及所述車輛的空調運行模式調整指令，所述交互提示信息用于提示用戶注意特殊路段。6.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，所述車輛狀態(tài)信
息包括所述車輛的電池電量，所述多模態(tài)信息還包括導航信息，所述車輛位置信息包括車輛位置，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述車輛的電池電量，確定所述車輛的續(xù)航里程；根據(jù)所述車輛位置和所述導航信息，確定剩余里程；若所述車輛的續(xù)航里程小于所述剩余里程，生成交互提示信息，所述交互提示信息包括所述車輛續(xù)航里程范圍內充電站的路線信息。7.根據(jù)權利要求6所述的基于多模融合的智能交互方法，其特征在于，所述若所述車輛的續(xù)航里程小于所述剩余里程，生成交互提示信息，包括：若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量小于或等于閾值電量，生成包括第一路線信息的交互提示信息，所述第一路線信息包括與所述車輛位置最近的充電站的路線信息；若所述車輛的續(xù)航里程小于所述剩余里程，且所述車輛的電池電量大于所述閾值電量，生成包括第二路線信息的交互提示信息，所述第二路線信息包括所述車輛續(xù)航里程范圍內的目標充電站的路線信息；所述目標充電站包括充電價格低于閾值價格、和/或空閑率高于閾值空閑率、和/或具有停車休息服務的充電站。8.根據(jù)權利要求1所述的基于多模融合的智能交互方法，其特征在于，所述用戶信息包括所述用戶的面部信息和/或所述用戶的聲紋信息，所述根據(jù)所述多模態(tài)信息，生成交互數(shù)據(jù)，包括：根據(jù)所述用戶的面部信息和/或所述用戶的聲紋信息，識別所述用戶身份；根據(jù)所述用戶身份對應的車輛歷史設置參數(shù)，生成與所述用戶身份對應的車輛控制指令；所述車輛控制指令包括座椅位置調節(jié)指令、后視鏡位置調節(jié)指令、多媒體音樂播放指令、導航指令、語音指令中的至少一項。9.一種基于多模融合的智能交互裝置，其特征在于，所述智能交互裝置包括處理器、存儲器、通信接口和通信總線，所述處理器、所述存儲器和所述通信接口通過所述通信總線完成相互間的通信；所述存儲器用于存放至少一可執(zhí)行指令，所述可執(zhí)行指令使所述處理器執(zhí)行如權利要求1-8中任一項所述的基于多模融合的智能交互方法的操作。10.一種車輛，其特征在于，所述車輛包括如權利要求9所述的智能交互裝置，以及數(shù)據(jù)采集系統(tǒng)，所述數(shù)據(jù)采集系統(tǒng)用于采集所述多模態(tài)信息。
技術總結
本發(fā)明實施例涉及人機交互領域，公開了一種基于多模融合的智能交互方法及裝置，所述方法通過獲取多模態(tài)信息，并根據(jù)多模態(tài)信息生成交互數(shù)據(jù)，并將交互數(shù)據(jù)進行輸出。其中多模態(tài)信息包括車輛狀態(tài)信息、車輛位置信息、用戶信息以及環(huán)境信息中的一種或多種的組合。所述方法通過對車輛本身和用戶進行全方位的數(shù)據(jù)采集，進而生成交互數(shù)據(jù)，使交互裝置能夠與用戶進行主動交互，解決了車載人機交互系統(tǒng)無法對多維度用戶及車輛信息進行有效融合的問題，使車載人機交互系統(tǒng)能夠主動為用戶提供符合當前需求的交互服務。前需求的交互服務。前需求的交互服務。
