駕駛場景識別方法、裝置、計算機設備和存儲介質與流程
1.本技術涉及自動駕駛技術領域，特別是涉及一種駕駛場景識別方法、計算機設備和存儲介質。
背景技術：
2.隨著人工智能技術的深入發展及應用，自動駕駛技術也隨其不斷更新迭代，車輛周邊感知是自動駕駛領域必不可缺的組成部分，而駕駛場景識別是感知系統的重要內容，得到越來越多的關注。
3.傳統技術中，用于駕駛場景識別檢測的數據較為單一，算法較為機械，檢測結果往往可靠性不高，影響自動駕駛系統整體的可靠性、安全性。
4.因此，如何提高駕駛場景識別的準確率是亟需解決的問題。
技術實現要素：
5.基于此，有必要針對傳統技術中駕駛場景識別準確率低的問題，提供一種駕駛場景識別方法、計算機設備和計算機可讀存儲介質。
6.第一方面，本技術提供了一種駕駛場景識別方法，包括：
7.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
8.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景；
9.所述場景識別模型的訓練獲得方式，包括：
10.獲取訓練樣本，每個訓練樣本包括基于采集時間關聯的樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據以及駕駛場景標簽；
11.基于所述訓練樣本對待訓練識別模型進行訓練，獲得所述場景識別模型。
12.第二方面，本技術還提供了一種駕駛場景識別裝置，包括：
13.駕駛數據獲取模塊，用于獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
14.駕駛場景識別模塊，采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景。
15.第三方面，本技術還提供了一種計算機設備。所述計算機設備包括存儲器和處理器，所述存儲器存儲有計算機程序，所述處理器執行所述計算機程序時實現以下步驟：
16.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
17.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景；
18.第四方面，本技術還提供了一種計算機可讀存儲介質。所述計算機可讀存儲介質，
其上存儲有計算機程序，所述計算機程序被處理器執行時實現以下步驟：
19.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
20.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景；
21.第五方面，本技術還提供了一種計算機程序產品。所述計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實現以下步驟：
22.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
23.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景；
24.上述駕駛場景識別方法、裝置、計算機設備、存儲介質和計算機程序產品，通過獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據，采用訓練獲得的場景識別模型對上述駕駛場景圖像數據、點云數據、車輛can總線數據進行處理，獲得識別的駕駛場景。同時利用駕駛場景圖像、點云數據和車輛can總線數據經過神經網絡模型自動處理進而得到駕駛場景識別結果，提高了車輛駕駛場景識別的準確率。
附圖說明
25.圖1是一個實施例中駕駛場景識別方法的應用環境圖；
26.圖2是另一個實施例中駕駛場景識別方法的應用環境圖；
27.圖3是一個實施例中駕駛場景識別方法的流程示意圖；
28.圖4是一個實施例中場景識別模型獲取方式的流程示意圖；
29.圖5是一個實施例中場景識別模型訓練方法的流程示意圖；
30.圖6是一個實施例中駕駛場景識別裝置的結構框圖；
31.圖7是一個實施例中計算機設備的內部結構圖。
具體實施方式
32.為了使本技術的目的、技術方案及優點更加清楚明白，以下結合附圖及實施例，對本技術進行進一步詳細說明。應當理解，此處所描述的具體實施例僅僅用以解釋本技術，并不用于限定本技術。
33.需要說明的是，本技術所使用的術語“第一”、“第二”等是用于對類似的對象作出命名上的區分，但這些對象本身不受這些術語限制。應當理解，在不脫離本技術的范圍的情況下，這些術語在適當的情況下可以互換。例如，可將“第一識別場景”描述為“第二識別場景”，且類似地，將“第二識別場景”描述為“第一識別場景”。
34.此外，本技術所使用的術語“包括”、“包含”、“具有”以及它們的任何變形，意圖在于覆蓋不排他的包含。例如，包含了一系列步驟或單元的過程、方法、系統、產品或設備不必限于已清楚地列出的步驟或單元，而是還可以包括沒有清楚地列出的或對于這些過程、方法、產品或設備固有的其它步驟或單元。本技術所使用的術語“和/或”包括一個或多個相關
的所列項目的任意的和所有的組合。
35.本技術各實施例提供的駕駛場景識別方法，可以應用于如圖1所示的應用環境中。該應用環境涉及目標車輛110，目標車輛110上設置有車載攝像頭、車載激光雷達和車載控制器。車載攝像頭用于獲取目標車輛110在駕駛過程中的駕駛場景圖像，車載激光雷達用于獲取目標車輛110在駕駛過程中的雷達點云數據。車載控制器與車載攝像頭、車載激光雷達連接，用于獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據。車載控制器還與車輛can總線連接，用于獲取車輛can總線數據。駕駛場景識別模型搭載于車載控制器上，用于對目標車輛110的上述駕駛數據進行場景識別。
36.此外，本技術各實施例提供的駕駛場景識別方法，還可以應用于如圖2所示的應用環境中。該應用環境涉及目標車輛110、服務器120和數據存儲系統，目標車輛110和服務器120通過網絡連接，數據存儲系統可以存儲服務器120需要處理的數據。數據存儲系統可以集成在服務器120上，也可以放在云上或其他網絡服務器上。服務器120可以用獨立的服務器或者是多個服務器組成的服務器集來實現。
37.其中，目標車輛110上設置有車載攝像頭、車載激光雷達和車載控制器。車載攝像頭用于獲取目標車輛110在駕駛過程中的駕駛場景圖像，車載激光雷達用于獲取目標車輛110在駕駛過程中的雷達點云數據。車載控制器與車載攝像頭、車載激光雷達連接，用于獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據。車載控制器還與車輛can總線連接，用于獲取車輛can總線數據。車載控制器還與服務器120通過網絡連接，用于將駕駛場景圖像、點云數據以及車輛can總線數據上傳至服務器120，服務器120獲取目標車輛110的上述駕駛數據后，采用訓練獲得的駕駛場景識別模型對上述駕駛數據進行場景識別。
38.在其中一個實施例中，可以在服務器120上完成模型訓練任務，得到駕駛場景識別模型；也可以在目標車輛110上完成模型訓練任務，得到駕駛場景識別模型；還可以在服務器120上完成模型訓練任務并得到識別模型后部署到目標車輛110上。
39.在一個實施例中，提供了一種駕駛場景識別方法，以該方法應用于圖1中的目標車輛為例進行說明，如圖3所示，該方法可以包括如下步驟s302至s304：
40.s302，獲取目標車輛車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得點云數據以及車輛can總線數據；
41.其中，目標車輛是指需要識別駕駛場景的車輛。
42.具體地，車載攝像頭獲取目標車輛在駕駛過程中的駕駛場景圖像、車載激光雷達獲取目標車輛在駕駛過程中的雷達點云數據之后，車載攝像頭將獲取的駕駛場景圖像傳輸至車載控制器，車載激光雷達將獲取的雷達點云數據傳輸至車載控制器，車載控制器還直接與車輛can總線相連，獲取車輛can總線數據。
43.駕駛場景是對車輛在一定時間和空間范圍內行駛環境與駕駛行為的綜合反映，描述了道路、交通設施、氣象條件、交通參與物等外部狀態以及自車的駕駛任務和狀態等信息。在本實施例中，外部狀態信息可以由車載攝像頭和車載激光雷達獲取，自車信息可以直接通過車輛can總線獲取。
44.車載攝像頭是汽車領域的一種重要傳感設備，主要通過鏡頭和圖像傳感器實現圖像信息的采集功能。駕駛場景中道路、交通設施、氣象條件、交通參與物等外部狀態信息均
可由車載攝像頭拍攝獲得，車載攝像頭采集到的道路、交通設施、氣象條件、交通參與物等外部狀態信息可稱為駕駛場景圖像信息。
45.在車載攝像頭獲取駕駛場景圖像信息的同時，可通過車載激光雷達獲取駕駛場景中外部狀態信息的點云數據。
46.車載激光雷達又稱車載三維激光掃描儀，是一種移動型三維激光掃描系統。三維激光掃描儀利用激光將激光發射出去，并接收返回的信息來描述被測量物體的表面形態。于車載激光雷達而言，被測量物體可以為駕駛場景中道路、交通設施、交通參與物等外部物體。車載激光雷達接收返回的信息由海量點數據組成，每個點代表一組x、y、z幾何坐標和一個強度值，這個強度值由被測物體的反射率決定，接收到的返回的這些點數據的集合稱為點云數據。
47.can是controller area network縮寫，中文名稱控制器局域網絡。車輛can總線是實現整車的所有控制器之間通訊的現場總線，可以理解，車輛can總線連接了多個控制器。通過控制器可以控制汽車的行駛狀態及實現各種功能。因此，通過車輛can總線可以獲取自車信息。
48.在其中一個實施例中，獲取的車輛can總線數據主要包括：加速踏板開度、制動壓力、檔位以及方向盤轉角。
49.加速踏板又稱油門踏板，主要作用是控制發動機節氣門的開度，從而控制發動機的動力輸出，駕駛速度對應至加速踏板上，即體現為加速踏板開度。汽車的制動壓力是執行機構卡鉗通過夾緊摩擦片進而制動卡盤的力。汽車檔位通過對應的主從動齒輪傳遞動力，為汽車提供不同的車速。方向盤轉角是指汽車轉向時方向盤的旋轉角度，方向盤轉角與輪胎轉角的關系成正比。
50.s304，采用訓練獲得的場景識別模型，對獲取的駕駛場景圖像、點云數據以及車輛can總線數據進行處理，獲得識別的駕駛場景。
51.場景識別模型在使用之前必須經過嚴格的訓練過程，在訓練的過程中，場景識別模型能夠學習到駕駛場景圖像、點云數據、車輛can總線數據與場景識別結果之間的映射規律。將獲取的駕駛場景圖像、點云數據以及車輛can總線數據輸入至場景識別模型中，場景識別模型能夠基于其在訓練過程中學習到的映射規律，輸出場景識別結果，獲得識別的駕駛場景。
52.在其中一個實施例中，場景識別模型可以按照如圖4所示的方法獲得，包括以下步驟：
53.s401，獲取訓練樣本，每個訓練樣本包括基于采集時間關聯的樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據以及駕駛場景標簽。
54.首先，獲取訓練樣本需要獲取數據采集信息，數據采集信息包括駕駛場景圖像采集信息、點云數據采集信息以及車輛can總線數據采集信息。
55.獲取數據采集信息需要利用數據采集車，數據采集車上設置有車載攝像頭、車載激光雷達和車載控制器。車載攝像頭用于獲取駕駛場景圖像采集信息，車載激光雷達用于獲取點云數據采集信息。車載攝像頭獲取到駕駛場景圖像采集信息、車載激光雷達獲取到點云數據采集信息后，車載攝像頭將獲取的駕駛場景圖像采集信息傳輸至車載控制器，車載激光雷達將獲取的點云數據采集信息傳輸至車載控制器。車載控制器還與數據采集車
can總線連接，用于獲取數據采集車的can總線數據采集信息。
56.當駕駛數據采集車在對應的道路場景上行駛，可以采集對應道路場景的駕駛場景圖像、雷達點云數據和車輛can總線數據。采集到的駕駛場景圖像、雷達點云數據和車輛can總線數據可以存儲在本地，也可以存儲在云端。
57.在其中一個實施例中，數據采集車可以是多輛數據采集車組成的數據采集車隊，例如，數據采集車隊可以由20-50輛數據采集車組成。此時，數據采集信息則由整個數據采集車隊獲取的駕駛場景圖像采集信息、點云數據采集信息以及車輛can總線數據采集信息構成。
58.在其中一個實施例中，設置于數據采集車和目標車輛上的車載攝像頭可以選用像素在120w以上、分辨率大于1280*960且最大測量距離需要大于150m的車載攝像頭；車載激光雷達選用16線以上、測量距離大于100m且roi(region of interest，感興趣區域)內檢測誤差小于2cm的車載激光雷達；車載控制器需要安裝linux系統并具有2tops(tera operations per second，處理器運算能力單位)以上的圖形計算處理能力和一定的存儲空間。
59.其次，獲取到足量的數據采集信息之后，可以對獲取的數據采集信息進行數據清洗，進而獲得數據清洗后的數據采集信息。
60.獲取到的數據采集信息可能存在一些不符合要求的數據，例如，數據存在缺失、數據不具有一致性、數據存在異常值等。當發現數據中存在如上可能的問題時，都需要有針對性地處理。例如，對于數據存在缺失的現象，可以采用刪除法、替換法或者插補法的方式處理；對于數據存在異常值的現象，可以采用n個標準差法或箱線圖判別法的方式處理。
61.在本實施例中，對獲取的數據采集信息進行數據清洗主要是為了篩掉大量的簡單樣本及無效樣本。因此，本實施例對數據清洗工具不作任何限定，可以采用openrefine對數據采集信息進行清洗，也可以采用weka、data wrangler等其他任何能夠實現數據清洗目的的工具對數據采集信息進行清洗，進而得到數據清洗后的數據采集信息。
62.最后，基于獲取的數據采集信息的采集時間以及對應的駕駛場景，對獲得的數據清洗后的數據采集信息進行聯合標注，獲得訓練樣本。
63.數據清洗后的數據采集信息中包括駕駛場景圖像采集信息、點云數據采集信息以及車輛can總線數據采集信息。基于數據采集信息的采集時間，駕駛場景圖像采集信息、點云數據采集信息以及車輛can總線數據采集信息之間具有對應關系。可以理解為，對于一幀駕駛場景圖像，車載激光雷達在同一時刻對同一場景獲取了點云數據，車載控制器在同一時刻對同一場景獲取了車輛can總線數據；或者，對于一幀點云，車載攝像頭在同一時刻對同一場景獲取了駕駛場景圖像，車載控制器在同一時刻對同一場景獲取了車輛can總線數據；或者，對于一組車輛can總線數據，車載攝像頭在同一時刻對同一場景獲取了駕駛場景圖像，車載激光雷達在同一時刻對同一場景獲取了點云數據。
64.采用標注工具對獲取的駕駛場景圖像進行標注，并基于獲取的駕駛場景圖像的采集時間，采用標注工具對在同一采集時間獲取的點云數據、車輛can總線數據進行標注，得到與駕駛場景對應的駕駛場景標簽，進而，獲取的駕駛場景圖像、點云數據以及車輛can總線數據能夠按照采集時間產生關聯。得到的駕駛場景標簽與駕駛場景圖像、點云數據、車輛can總線數據共同構成用于訓練待訓練識別模型的訓練樣本。
65.在其中一個實施例中，駕駛場景標簽可以包括：前方無車輛場景標簽、跟車場景標簽、前車剎車場景標簽、前車切出場景標簽、旁車切入場景標簽、自車加速場景標簽、自車減速場景標簽、自車轉向場景標簽。
66.s402，基于獲取的樣本對待訓練識別模型進行訓練，獲得場景識別模型。
67.待訓練識別模型是一種機器學習模型，能夠從輸入的樣本數據中學習到樣本數據特征與輸出結果之間的映射規律。在本實施例中，將樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據及駕駛場景標簽輸入待訓練識別模型，待訓練識別模型可以從輸入的樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據及駕駛場景標簽中學習到樣本數據特征與場景識別結果之間的映射規律，繼而獲得場景識別模型。場景識別模型能夠并根據上述其學習到的映射規律得到與新輸入的駕駛場景圖像、點云數據、車輛can總線數據相應的駕駛場景識別結果。
68.在其中一個實施例中，數據清洗后的數據采集信息經聯合標注后，還可以按照比例劃分為訓練集、驗證集及測試集并生成對應的數據列表。在其中一個實施例中，訓練集、驗證集、測試集的劃分比例可以為7:1.5:1.5。其中，訓練集可用作訓練待訓練駕駛場景識別模型的訓練樣本，驗證集可用于對待訓練駕駛識別模型少量偶爾的調整，測試集可用于評估訓練完畢的模型泛化能力。
69.需要說明的是，駕駛場景識別模型處理驗證集、測試集的數據的步驟方式與處理訓練集數據的步驟方式是一致。
70.上述駕駛場景識別方法中，首先獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據，而后采用訓練獲得的場景識別模型對上述駕駛場景圖像數據、點云數據、車輛can總線數據進行處理，獲得識別的駕駛場景。該方法同時利用駕駛場景圖像、點云數據和車輛can總線數據經過神經網絡模型自動處理進而得到駕駛場景識別結果，提高了車輛駕駛場景識別的準確率。
71.在一個實施例中，基于訓練樣本對待訓練識別模型進行訓練之前，還可基于各駕駛場景標簽的場景權重，從數據采集信息中選擇樣本數據進行訓練，從而獲得選擇的訓練樣本。
72.現實的駕駛場景中，前方無車輛場景、跟車場景、自車加速場景、自車減速場景、自車轉向場景出現頻率較高、識別難度較低，同時，樣本數據采集信息較多；而前車剎車場景、前車切車場景、旁車切入場景的出現頻率較低、識別難度較高、樣本數據采集信息較少。
73.為了防止待訓練場景識別模型出現過擬合，可以在原始的樣本數據采集信息中，根據駕駛場景識別難易程度以及樣本數據采集信息多少，按照不同的權重選取用于訓練待訓練場景識別模型的樣本數據，進而獲得選擇的訓練樣本。最后基于選擇的訓練樣本對待訓練駕駛場景識別模型進行訓練。
74.前方無車輛場景、跟車場景、自車加速場景、自車減速場景、自車轉向場景出現頻率較高、識別難度較低、樣本數據采集信息較多，可以賦予較小的訓練樣本權重，從原始的樣本數據采集信息中選取較小比例的樣本數據用于訓練待訓練場景識別模型。
75.前車剎車場景、前車切車場景、旁車切入場景的出現頻率較低、識別難度較高、樣本數據采集信息較少，可以賦予較大的訓練樣本權重，從原始的樣本數據采集信息中選取較大比例的樣本數據用于訓練待訓練場景識別模型。
76.在其中一個實施例中，獲得選擇的訓練樣本之后，基于選擇的訓練樣本對待訓練識別模型進行訓練之前，還可以對選擇的訓練樣本進行數據擴增處理。
77.數據擴增又叫數據增強，是指對數據進行擴充，即通過某種變換操作讓訓練數據生成新數據。數據擴增可以增加訓練集的樣本，在不實質性增加數據的情況下讓有限的數據產生更多數據的價值，進而有效緩解模型過擬合的情況，給模型帶來更強的泛化能力。不同屬性的數據可根據其屬性進行相應的數據擴增處理。例如，在本實施例中，由于在現實情況下，車載攝像頭拍攝的駕駛場景圖像可能會受到外部環境或成像設備本身運行中產生的噪聲的影響，導致待識別的駕駛場景圖像中可能含有噪聲，為了使識別模型能夠在實際情況下準確識別這種含噪聲的駕駛場景圖像，在訓練待訓練的識別模型時可將車載攝像頭拍攝的樣本駕駛場景圖像中加入噪聲，盡可能地模擬現實情形。同樣地，現實情形下車載攝像頭拍攝的駕駛場景圖像也可能與訓練的樣本駕駛場景圖像的尺寸、方向、位置、亮度不同，為了使識別模型能夠在實際情況下能夠準確識別，可以在訓練時對樣本駕駛場景圖像進行裁剪、旋轉、平移、改變亮度以及鏡像等操作。可以理解，對訓練樣本進行數據擴增處理可以同時包括加入噪聲、裁剪、旋轉、平移、改變亮度以及鏡像等操作，也可以僅進行其中一種或多種不同操作。
78.本實施例中，通過在原始的樣本數據采集信息中，根據駕駛場景識別難易程度以及樣本數據采集信息多少，按照不同的權重選取用于訓練待訓練場景識別模型的樣本數據，進而獲得選擇的訓練樣本，以及對選擇的樣本數據進行擴增處理，既有效地避免了待訓練駕駛場景識別模型在訓練時偏向訓練某一駕駛場景，又提升了模型的魯棒性，從而能夠提高駕駛場景識別的準確率。
79.在一個實施例中，基于獲得的訓練樣本對待訓練識別模型進行訓練，獲得駕駛場景識別模型，可以包括如圖5所示的步驟：
80.s501，通過待訓練識別模型對樣本駕駛場景圖像進行場景識別，獲得第一識別場景，對樣本點云數據進行場景識別，獲得第二識別場景，對樣本車輛can總線數據進行場景識別，獲得第三識別場景。
81.待訓練識別模型中包括用于處理駕駛場景圖像的子模型、用于處理點云數據的子模型以及用于處理車輛can總線數據的子模型。將樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據輸入至待訓練識別模型，在待訓練識別模型內部，處理駕駛場景圖像的子模型對樣本駕駛場景圖像進行處理獲得第一識別場景，處理點云數據的子模型對樣本點云數據進行處理獲得第二識別場景，處理車輛can總線數據的子模型對樣本車輛can總線數據進行處理獲得第三識別場景。
82.用于處理駕駛場景圖像的子模型、用于處理點云數據的子模型以及用于處理車輛can總線數據的子模型可以根據實際需求自行從零開始搭建得到，也可以基于已有的具備識別檢測功能的算法搭建得到。
83.在其中一個實施例中，可以采用基于開源的yolov7算法搭建的處理駕駛場景圖像的子模型對樣本駕駛場景圖像進行處理，獲得第一識別場景，采用基于開源的pointpillar算法搭建的用于處理點云數據的子模型對樣本點云數據進行處理，獲得第二識別場景。
84.s502，基于第一識別場景與樣本駕駛場景標簽確定第一損失，基于第二識別場景與樣本駕駛場景標簽確定第二損失，基于第三識別場景與樣本駕駛場景標簽確定第三損
失。
85.損失是每個樣本預測值與真實值的差值，它是機器學習算法中的一個重要部分，主要用于進行算法對特征數據集建模效果的評估，衡量算法的性能。
86.在本實施例中，樣本預測值是指樣本數據輸入模型后得到的識別場景，例如第一識別場景、第二識別場景、第三識別場景。在待訓練識別模型內部，處理駕駛場景圖像的子模型對樣本駕駛場景圖像進行檢測獲得第一識別場景，將第一識別場景與實際駕駛場景對比產生第一損失；處理點云數據的子模型對樣本點云數據進行檢測獲得第二識別場景，將第二識別場景與實際駕駛場景對比產生第二損失；處理車輛can總線數據的子模型對樣本車輛can總線數據進行處理獲得第三識別場景，將第三識別場景與實際駕駛場景對比產生第三損失。
87.s503，基于第一損失、第二損失和第三損失確定總損失，基于總損失對待訓練駕駛場景識別模型進行更新，直至達到訓練結束條件，獲得訓練后的識別模型。
88.在本實施例中，待訓練識別模型內部產生第一損失、第二損失和第三損失。在訓練待訓練識別模型時，第一損失、第二損失和第三損失需要同時考慮。因此，可以將這三個損失進行加權求和得到識別模型的總損失，進而基于加權后的總損失進行模型訓練。
89.模型訓練，是對模型各層的參數進行更新調整的過程。可以理解，模型訓練是一個迭代處理過程，直至滿足訓練結束條件時停止訓練。其中，訓練結束條件是觸發停止模型訓練的條件。一般而言，損失越低，建立的模型提供的結果就越準確。因此，訓練停止條件可以是計算得到的損失參數滿足預定條件，比如損失參數小于預定閾值，還可以是計算得到的損失參數不再減小等等。
90.s504，基于訓練后的識別模型，構建和部署駕駛場景識別模型。
91.模型部署是指讓訓練好的模型在特定環境中運行的過程。從模型完成訓練，到最終將模型部署到實際硬件上時，整個流程中還可能涉及到模型轉換、模型優化、模型壓縮等環節。構建和部署駕駛場景識別模型即是指將訓練完畢的識別模型應用于駕駛場景識別環境中時，其所經歷的模型轉換、模型優化、模型壓縮、模型部署等環節的總稱。
92.在其中一個實施例中，可以將訓練完畢的識別模型部署到如圖1所示的目標車輛上。具體地，目標車輛上設置有車載控制器，進而將駕駛場景識別模型部署到車載控制器上。在此情況下，目標車輛獲得駕駛場景圖像、點云數據以及車輛can總線數據后，可以直接存儲在車輛控制器上，并通過搭載在車輛控制器上的駕駛場景識別模型完成駕駛場景識別任務。
93.在另一個實施例中，可以基于tensorrt對識別模型進行重構，獲得基于tensorrt引擎的駕駛場景識別模型。
94.tensorrt是一個高性能的深度學習推理的優化器和運行的引擎。識別模型訓練完畢之后，tensorrt可以對網絡進行壓縮、優化以及運行時部署，并且沒有框架的開銷。
95.具體地，首先，可以在需要部署的機器上下載安裝tensorrt，需要部署的機器可以是服務器，也可以是安裝在目標車輛上的車載控制器。
96.其次，利用tensorrt生成模型，可以直接通過tensorrt的應用程序編程接口(api，application programming interface)接口逐層搭建網絡，也可以將中間表示的模型(如onnx，open neural network exchange)轉換成tensorrt的模型。需要注意的是，利用
tensorrt的api直接構建模型時，需要將訓練完畢的識別模型的權重內容賦值到tensorrt的網絡中。
97.最后，獲得基于tensorrt引擎的駕駛場景識別模型。
98.本實施例提供的駕駛場景識別方法，利用待訓練識別模型對樣本駕駛場景圖像進行場景識別，獲得第一識別場景，對樣本點云數據進行場景識別，獲得第二識別場景，對樣本車輛can總線數據進行場景識別，獲得第三識別場景，并基于第一識別場景與樣本駕駛場景標簽確定第一損失，基于第二識別場景與樣本駕駛場景標簽確定第二損失，基于第三識別場景與樣本駕駛場景標簽確定第三損失，再基于第一損失、第二損失和第三損失確定總損失，基于總損失對待訓練駕駛場景識別模型進行更新，直至達到訓練結束條件，獲得訓練后的識別模型。最后基于訓練后的識別模型，構建和部署駕駛場景識別模型。通過駕駛場景圖像、激光雷達點云數據以及車輛can總線數據共同確定分類結果，有效地提高了分類的準確性。
99.基于同樣的發明構思，本技術實施例還提供了一種用于實現上述所涉及的駕駛場景識別方法的駕駛場景識別裝置。該裝置所提供的解決問題的實現方案與上述方法中所有記載的實現方案相似，故下面所提供的一個或多個駕駛場景識別裝置實施例中的具體限定可以參見文中對于駕駛場景識別方法的限定，再次不再贅述。
100.在一個實施例中，如圖6所示，提供了一種駕駛場景識別裝置600，包括駕駛數據獲取模塊602和駕駛場景識別模塊604，其中：
101.駕駛數據獲取模塊602，用于獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
102.駕駛場景識別模塊604，采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景。
103.在其中一個實施例中，駕駛數據獲取模塊602包括：
104.駕駛場景圖像獲取單元，用于獲取車載攝像頭拍攝獲得的駕駛場景圖像；
105.點云數據獲取單元，用于獲取載激光雷達采集獲得的點云數據；
106.車輛can總線數據獲取單元，用于獲取車輛can總線數據。
107.在其中一個實施例中，訓練獲得的場景識別模型包括：
108.用于處理駕駛場景圖像的子模型，用于對獲取的駕駛場景圖像進行處理，獲得第一識別場景；
109.用于處理點云數據的子模型，用于對獲取的點云數據進行處理，獲得第二識別場景；
110.用于處理車輛can總線數據的子模型，用于對獲取的車輛can總線數據進行處理，獲得第三識別場景。
111.在其中一個實施例中，駕駛場景識別裝置還包括模型訓練模塊，用于訓練待訓練識別模型，獲得場景識別模型。
112.該模型訓練模塊可以包括如下單元：
113.訓練樣本獲取單元，用于獲取用于訓練待訓練識別模型的樣本數據，包括樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據、駕駛場景標簽；
114.待訓練識別模型訓練單元，用于根據獲取的樣本駕駛場景圖像、樣本點云數據、樣
本車輛can總線數據、駕駛場景標簽對待訓練識別模型進行訓練，獲得訓練完畢的場景識別模型。
115.在其中一個實施例中，訓練樣本獲取單元還可以包括如下單元：
116.樣本駕駛場景圖像獲取單元，用于獲取用于訓練待訓練識別模型的樣本駕駛場景圖像。
117.樣本點云數據獲取單元，用于獲取用于訓練待訓練識別模型的樣本點云數據。
118.樣本車輛can總線數據獲取單元，用于獲取用于訓練待訓練識別模型的樣本車輛can總線數據。
119.在其中一個實施例中，待訓練識別模型訓練單元還可以包括如下單元：
120.用于處理駕駛場景圖像的子模型訓練單元，用于根據獲取的樣本駕駛場景圖像對用于處理駕駛場景圖像的子模型進行訓練，獲得訓練完畢的用于處理駕駛場景圖像的子模型。
121.用于處理點云數據的子模型訓練單元，用于根據獲取的樣本點云數據對用于處理點云數據的子模型進行訓練，獲得訓練完畢的用于處理點云數據的子模型。
122.用于處理車輛can總線數據的子模型訓練單元，用于根據獲取的樣本車輛can總線數據對用于處理車輛can總線數據的子模型進行訓練，獲得訓練完畢的用于處理車輛can總線數據的子模型。
123.在其中一個實施例中，用于處理駕駛場景圖像的子模型可以基于開源的yolov7算法搭建得到，用于對獲取的駕駛場景圖像進行處理，獲得第一識別場景。
124.在其中一個實施例中，用于處理點云數據的子模型可以采用基于開源的pointpillars算法搭建得到，用于對獲取的點云數據進行處理，獲得第二識別場景。
125.上述駕駛場景識別裝置中的各個模塊可全部或部分通過軟件、硬件其組合來實現。上述各模塊可以硬件形式內嵌于或獨立于計算機設備中的處理器中，也可以以軟件形式存儲于計算機設備中的存儲器中，以便于處理器調用執行以上各個模塊對應的操作。
126.在一個實施例中，提供了一種計算機設備，該計算機設備可以是圖1所示的服務器120，其內部結構圖可以如圖7所示。該計算機設備包括通過系統總線連接的處理器、存儲器、網絡接口和數據庫。其中，該處理器用于提供計算和控制能力。該存儲器包括非易失性存儲介質和內存儲器，該非易失性存儲介質存儲有操作系統、計算機程序和數據庫，該內存儲器為非易失性存儲介質中的操作系統和計算機程序的運行提供環境。該數據庫用于存儲樣本駕駛場景圖像、樣本點云數據、樣本車輛can總線數據以及駕駛場景標簽。該網絡接口用于與外部的終端通過網絡連接通信。該計算機程序被處理器執行時以實現駕駛場景識別方法。
127.本領域技術人員可以理解，圖7中示出的結構，僅僅是與本技術方案相關的部分結構的框圖，并不構成對本技術方案所應用于其上的計算機設備的限定，具體的計算機設備可以包括比圖中所示更多或更少的部件，或者組合某些部件，或者具有不同的部件布置。
128.在一個實施例中，提供了一種計算機設備，包括存儲器和處理器，存儲器中存儲有計算機程序，該處理器執行計算機程序時實現以下步驟：
129.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
130.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景。
131.在一個實施例中，提供了一種計算機可讀存儲介質，其上存儲有計算機程序，計算機程序被處理器執行時實現以下步驟：
132.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
133.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景。
134.在一個實施例中，提供了一種計算機程序產品，包括計算機程序，該計算機程序被處理器執行時實以下步驟：
135.獲取車載攝像頭拍攝獲得的駕駛場景圖像、車載激光雷達采集獲得的點云數據以及車輛can總線數據；
136.采用訓練獲得的場景識別模型，對所述駕駛場景圖像、所述點云數據以及所述車輛can總線數據進行處理，獲得識別的駕駛場景。
137.需要說明的是，本技術所涉及的用戶信息(包括但不限于用戶設備信息、用戶個人信息等)和數據(包括但不限于用于分析的數據、存儲的數據、展示的數據等)，均為經用戶授權或者經過各方充分授權的信息和數據。
138.本領域普通技術人員可以理解實現上述實施例方法中的全部或部分流程，是可以通過計算機程序來指令相關的硬件來完成，所述的計算機程序可存儲于一非易失性計算機可讀取存儲介質中，該計算機程序在執行時，可包括如上述各方法的實施例的流程。其中，本技術所提供的各實施例中所使用的對存儲器、數據庫或其它介質的任何引用，均可包括非易失性和易失性存儲器中的至少一種。非易失性存儲器可包括只讀存儲器(read-only memory，rom)、磁帶、軟盤、閃存、光存儲器、高密度嵌入式非易失性存儲器、阻變存儲器(reram)、磁變存儲器(magnetoresistive random access memory，mram)、鐵電存儲器(ferroelectric random access memory，fram)、相變存儲器(phase change memory，pcm)、石墨烯存儲器等。易失性存儲器可包括隨機存取存儲器(random access memory，ram)或外部高速緩沖存儲器等。作為說明而非局限，ram可以是多種形式，比如靜態隨機存取存儲器(static random access memory，sram)或動態隨機存取存儲器(dynamic random access memory，dram)等。本技術所提供的各實施例中所涉及的數據庫可包括關系型數據庫和非關系型數據庫中至少一種。非關系型數據庫可包括基于區塊鏈的分布式數據庫等，不限于此。本技術所提供的各實施例中所涉及的處理器可為通用處理器、中央處理器、圖形處理器、數字信號處理器、可編程邏輯器、基于量子計算的數據處理邏輯器等，不限于此。
139.以上實施例的各技術特征可以進行任意的組合，為使描述簡潔，未對上述實施例中的各個技術特征所有可能的組合都進行描述，然而，只要這些技術特征的組合不存在矛盾，都應當認為是本說明書記載的范圍。
140.以上所述實施例僅表達了本技術的幾種實施方式，其描述較為具體和詳細，但并不能因此而理解為對本技術專利范圍的限制。應當指出的是，對于本領域的普通技術人員來說，在不脫離本技術構思的前提下，還可以做出若干變形和改進，這些都屬于本技術的保護范圍。因此，本技術的保護范圍應以所附權利要求為準。
