未來駕駛革命：2023中國智駕大模型應用研究報告

目前，智駕大模型沒有一個公允定義，並且產學研不同領域的專家對智駕大模型的定義也不一樣，但結合各專家的觀點來看，智駕大模型具備多模態輸入、自監督學習、端到端學習範式以及大規模參數的特征。但是，相比於通用類大模型，智駕大模型的主要差異在於：部署難度高、數據維度廣以及模型設計複雜。

? 億歐智庫認為，智駕大模型指的是在雲邊端一體化的架構下，利用雲端算力優勢訓練大規模多模態數據，然後再結合邊端的計算能力，通過多任務的學習和分布式訓 練為車輛提供更有效的感知融合效果與實時建圖方案，最終讓車端實現與人類司機行為和思維一致的感知、預測、規劃等能力。

? 智駕大模型最重要的應用是數據閉環，相比於傳統數據閉環而言，當前的數據閉環對自動駕駛係統賦能最多的主要是數據挖掘、自動標注、模型訓練、仿真測試四個 應用方向。從感知側的數據采集開始，會先根據篩選器的設置來進行數據挖掘，隨後通過自動化標注來對數據打標簽，再對原模型反複訓練並經過仿真測試後，最後 對車端小模型進行優化，在經過反複地不斷迭代循環後，使得整個數據閉環能力能夠不斷提升。

? 對於已布局或正將布局的企業，智駕大模型玩家主要可分為四類，其中新勢力主機廠以自研為主，而傳統主機廠持有保守觀望的態度；科技企業憑借強大的AI技術背 景和資本實力，構建了以雲服務為基礎的垂直服務體係；Tier1以自研基於BEV感知的垂域大模型為主；芯片企業主要是優化芯片的開發生態，以便客戶能在自家芯片 上更容易地部署BEV+Transformer等大規模參數的模型。

2021年，特斯拉提出了BEV+Transformer的大模型，該模型也成為了之後國內玩家布局大模型的基礎。至2023年，智駕相關大模型開始大量出現， 如華為盤古大模型、百度文心大模型、毫末DriveGPT等。

從多傳感器的融合趨勢來看，目標級融合（後融合）是當前行業內主流的融合方案，雖然算法開發難度較低，但融合精度較低、關鍵信息易缺失， 不適合未來融合趨勢的發展。數據級融合（前融合）是行業發展的目標，但技術壁壘高，短期內方案落地較難。所以，在不丟失關鍵信息的基礎上， 特征級融合（中融合）成為了一種合適的中間過渡形態，也更適合在當前流行的Bev+Transformer模型架構下，實現大規模多模態數據的融合。

基於規則算法的目標級融合方案，隻能識別出目標物的部分特征，甚至會出現無法識別目標物的情況，導致在最終融合結果上出現誤報、漏報等情 況。相反，基於BEV+Transformer的特征級融合方案，可以通過注意力機製提取目標物特征，並在鳥瞰圖下“腦補”出完整的目標物信息，有利 於提高整體感知融合精度。

附件：未來駕駛革命：2023中國智駕大模型應用研究報告