論文的主要作者來自香港科技大學、小米汽車和華中科技大學。論文的共同第一作者為香港科技大學博士后研究員袁子康、小米汽車算法工程師蒲粵川、羅鴻城。論文作者還包括小米汽車世界模型負責人孫海洋。通訊作者是華中科技大學的教授楊欣。

在自動駕駛技術商業(yè)化落地的關鍵階段，高質量仿真系統(tǒng)成為行車安全驗證的核心基礎設施。針對動態(tài)駕駛場景中相機與 LiDAR 聯(lián)合仿真難題，Uni-Gaussians 提出一種基于統(tǒng)一高斯表征的分治渲染框架，實現(xiàn)精確性與計算效率的協(xié)同優(yōu)化。

當前主流神經(jīng)渲染方案存在顯著局限性：

基于 NeRF 的方法雖能通過連續(xù)場景表征統(tǒng)一渲染相機圖像與 LiDAR 點云，但其依賴密集采樣的體渲染機制導致計算效率低下；

基于高斯濺射（Gaussian Splatting）的方法利用高斯基元實現(xiàn)場景表征，并通過光柵化（Rasterization）達成實時渲染，但其基于線性光學假設的渲染管線難以精確建模非線性光學傳感器特性，導致該方法在針孔相機之外的傳感器類型中應用受限。

為攻克上述挑戰(zhàn)，來自香港科技大學、小米汽車和華中科技大學的研究團隊提出了 Uni-Gaussians，實現(xiàn)了動態(tài)駕駛場景的高斯基元統(tǒng)一表征與分治渲染的架構。使用動態(tài)高斯場景圖（Gaussian scene graph），建模靜態(tài)背景與動態(tài)實體（如剛性車輛、非剛性行人）。圖像數(shù)據(jù)采用光柵化（Rasterization）進行渲染，確保高幀率輸出。LiDAR 數(shù)據(jù)則引入高斯光線追蹤（Gaussian Ray-Tracing），精確模擬激光脈沖傳播特性。該工作為自動駕駛場景下的相機與 LiDAR 數(shù)據(jù)提供的仿真方式，在質量與計算效率方面都取得了重大進展。

論文標題：Uni-Gaussians: Unifying Camera and Lidar Simulation with Gaussians for Dynamic Driving Scenarios

論文鏈接：https://arxiv.org/pdf/2503.08317

項目主頁：https://zikangyuan.github.io/UniGaussians/

論文貢獻

Uni-Gaussians 主要有以下貢獻：

提出了一種統(tǒng)一、高效的仿真系統(tǒng)，能夠利用高斯基元實現(xiàn)相機和激光雷達數(shù)據(jù)的聯(lián)合重建。

實現(xiàn)了包含車輛、行人和騎車人在內的所有交通參與者的高質量 LiDAR 仿真。

通過大量的實驗證明了統(tǒng)一的高斯表征和混合渲染方法的優(yōu)勢。

圖一展示了最新 SOTA 方法 LiDAR4D 和該方法仿真結果的對比。相比之前方法，該方法可以準確地重建出各種可移動物體，包括行人和車輛。同時該方法對圖像也可以進行高質量的重建。

方法概述

如圖二所示，對于一個動態(tài)駕駛場景，該方法建立一個高斯場景圖來進行解耦建模，其中包含靜態(tài)背景和各種運動物體，例如剛性的車輛和非剛性的行人、騎車人。方法對整個場景進行相機和激光雷達同時的模擬。對于相機圖像數(shù)據(jù)，方法采用 2D 高斯基元（2D Gaussian primitives）的柵格化渲染。對于激光雷達數(shù)據(jù)，計算高斯球和射線的交點并構建光線追蹤來進行模擬，結合反射強度（SH intensity）與射線丟棄概率（SH ray-drop probability）建模 LiDAR 的主動感知機制。

實驗結果

Uni-Gaussians 在 Waymo 公開數(shù)據(jù)集上進行了評估。針對激光雷達數(shù)據(jù)，該工作采用 Chamfer Distance 和 F-score 來進行點云幾何精度評估。并使用 RMSE、MedAE、LPIPS、SSIM 和 PSNR 來評估雷達測距性能和反射強度質量。同時實驗報告了渲染的耗時和存儲占用量。對于相機圖像渲染質量，則采用了 SSIM 和 PSNR 進行評估。

點云對比

表一，展示該方法和 lidar 仿真 SOTA 方法的定量比較。加粗為最優(yōu)結果，加下劃線為次優(yōu)結果。和之前的 SOTA 方法相比，該方法在所有指標上均表現(xiàn)出卓越的性能。證明了這種聯(lián)合仿真的優(yōu)勢。與 DyNFL 和 LiDAR4D 相比，該方法的 CD 指標分別降低了 40.9% 和 46.7%，同時渲染耗時和計算內存消耗也大幅降低。下面圖 3 和圖 4 展示可視化效果，該方法能夠準確而精細地模擬動態(tài)駕駛場景中的各種類型的可移動實體，展現(xiàn)出明顯優(yōu)勢。

圖像對比

如表二所示，對于圖像，該方法能保持高質量的渲染質量。此外該方法在新視角下也能表現(xiàn)出優(yōu)越的泛化性能。

綜上所述，Uni-Gaussians 通過統(tǒng)一的高斯表征和分治渲染的方法，實現(xiàn)了一套視覺和雷達點云的聯(lián)合仿真框架。該工作在點云和圖像上均展現(xiàn)出強大的仿真性能，兼顧高效率和高質量，為行業(yè)提供了一套優(yōu)秀的解決方案。

相關知識

小米汽車首曝自動駕駛研究：相機和LiDAR聯(lián)合重建框架Uni
自動駕駛知識科普 自動駕駛汽車的七大核心技術
案例研究什么是自動駕駛
淺析自動駕駛汽車的技術發(fā)展
動感汽車駕駛模擬器，動感汽車駕駛模擬機，部隊汽車駕駛模擬器
自動駕駛汽車
六自由度汽車駕駛模擬器，動感汽車駕駛模擬器，六自由度動感汽車駕駛模擬器
汽車智能駕駛產(chǎn)業(yè)深度報告：路線、變革、機會
讓自動駕駛汽車行駛在法治軌道上
展望“自動駕駛”：汽車“大腦”，這樣“思考”

網(wǎng)址: 小米汽車首曝自動駕駛研究：相機和LiDAR聯(lián)合重建框架Uni http://m.u1s5d6.cn/newsview1508672.html