NVIDIA发布Omniverse NuRec工作流：用既有驾驶数据合成新车型感知训练视图
该工作流利用3D高斯泼溅重建真实驾驶场景，可为尚未量产的新车型渲染摄像头视图，并配套数据精化与模型训练步骤，减少为每个车型单独采集标注真实数据的成本。
AI解读：自动驾驶感知系统对传感器安装位置、标定、视野和车身遮挡非常敏感，同一套软件搬到不同车型上，红绿灯在画面里的位置、路缘和行人可见性都会改变。按传统做法，每支持一款新车就要采集并标注大量该车型的真实路测数据，这在车辆开发早期往往做不到，新车队还没造出来，极端场景也很难主动遇到。NVIDIA这次发布的Omniverse NuRec工作流，是用已量产车辆采集的真实驾驶片段做3D重建，再通过新车型的传感器参数在仿真中重新渲染摄像头画面。因为场景来自真实道路，模型仍能学到真实视觉特征；配合NVIDIA Harmonizer模型修正渲染伪影，开发者可以先用这批合成数据微调感知模型，等到目标车型数据补齐后再做最终验证。真正受影响的是多车型平台的自驾团队——他们不再需要为每个改款车从头攒一套训练集。不过要留意，目标相机若放在源数据覆盖较差的区域，或超出原拍摄轨迹视角，渲染质量会明显下降，NuRec解决的是“早鸟数据集”问题，不能替代真实数据的最终标定和验证。
NVIDIA技术博客发布Omniverse NuRec的车型适配工作流：用既有真实驾驶数据，为尚未量产或尚无完整数据的新车型虚拟渲染传感器视图，用于感知模型训练。该流程包含场景重建、目标传感器视角渲染、NVIDIA Harmonizer帧精化以及感知模型训练四步。
工作原理与数据集
NuRec使用 3D高斯泼溅从真实传感器数据重建驾驶场景，并可为目标车型的虚拟相机渲染新视角。其关键能力包括：新颖视角合成（支持更改外参、内参、视场角和镜头模型如针孔、鱼眼、f-theta）和可复用场景资产（保留原车辆轨迹、相机标定、动态物体轨迹、地图数据）。
用于演示的Physical AI NuRec Dataset在Hugging Face上提供，包含 1500 多个约 20 秒的重建场景，每个由六路相机录制：120° 前广角、30° 前长焦、120° 左右交叉、70° 后左后右。数据集提供公有仓库访问，需要接受许可并登录Hugging Face令牌。
操作流程
步骤简述如下：一、下载重建场景；二、从目标车型虚拟传感器渲染相机流（公开示例附带合成传感器rig，包含一个相机，若需其他相机需修改rig JSON）；三、用“nurec-fixer”技能或Harmonizer模型精化输出帧，提升视觉质量，但不修复错误标定或补充未重建场景；四、将合成数据集视作真实相机数据，用于感知模型训练。
所有代码与技能均已发布在NVIDIA/nurec-skills仓库，提供用于下载数据、渲染与精化的Agent技能。NVIDIA在内部自动驾驶项目中测试了该流程，图 4 显示相比零样本基线，目标车型合成数据训练提升了物体检测精度和召回率（具体数值未在文本中给出）。
- 需要使用NVIDIA提供的NuRec镜像，固定不可变digest拉取方式。
- 渲染需要GPU、64 GB共享内存；容器命令以脚本形式提供。
- 每路渲染，建议先单相机sparse export验证，再跑完整序列。
其他资源
如果用户没有自己的重建数据，可应用NuRec重建流程：需要环视相机录制的MP4、三种Parquet元数据（相机标定、自车运动、物体轨迹），并转换为NCore V4格式，随后可执行重建。此部分配对的说明来自“用户指南”中的章节。