苹果发布Luce：单图生成可重新照明的PBR 3D资产，FID较最强基线提升28%
苹果机器学习研究团队提出的Luce在体素化高斯云中统一几何与PBR材质，单张图像即可生成支持重照明的3D资产，在Toys4K基准上刷新SOTA。
AI解读：苹果的Luce解决的是“从一张照片生成3D模型”时最核心的痛点：以往模型只能还原形状和大致颜色，导进游戏或影视渲染引擎后没法重新打光，材质也不真实。Luce的做法是把颜色、金属度、粗糙度、法线这类PBR材质信息直接编进3D高斯云里，用VAE压缩、再用Transformer从单张图生成。对做游戏资产、电商展示或影视预visual化的创作者来说，这意味着从单张参考图就能拿到能直接放进标准渲染管线的资产，还保留文字、Logo这类细节；据论文在Toys4K上FID比最强基线提升28%，CLIP图文对齐得分0.8519对0.8299。不过目前是研究发布，没有提供在线试用或代码，实际效果需要复现验证。普通用户不必急着找入口。
苹果机器学习研究团队发布论文《Luce: Relightable Gaussians for 3D Asset Generation》，提出一种名为Luce的3D表征，在体素化的多模态高斯云中统一几何与基于物理的渲染（PBR）材质，用专用的高斯基元分别表示各材质通道。
该方法用变分自编码器（VAE）将表征压缩到统一材质感知的隐空间，再以预训练图像编码器的多层特征为条件，通过rectified-flow transformer从单张图像生成该隐码。解码后输出可重新照明的PBR高斯，以及带切线空间法线贴图的选配纹理网格。
性能基准
论文称，在Toys4K数据集上，Luce在单图转3D任务达到最先进水平，FID较最强基线提升28%。
团队还引入一个AI生成图像的基准，Luce在该基准上的CLIP图像对齐得分为0.8519，优于最强基线的0.8299。
作者表示，Luce能生成可重照明、几何准确且材质保真的资产，保留文字、Logo和铭文等精细细节。