印刻万物INKTOYS

技术深读

Quadrature Fields:把 NeRF 渲染推到 100 至 500 FPS

把体渲染压缩为分层纹理网格,让 NeRF 重新借力现代图形硬件。

Quadrature Fields 先训练 NeRF 与 quadrature field,再通过 Marching Cubes、网格微调和神经特征烘焙,把透明和复杂材质所需的多采样压缩进可实时渲染的网格表示。

作者radiancefields.com 编辑部

发布2024-09-11

技术深读7 分钟阅读

已核对公开来源

NeRF 的速度瓶颈

标准 NeRF 需要沿每条光线评估大量采样点和神经网络,因此在交互式可视化或游戏场景中很难直接达到实时。已有 MobileNeRF、BakedSDF 等路线尝试把体渲染转为纹理网格,但透明、玻璃、毛发等材料仍可能需要多层采样。

Quadrature 的转换步骤

该方法从 Instant NGP 与 Nerfacc 训练的 NeRF 出发,训练一个让 quadrature points 对齐体积内容的神经场。随后使用 Marching Cubes 生成网格,并通过光度重建损失微调顶点位置,让采样点集中在复杂几何区域,简单区域则减少冗余。

最终颜色、不透明度和视角相关特征会被烘焙进纹理图。固体对象可近似为单交点,透明材料则保留多个 quadrature points,以便在 OptiX 等硬件加速渲染路径中处理复杂透射。

速度数字如何理解

Radiance Fields 原文记录该方法在全高清下超过 100 FPS,合成数据中可到 500 FPS,显存用量示例不超过 9GB,文件大小约 330MB 至 4GB。这些数字说明 NeRF 并非永远与实时无缘,但代价是表示转换、纹理烘焙和较复杂的资产管理。

关联动态

关联案例

来源

返回行业洞察