背景移除将主体与其周围环境分离开来,这样你就可以将其放置在 透明背景上、更换场景或将其合成为新设计。在底层,你正在估算一个 alpha 遮罩——一个从 0 到 1 的每像素不透明度——然后将前景alpha 合成到 其他东西上。这是 Porter–Duff 的数学原理,也是“边缘”和 直接 alpha 与预乘 alpha 等常见陷阱的起因。有关预乘和线性颜色的实用指南,请参阅 微软的 Win2D 笔记、 Søren Sandmann 和 Lomont 关于线性混合的文章。
如果你能控制拍摄,将背景涂成纯色(通常是绿色),然后抠掉该色调。 这种方法速度快,在电影和广播中经过实战检验,非常适合视频。权衡之处在于灯光和服装: 彩色光会溢出到边缘(尤其是头发),所以你需 要使用去溢工具来中和污染。 好的入门资料包括 Nuke 的文档、 Mixing Light 和一个实践性的 Fusion 演示。
对于背景杂乱的单张图片,交互式算法需要用户提供一些提示——例如,一个宽松的 矩形或涂鸦——然后收敛到一个清晰的蒙版。经典方法是 GrabCut (书籍章节),它学习前景/背景的颜色模型,并迭代使用图割来分离它们。 你会在 GIMP 的前景选择中看到类似的想法,它基于 SIOX (ImageJ 插件)。
抠图解决在纤细边界(头发、毛皮、烟雾、玻璃)处的部分透明度问题。经典的 闭式抠图 接受一个三元图(绝对前景/绝对背景/未知),并求解一个具有强边缘 保真度的 alpha 线性系统。现代的 深度图像抠图 在 Adobe Composition-1K 数据集上训练神经网络(MMEditing 文档),并使用 SAD、MSE、梯度和连通性等指标进行评估(基准解释器)。
相关的分割工作也很有用: DeepLabv3+ 使用编码器-解码器和空洞卷积来细化边界 (PDF); Mask R-CNN 提供每个实例的蒙版 (PDF);以及 SAM (Segment Anything) 是一个 可提示的基础模型,可在不熟悉的图像上进行零样本蒙版生成。
学术著作报告了在 Composition-1K 上的 SAD、MSE、梯度和连通性错误。如果你正在选择一个模型,请查找这些指标 (指标定义; 背景抠图指标部分)。 对于人像/视频,MODNet 和 背景抠图 V2 很强大;对于一般的“显著物体”图像, U2-Net 是一个坚实的基线;对于棘手的透明度, FBA 可能更干净。
DirectDraw Surface (DDS) 格式是一种光栅图像文件格式,主要用于存储视频游戏和其他 3D 应用程序中的纹理和立方体贴图。DDS 格式由 Microsoft 开发,针对硬件加速进行了优化,支持在图形处理单元 (GPU) 上直接使用纹理数据。这种优化通过允许 GPU 直接访问压缩纹理数据,从而显著减少了实时渲染应用程序中图像的加载时间,从而绕过了 CPU 的额外处理或解压缩需求。
DDS 格式的关键特性之一是对 DirectX 纹理压缩 (DXT) 的支持,DXT 是一种有损纹理压缩算法,可在不显著降低图像质量的情况下减小文件大小和纹理传输所需的带宽。DXT 压缩有几种变体,即 DXT1、DXT3 和 DXT5,每种变体在压缩比和质量之间提供不同的平衡。DXT1 适用于没有 Alpha 通道或简单二进制 Alpha 的纹理,DXT3 用于具有显式 Alpha 的纹理,而 DXT5 用于具有插值 Alpha 透明度的纹理。
DDS 格式的另一个显著优势是对 Mipmap 的支持。Mipmap 是纹理的预先计算优化版本,每个版本的分辨率逐渐降低。当物体远离相机时,使用这些较小的纹理,从而提高性能并减少混叠伪影。通过在单个 DDS 文件中存储整个 Mipmap 链,游戏引擎可以根据对象与观察者的距离快速选择最合适的纹理细节级别,从而进一步提高渲染效率。
DDS 格式还支持使用立方体贴图进行立方体环境映射。立方体贴图由六个正方形纹理组成,这些纹理表示从单点观察到的环境中的反射,模拟了 3D 世界中的反射。将这些立方体贴图直接存储在 DDS 格式中,可以在实时应用程序中实现高效的环境反射,从而增强 3D 图形的沉浸式质量。
除了压缩和效率特性外,DDS 格式还可以存储具有高动态范围 (HDR) 的纹理。HDR 纹理提供更宽的亮度和色彩范围,在 3D 渲染中提供更逼真的光照效果。此功能对于旨在实现逼真视觉质量的现代游戏引擎和图形软件至关重要。DDS 文件中对 HDR 的支持使其在高端图形应用程序中得到广泛使用。
DDS 文件格式结构包括一个头文件和可选的附加头文件,其中包含有关纹理数据(例如高度、宽度、像素数据的格式以及指示 Mipmap 或立方体贴图存在的标志)的元数据。这种结构化的元数据方法允许应用程序准确解释和利用 DDS 文件中的纹理数据,而无需广泛处理或查询数据。
尽管有许多优点,但 DDS 格式也存在局限性和挑战。例如,虽然 DXT 压缩显著减小了文件大小,但它可能会引入伪影,尤其是在具有高细节级别或复杂 Alpha 过渡的纹理中。压缩级别(DXT1、DXT3、DXT5)的选择会影响纹理的视觉保真度,因此纹理艺术家和开发人员必须根据其项目的特定需求选择合适的压缩设置至关重要。
与 DDS 格式相关的另一个挑战是它在游戏开发和 3D 应用程序之外的支持有限。虽然在视频游戏行业和 DirectX 等图形 API 中得到广泛支持和使用,但 DDS 文件并未得到图像编辑软件的普遍支持。此限制需要将 DDS 文件转换为更普遍支持的 格式,以便在专业软件之外进行编辑或查看,这可能会使图形艺术家的工作流程复杂化。
然而,图形开发工具和库的进步缓解了其中一些挑战。许多现代图像编辑软件包引入了 DDS 格式的插件或内置支持,允许直接编辑 DDS 文件而无需转换。此外,开源库和工具包使开发人员可以更轻松地将 DDS 支持集成到其应用程序中,从而将 DDS 格式的可访问性和可用性扩展到其传统的视频游戏和 3D 应用程序领域之外。
DDS 格式的采用已扩展到传统视频游戏之外,涉及虚拟现实 (VR)、增强现实 (AR) 和专业可视化应用程序等领域。在这些领域,DDS 格式的效率和压缩能力特别有价值,因为它们允许在沉浸式环境中实时渲染高质量纹理。这促进了更复杂、更逼真的 VR 和 AR 体验以及用于科学和工业应用的高分辨率可视化工具的开发。
展望未来,图形硬件和软件的持续发展可能会进一步提高 DDS 格式的相关性和功能。新的压缩算法、对高动态范围成像的更高级支持以及对新兴渲染技术的增强支持可能会集成到 DDS 规范中。这些进步将使 DDS 格式继续作为开发尖端 3D 图形和游戏技术的关键工具。
总之,DDS 图像格式代表了 3D 图形和游戏开发领域的一项关键技术,它提供了针对实时渲染需求量身定制的效率、质量和灵活性相结合的优势。它对各种压缩算法、Mipmap、立方体贴图和高动态范围成像的支持使其成为开发人员旨在突破视觉质量和性能界限的不可或缺的格式。尽管在采用和通过压缩引入伪影方面存在一些挑战,但 DDS 格式仍然是现代 3D 图形应用程序的基石,持续的支持和进步确保了它在行业中的持续相关性。