背景移除將主體與其周圍環境分離開來,這樣你就可以將其放置在 透明背景上、更換場景或將其合成為新設計。在底層,你正在估算一個 alpha 遮罩——一個從 0 到 1 的每像素不透明度——然後將前景alpha 合成到 其他東西上。這是 Porter–Duff 的數學原理,也是“邊緣”和 直接 alpha 與預乘 alpha 等常見陷阱的起因。有關預乘和線性顏色的實用指南,請參閱 微軟的 Win2D 筆記、 Søren Sandmann 和 Lomont 關於線性混合的文章。
如果你能控制拍攝,將背景漆成純色(通常是綠色),然後去背該色調。 這種方法速度快,在電影和廣播中經過實戰檢驗,非常適合影片。權衡之處在於燈光和服裝: 彩色光會溢出到邊緣(尤其是頭髮),所以你需要使用去溢工具來中和污染。 好的入門資料包括 Nuke 的文件、 Mixing Light 和一個實踐性的 Fusion 示範。
對於背景雜亂的單張圖片,互動式演算法需要使用者提供一些提示——例如,一個寬鬆的 矩形或塗鴉——然後收斂到一個清晰的遮罩。經典方法是 GrabCut (書中章節),它學習前景/背景的顏色模型,並迭代使用圖割來分離它們。 你會在 GIMP 的前景選擇中看到類似的想法,它基於 SIOX (ImageJ 插件)。
去背解決在纖細邊界(頭髮、毛皮、煙霧、玻璃)處的部分透明度問題。經典的 封閉式去背 接受一個三元圖(絕對前景/絕對背景/未知),並求解一個具有強邊緣保真度的 alpha 線性系統。現代的 深度影像去背 在 Adobe Composition-1K 資料集上訓練神經網路(MMEditing 文件),並使用 SAD、MSE、梯度和連通性等指標進行評估(基準解釋器)。
相關的分割工作也很有用: DeepLabv3+ 使用編碼器-解碼器和空洞卷積來細化邊界 (PDF); Mask R-CNN 提供每個實例的遮罩 (PDF);以及 SAM (Segment Anything) 是一個 可提示的基礎模型,可在不熟悉的影像上進行零樣本遮罩生成。
學術著作報告了在 Composition-1K 上的 SAD、MSE、梯度和連通性錯誤。如果你正在選擇一個模型 ,請尋找這些指標 (指標定義; 背景去背指標部分)。 對於人像/影片,MODNet 和 背景去背 V2 很強大;對於一般的“顯著物體”影像, U2-Net 是一個堅實的基準;對於棘手的透明度, FBA 可能更乾淨。
.BAYER 文件格式是一種在數位攝影和影像中常用的原始影像格式。它以發明許多數位相機中使用的拜耳濾鏡陣列的布萊斯·拜耳命名。拜耳濾鏡陣列是一種彩色濾鏡陣列 (CFA),它允許單一影像感測器透過以特定模式在感測器上排列紅色、綠色和藍色彩色濾鏡來擷取色彩資訊。
在典型的拜耳濾鏡陣列中,50% 的畫素為綠色,25% 為紅色,25% 為藍色。這種排列方式模擬了人眼對綠光的敏感度,它高於對紅光和藍光的敏感度。最常見的拜耳濾鏡模式是 RGGB 模式,其中每個 2x2 畫素區塊包含一個紅色畫素、兩個綠色畫素和一個藍色畫素。
當使用配備拜耳濾鏡陣列的相機擷取影像時,原始影像資料會儲存在 .BAYER 檔案格式中。此原始資料包含影像感測器上每個畫素記錄的強度值,沒有任何處理或內插。原始資料中的每個畫素僅代表一個色彩通道(紅色、綠色或藍色),取決於拜耳濾鏡模式。
若要從原始 .BAYER 資料建立全彩影像,會使用稱為去馬賽克(或去拜耳)的程序。去馬賽克演算法透過內插鄰近畫素的值來估計每個畫素遺失的色彩值。有各種去馬賽克演算法,每個演算法在影像品質、運算複雜度和偽影減少方面都有其優缺點。
最簡單的去馬賽克方法之一是雙線性內插。在此方法中,畫素的遺失色彩值是透過平均相同色彩最近畫素的值來計算的。例如,若要估計綠色畫素的紅色值,演算法會平均最近四個紅色畫素的紅色值。雖然雙線性內插快速且易於實作,但它可能會產生偽影,例如色彩邊緣和細節遺失。
更進階的去馬賽克演算法,例如自適應同質性導向 (AHD) 演算法,會考量局部影像結構和邊緣資訊來改善內插準確度。這些演算法會分析影像中的梯度和模式,以確定最合適的內插方向,並適當地加權鄰近畫素的貢獻。進階去馬賽克方法可以產生偽影較少的更高品質影像,但它們需要更多運算資源。