배경 제거는 피사체를 주변 환경과 분리하여 투명 배경에 배치하거나, 장면을 바꾸거나, 새로운 디자인에 합성할 수 있게 해줍니다. 내부적으로는 0에서 1까지의 픽셀당 불투명도인 알파 매트를 추정하고, 전경을 알파 합성하여 다른 것 위에 배치하는 것입니다. 이것은 포터–더프의 수학이며, “프린지”와 스트레이트 알파 대 미리 곱해진 알파와 같은 흔히 발생하는 문제의 원인입니다. 미리 곱하기와 선형 색상에 대한 실용적인 지침은 마이크로소프트의 Win2D 노트, 쇠렌 산만, 그리고 로몬트의 선형 블렌딩에 대한 글을 참조하십시오.
촬영을 제어할 수 있다면 배경을 단색(주로 녹색)으로 칠하고 해당 색조를 키로 빼냅니다. 이 방법은 빠르고, 영화 및 방송에서 검증되었으며, 비디오에 이상적입니다. 단점은 조명과 의상입니다: 색깔 있는 빛이 가장자리(특히 머리카락)에 번지므로, 오염을 중화하기 위해 디스필 도구를 사용해야 합니다. 좋은 입문 자료로는 누크의 문서, 믹싱 라이트, 그리고 직접 해보는 퓨전 데모가 있습니다.
배 경이 지저분한 단일 이미지의 경우, 대화형 알고리즘은 사용자의 몇 가지 힌트(예: 느슨한 사각형이나 낙서)를 필요로 하며, 선명한 마스크를 생성합니다. 표준적인 방법은 그랩컷 (책의 장)으로, 전경/배경의 색상 모델을 학습하고 그래프 컷을 반복적으로 사용하여 분리합니다.GIMP의 전경 선택에서도 비슷한 아이디어를 볼 수 있으며, 이는 SIOX (ImageJ 플러그인)에 기반합니다.
매팅은 가느다란 경계(머리카락, 털, 연기, 유리)에서 부분적인 투명도를 해결합니다. 고전적인 폐쇄형 매팅은 트라이맵(확실한 전경/확실한 배경/알 수 없음)을 사용하여 강력한 가장자리 정확도로 알파에 대한 선형 시스템을 풉니다. 현대적인 딥 이미지 매팅은 어도비 컴포지션-1K 데이터셋(MMEditing 문서)에서 신경망을 훈련시키며, SAD, MSE, 그래디언트, 연결성과 같은 메트릭으로 평가됩니다(벤치마크 설명).
관련된 분할 작업도 유용합니다: DeepLabv3+는 인코더-디코더와 아트러스 컨볼루션으로 경계를 다듬습니다 (PDF); 마스크 R-CNN은 인스턴스별 마스크를 제공합니다 (PDF); 그리고 SAM(Segment Anything)은 새로운 이미지에 대해 제로샷으로 마스크를 생성하는 프롬프트 기반 기본 모델입니다.