배경 제거는 피사체를 주변 환경과 분리하여 투명 배경에 배치하거나, 장면을 바꾸거나, 새로운 디자인에 합성할 수 있게 해줍니다. 내부적으로는 0에서 1까지의 픽셀당 불투명도인 알파 매트를 추정하고, 전경을 알파 합성하여 다른 것 위에 배치하는 것입니다. 이것은 포터–더프의 수학이며, “프린지”와 스트레이트 알파 대 미리 곱해진 알파와 같은 흔히 발생하는 문제의 원인입니다. 미리 곱하기와 선형 색상에 대한 실용적인 지침은 마이크로소프트의 Win2D 노트, 쇠렌 산만, 그리고 로몬트의 선형 블렌딩에 대한 글을 참조하십시오.
촬 영을 제어할 수 있다면 배경을 단색(주로 녹색)으로 칠하고 해당 색조를 키로 빼냅니다. 이 방법은 빠르고, 영화 및 방송에서 검증되었으며, 비디오에 이상적입니다. 단점은 조명과 의상입니다: 색깔 있는 빛이 가장자리(특히 머리카락)에 번지므로, 오염을 중화하기 위해 디스필 도구를 사용해야 합니다. 좋은 입문 자료로는 누크의 문서, 믹싱 라이트, 그리고 직접 해보는 퓨전 데모가 있습니다.
배경이 지저분한 단일 이미지의 경우, 대화형 알고리즘은 사용자의 몇 가지 힌트(예: 느슨한 사각형이나 낙서)를 필요로 하며, 선명한 마스크를 생성합니다. 표준적인 방법은 그랩컷 (책의 장)으로, 전경/배경의 색상 모델을 학습하고 그래프 컷을 반복적으로 사용하여 분리합니다.GIMP의 전경 선택에서도 비슷한 아이디어를 볼 수 있으며, 이는 SIOX (ImageJ 플러그인)에 기반합니다.
매팅은 가느다란 경계(머리카락, 털, 연기, 유리)에서 부분적인 투명도를 해결합니다. 고전적인 폐쇄형 매팅은 트라이맵(확실한 전경/확실한 배경/알 수 없음)을 사용하여 강력한 가장자리 정확도로 알파에 대한 선형 시스템을 풉니다. 현대적인 딥 이미지 매팅은 어도비 컴포지션-1K 데이터셋(MMEditing 문서)에서 신경망을 훈련시키며, SAD, MSE, 그래디언트, 연결성과 같은 메트릭으로 평가됩니다(벤치마크 설명).
관련된 분할 작업도 유용합니다: DeepLabv3+는 인코더-디코더와 아트러스 컨볼루션으로 경계를 다듬습니다 (PDF); 마스크 R-CNN은 인스턴스별 마스크를 제공합니다 (PDF); 그리고 SAM(Segment Anything)은 새로운 이미지에 대해 제로샷으로 마스크를 생성하는 프롬프트 기반 기본 모델입니다.
학술 연구에서는 컴포지션-1K에 대한 SAD, MSE, 그래디언트, 연결성 오류를 보고합니다. 모델을 선택하는 경우 해당 메트릭을 찾아보세요 (메트릭 정의; 배경 매팅 메트릭 섹션). 인물/비디오의 경우, MODNet과 배경 매팅 V2가 강력합니다; 일반적인 “두드러진 객체” 이미지의 경우, U2-Net이 견고한 기준선입니다; 어려운 투명도의 경우, FBA가 더 나은 결과를 제공할 수 있습니다.
JPEG 2000 멀티 레이어(JPM) 포맷은 이미지 압축 표준 및 코딩 시스템인 JPEG 2000 표준의 확장입니다. 이는 원래 JPEG 표준을 대체하려는 의도로 2000년에 공동 사진 전문가 그룹 위원회에서 만들었습니다. JPEG 2000은 높은 압축 효율성과 그레이스케일, 컬러, 다중 구성 요소 이미지를 포함한 광범위한 이미지 유형을 처리할 수 있는 능력으로 유명합니다. JPM 포맷은 특히 텍스트, 그래픽, 이미지를 혼합하여 포함할 수 있는 복합 문서에 대한 지원을 포함하도록 JPEG 2000의 기능을 확장합니다.
JPM은 JPEG 2000 Suite(ISO/IEC 15444-6)의 6부에 정의되어 있으며, 여러 이미지와 관련 데이터를 단일 파일에 캡슐화하도록 설계되었습니다. 이를 통해 서로 다른 유형의 콘텐츠를 함께 저장해야 하는 문서 이미징, 의료 이미징, 기술 이미징과 같은 애플리케이션에 특히 유용합니다. JPM 포맷은 문서 내의 페이지를 효율적으로 저장할 수 있도록 하며, 각 페이지에는 서로 다른 특성을 가진 여러 이미지 영역과 주석이나 메타데이터와 같은 비이미지 데이터가 포함될 수 있습니다.
JPM의 주요 기능 중 하나는 기본 JPEG 2000 코드 스트림(JP2)의 확장 버전인 JPEG 2000 코드 스트림(JPX)을 사용하는 것입니다. JPX는 더 광범위한 색 공간, 더 정교한 메타데이터, 더 높은 비트 심도를 지원합니다. JPM 파일에서 각 이미지 또는 '레이어'는 별도의 JPX 코드 스트림으로 저장됩니다. 이를 통해 각 레이어를 고유한 특성에 따라 압축할 수 있으며, 이는 더 효율적인 압축과 더 높은 품질의 결과, 특히 다양한 콘텐츠 유형이 있는 복합 문서의 경우로 이어질 수 있습니다.
JPM 파일의 구조는 계층적이며 일련의 상자로 구성됩니다. 상자는 헤더와 데이터를 포함하는 자체 포함 단위입니다. 헤더는 상자의 유형과 길이를 지정하는 반면, 데이터는 실제 콘텐츠를 포함합니다. JPM 파일의 최상위 상자는 파일을 JPEG 2000 패밀리 파일로 식별하는 시그니처 상자입니다. 시그니처 상자 다음에는 파일 유형 상자, 헤더 상자, 콘텐츠 상자 등이 있습니다. 헤더 상자에는 페이지 수와 각 페이지의 속성과 같은 파일 정보가 포함되어 있는 반면, 콘텐츠 상자에는 이미지 데이터와 관련 비이미지 데이터가 포함되어 있습니다.
압축 측면에서 JPM 파일은 무손실 및 유손실 압축 방법을 모두 사용할 수 있습니다. 무손실 압축은 원본 이미지 데이터를 압축 데이터에서 완벽하게 재구성할 수 있음을 보장하며, 의료 이미징과 같이 이미지 무결성이 가장 중요한 애플리케이션에 필수적입니다. 반면에 유손실 압축은 일부 이미지 데이터를 삭제하여 더 작은 파일 크기를 허용하며, 완벽한 충실도가 필요하지 않은 상황에서 허용될 수 있습니다.
JPM은 또한 '프로그레시브 디코딩' 개념을 지원하는데, 이는 전체 해상도 이미지가 다운로드되거나 처리되는 동안 이미지의 저해상도 버전을 표시할 수 있음을 의미합니다. 이는 대용량 이미지나 느린 네트워크 연결에 특히 유용하며, 사용자가 전체 파일이 사용 가능해질 때까지 기다릴 필요 없이 빠른 미리보기를 얻을 수 있도록 합니다.
JPM의 또 다른 중요한 측면은 메타데이터에 대한 지원입니다. JPM 파일의 메타데이터에는 작성자, 제목, 키워드와 같은 문서 정보와 캡처 날짜, 카메라 설정, 지리적 위치와 같은 각 이미지 정보가 포함될 수 있습니다. 이 메타데이터는 XML 포맷으로 저장되어 쉽게 액세스하고 수정할 수 있습니다. 또한 JPM은 이미지의 색 공간을 정의하는 ICC 프로필을 포함하는 것을 지원하여 다양한 장치에서 정확한 색 재현을 보장합니다.
JPM 파일은 또한 각각 다른 해상도 또는 품질 설정을 가진 여러 버전의 이미지를 저장할 수 있습니다. '멀티 레이어링'으로 알려진 이 기능은 애플리케이션의 특정 요구 사항이나 사용 가능한 대역폭에 따라 적절한 버전의 이미지를 선택할 수 있으므로 더 효율적인 저장 및 전송을 가능하게 합니다.
보안은 JPM이 견고한 기능을 제공하는 또 다른 영역입니다. 이 포맷은 디지털 서명과 암호화를 포함하는 것을 지원하며, 이를 사용하여 문서의 진위를 확인하고 민감한 정보를 보호할 수 있습니다. 이는 문서의 무결성과 기밀성이 가장 중요한 법률 및 의료 문서 관리와 같은 분야에서 특히 중요합니다.
많은 장점에도 불구하고 JPM 포맷은 특히 소비자 시장에서 널리 채택되지 않았습니다. 이는 부분적으로 포맷의 복잡성과 JPM 파일을 처리하는 데 필요한 컴퓨팅 리소스 때문입니다. 또한 JPM을 포함한 JPEG 2000 표준 패밀리는 특허 라이선싱 문제의 대상이 되어 일반적으로 특허에 구속되지 않는 원래 JPEG 표준에 비해 채택이 방해되었습니다.
JPM 파일을 사용하는 소프트웨어 개발자와 엔지니어를 위해 포맷에 대한 지원을 제공하는 여러 라이브러리와 도구가 있습니다. 여기에 는 오픈 소스 JPEG 2000 코덱인 OpenJPEG 라이브러리와 다양한 이미징 소프트웨어 회사의 상용 제품이 포함됩니다. JPM 파일을 사용할 때 개발자는 JPEG 2000 코드 스트림 구문과 복합 문서 및 메타데이터를 처리하기 위한 특정 요구 사항을 잘 알고 있어야 합니다.
결론적으로 JPM 이미지 포맷은 복합 문서를 저장하고 관리하는 데 적합한 다양한 기능을 제공하는 JPEG 2000 표준의 강력한 확장입니다. 여러 이미지 레이어, 프로그레시브 디코딩, 메타데이터, 멀티 레이어링, 보안 기능을 지원하여 이미지 품질과 문서 무결성이 중요한 전문적 및 기술적 애플리케이션에 이상적인 선택입니다. 다른 이미지 포맷만큼 일반적으로 사용되지는 않지만, 특수 기능으로 인해 문서 이미징 및 의료 이미징과 같은 분야에서 중요한 도구로 남아 있습니다.