การลบพื้นหลัง แยกวัตถุออกจากสภาพแวดล้อมเพื่อให้คุณสามารถวางไว้บน ความโปร่งใส, สลับฉาก, หรือประกอบเข้ากับการออกแบบใหม่. ภายใต้กระโปรงคุณกำลังประเมิน อัลฟ่าแมท—ความทึบต่อพิกเซลจาก 0 ถึง 1—แล้ว การประกอบอัลฟ่า โฟร์กราวด์ поверх สิ่งอื่น. นี่คือคณิตศาสตร์จาก Porter–Duff และสาเหตุของข้อผิดพลาดที่คุ้นเคยเช่น “ขอบ” และ อัลฟ่าตรงกับอัลฟ่าที่คูณไว้ล่วงหน้า. สำหรับคำแนะนำเชิงปฏิบัติเกี่ยวกับการคูณล่วงหน้าและสีเชิงเส้น, ดู บันทึก Win2D ของ Microsoft, Søren Sandmann, และ บทความของ Lomont เกี่ยวกับการผสมเชิงเส้น.
หากคุณสามารถควบคุมการจับภาพได้, ทาสีพื้นหลังเป็นสีทึบ (ส่วนใหญ่มักเป็นสีเขียว) และ คีย์ สีนั้นออกไป. มันรวดเร็ว, ผ่านการทดสอบการต่อสู้ในภาพยนตร์และการออกอากาศ, และเหมาะสำหรับวิดีโอ. ข้อแลกเปลี่ยนคือแสงและตู้เสื้อผ้า: แสงสีจะรั่วไหลไปยังขอบ (โดยเฉพาะเส้นผม), ดังนั้นคุณจะใช้เครื่องมือ despill เพื่อทำให้การปนเปื้อนเป็นกลาง. ไพรเมอร์ที่ดี ได้แก่ เอกสารของ Nuke, Mixing Light, และการสาธิต Fusion แบบลงมือปฏิบัติ.
สำหรับภาพเดี่ยวที่มีพื้นหลังรก, อัลกอริทึม แบบโต้ตอบ ต้องการคำใบ้จากผู้ใช้เล็กน้อย—เช่น, สี่เหลี่ยมผืนผ้าหลวมๆ หรือลายเส้นขยุกขยิก—และมาบรรจบกันเป็นหน้ากากที่คมชัด. วิธีการที่เป็นที่ยอมรับคือ GrabCut (บทในหนังสือ), ซึ่งเรียนรู้แบบจำลองสีสำหรับโฟร์กราวด์/พื้นหลัง และใช้การตัดกราฟซ้ำๆ เพื่อแยกพวกมัน. คุณจะเห็นแนวคิดที่คล้ายกันใน การเลือกโฟร์กราวด์ของ GIMP โดยใช้ SIOX (ปลั๊กอิน ImageJ).
การทำแมท แก้ปัญหาความโปร่งใสแบบเศษส่วนที่ขอบเขตที่บอบบาง (ผม, ขน, ควัน, แก้ว). การทำแมทแบบปิดคลาสสิก ใช้ trimap (แน่นอน- หน้า/แน่นอน-หลัง/ไม่ทราบ) และแก้ปัญหาระบบเชิงเส้นสำหรับอัลฟ่าที่มีความเที่ยงตรงของขอบสูง. การทำแมทภาพแบบลึกสมัยใหม่ ฝึกอบรมโครงข่ายประสาทเทียมบนชุดข้อมูล Adobe Composition-1K (เอกสาร MMEditing), และได้รับการประเมินด้วยเมตริกเช่น SAD, MSE, Gradient, และ Connectivity (คำอธิบายเกณฑ์มาตรฐาน).
งานแบ่งส่วนที่เกี่ยวข้องก็มีประโยชน์เช่นกัน: DeepLabv3+ ปรับปรุงขอบเขตด้วยตัวเข้ารหัส-ตัวถอดรหัสและคอนโวลูชัน atrous (PDF); Mask R-CNN ให้หน้ากากต่ออินสแตนซ์ (PDF); และ SAM (Segment Anything) เป็น โมเดลพื้นฐาน ที่สามารถแจ้งได้ ที่สร้างหน้ากากแบบ zero-shot บนภาพที่ไม่คุ้นเคย.
งานวิชาการรายงานข้อผิดพลาด SAD, MSE, Gradient, และ Connectivity บน Composition-1K. หากคุณกำลังเลือกโมเดล, ให้มองหาเมตริกเหล่านั้น (คำจำกัดความของเมตริก; ส่วนเมตริกของ Background Matting). สำหรับภาพบุคคล/วิดีโอ, MODNet และ Background Matting V2 แข็งแกร่ง; สำหรับภาพ “วัตถุเด่น” ทั่วไป, U2-Net เป็นพื้นฐานที่มั่นคง; สำหรับความโปร่งใสที่ยาก, FBA อาจสะอาดกว่า.
รูปแบบไฟล์ Portable FloatMap (PFM) เป็นรูปแบบไฟล์ภาพที่ไม่ค่อยมีใครรู้จักแต่มีความสำคัญอย่างยิ่ง โดยเฉพาะในสาขาที่ต้องการความเที่ยงตรงและความแม่นยำสูงในข้อมูลภาพ ต่างจากรูปแบบทั่วไป เช่น JPEG หรือ PNG ที่ออกแบบมาสำหรับการใช้งานทั่วไปและกราฟิกบนเว็บ รูปแบบ PFM ได้รับการออกแบบมาโดยเฉพาะเพื่อจัดเก็บและจัดการข้อมูลภาพช่วงไดนามิกสูง (HDR) ซึ่งหมายความว่าสามารถแสดงช่วงระดับความส ว่างที่กว้างกว่ารูปแบบภาพ 8 บิตหรือแม้แต่ 16 บิตแบบเดิมได้มาก รูปแบบ PFM ทำได้โดยใช้ตัวเลขจุดลอยตัวเพื่อแสดงความเข้มของแต่ละพิกเซล ซึ่งช่วยให้มีช่วงค่าความสว่างที่เกือบไม่จำกัด ตั้งแต่เงาที่มืดที่สุดไปจนถึงไฮไลต์ที่สว่างที่สุด
ไฟล์ PFM มีลักษณะเฉพาะคือความเรียบง่ายและประสิทธิภาพในการจัดเก็บข้อมูล HDR ไฟล์ PFM เป็นไฟล์ไบนารีโดยพื้นฐาน ซึ่งประกอบด้วยส่วนหัวตามด้วยข้อมูลพิกเซล ส่วนหัวเป็นข้อความ ASCII ทำให้อ่านได้โดยมนุษย์ และระบุข้อมูลสำคัญเกี่ยวกับภาพ เช่น ขนาด (ความกว้างและความสูง) และข้อมูลพิกเซลจะถูกจัดเก็บในรูปแบบเกรย์สเกลหรือ RGB หรือไม่ หลังจากส่วนหัว ข้อมูลพิกเซลจะถูกจัดเก็บในรูปแบบไบนารี โดยค่าของแต่ละพิกเซลจะแสดงเป็นตัวเลขจุดลอยตัว IEEE 32 บิต (สำหรับภาพเกรย์สเกล) หรือ 96 บิต (สำหรับภาพ RGB) โครงสร้างนี้ทำให้รูปแบบนี้ใช้งานได้ง่ายในซอฟต์แวร์ ขณะเดียวกันก็ให้ความแม่นยำที่จำเป็นสำหรับการถ่ายภาพ HDR
ลักษณะเฉพาะอย่างหนึ่งของรูปแบบ PFM คือรองรับการจัดเรียงไบต์แบบ little-endian และ big-endian ความยืดหยุ่นนี้ช่วยให้สามารถใช้รูปแบบนี้ในแพลตฟอร์มคอมพิวเตอร์ต่างๆ ได้โดยไม่มีปัญหาเรื่องความเข้ากันได้ ลำดับไบต์จะระบุไว้ในส่วนหัวโดยตัวระบุรูปแบบ: 'PF' สำหรับภาพ RGB และ 'Pf' สำหรับภาพเกรย์สเกล หากตัวระบุเป็นตัวพิมพ์ใหญ่ แสดงว่าไฟล์ใช้ลำดับไบต์แบบ big-endian หากเป็นตัวพิมพ์เล็ก แสดงว่าไฟล์ใช้ลำดับไบต์แบบ little-endian กลไกนี้ไม่เพียงแต่จะสง่างามเท่านั้น แต่ยังมีความสำคัญต่อการรักษาความถูกต้องของข้อมูลจุดลอยตัวเมื่อมีการแชร์ไฟล์ระหว่างระบบที่มีลำดับไบต์ต่างกัน
แม้จะมีข้อดีในการแสดงภาพ HDR แต่รูปแบบ PFM ก็ไม่ได้รับความนิยมในแอปพลิเคชันสำหรับผู้บริโภคหรือกรา ฟิกบนเว็บ เนื่องจากขนาดไฟล์ขนาดใหญ่ที่เกิดจากการใช้การแสดงจุดลอยตัวสำหรับแต่ละพิกเซล นอกจากนี้ อุปกรณ์แสดงผลและซอฟต์แวร์ส่วนใหญ่ไม่ได้ออกแบบมาเพื่อรองรับช่วงไดนามิกสูงและความแม่นยำที่ไฟล์ PFM ให้ไว้ ด้วยเหตุนี้ ไฟล์ PFM จึงใช้เป็นหลักในสาขาต่างๆ เช่น การวิจัยกราฟิกคอมพิวเตอร์ การสร้างเอฟเฟกต์ภาพ และการสร้างภาพทางวิทยาศาสตร์ ซึ่งจำเป็นต้องใช้คุณภาพและความเที่ยงตรงของภาพสูงสุด
การประมวลผลไฟล์ PFM ต้องใช้ซอฟต์แวร์เฉพาะทางที่สามารถอ่านและเขียนข้อมูลจุดลอยตัวได้อย่างแม่นยำ เนื่องจากการนำรูปแบบนี้ไปใช้มีจำกัด ซอฟต์แวร์ดังกล่าวจึงไม่แพร่หลายเท่าเครื่องมือสำหรับรูปแบบภาพที่แพร่หลายกว่า อย่างไรก็ตาม แอปพลิเคชันการแก้ไขและประมวลผลภาพระดับมืออาชีพหลายๆ แอปพลิเคชันรองรับไฟล์ PFM ซึ่งช่วยให้ผู้ใช้สามารถทำงาน กับเนื้อหา HDR ได้ เครื่องมือเหล่านี้มักมีฟีเจอร์ไม่เพียงแต่สำหรับการดูและแก้ไข แต่ยังรวมถึงการแปลงไฟล์ PFM เป็นรูปแบบทั่วไปกว่า โดยพยายามรักษาช่วงไดนามิกให้ได้มากที่สุดเท่าที่จะทำได้ผ่านการแมปโทนและเทคนิคอื่นๆ
หนึ่งในความท้าทายที่สำคัญที่สุดในการทำงานกับไฟล์ PFM คือการขาดการรองรับเนื้อหา HDR อย่างแพร่หลายในฮาร์ดแวร์และซอฟต์แวร์สำหรับผู้บริโภค แม้ว่าจะมีการเพิ่มการรองรับ HDR อย่างค่อยเป็นค่อยไปในช่วงไม่กี่ปีที่ผ่านมา โดยมีจอแสดงผลและทีวีรุ่นใหม่บางรุ่นที่สามารถแสดงช่วงระดับความสว่างที่กว้างขึ้น แต่ระบบนิเวศยังคงตามไม่ทัน สถานการณ์นี้มักจำเป็นต้องแปลงไฟล์ PFM เป็นรูปแบบที่เข้ากันได้มากขึ้น แม้ว่าจะต้องแลกกับการสูญเสียช่วงไดนามิกและความแม่นยำบางส่วนที่ทำให้รูปแบบ PFM มีค่าสำหรับการใช้งานระดับมืออาชีพ