การลบพื้นหลัง แยกวัตถุออกจากสภาพแวดล้อมเพื่อให้คุณสามารถวางไว้บน ความโปร่งใส, สลับฉาก, หรือประกอบเข้ากับการออกแบบใหม่. ภายใต้กระโปรงคุณกำลังประเมิน อัลฟ่าแมท—ความทึบต่อพิกเซลจาก 0 ถึง 1—แล้ว การประกอบอัลฟ่า โฟร์กราวด์ поверх สิ่งอื่น. นี่คือคณิตศาสตร์จาก Porter–Duff และสาเหตุของข้อผิดพลาดที่คุ้นเคยเช่น “ขอบ” และ อัลฟ่าตรงกับอัลฟ่าที่คูณไว้ล่วงหน้า. สำหรับคำแนะนำเชิงปฏิบัติเกี่ยวกับการคูณล่วงหน้าและสีเชิงเส้น, ดู บันทึก Win2D ของ Microsoft, Søren Sandmann, และ บทความของ Lomont เกี่ยวกับการผสมเชิงเส้น.
หากคุณสามารถควบคุมการจับภาพได้, ทาสีพื้นหลังเป็นสีทึบ (ส่วนใหญ่มักเป็นสีเขียว) และ คีย์ สีนั้นออกไป. มันรวดเร็ว, ผ่านการทดสอบการต่อสู้ในภาพยนตร์และการออกอากาศ, และเหมาะสำหรับวิดีโอ. ข้อแลกเปลี่ยนคือแสงและตู้เสื้อผ้า: แสงสีจะรั่วไหลไปยังขอบ (โดยเฉพาะเส้นผม), ดังนั้นคุณจะใช้เครื่องมือ despill เพื่อทำให้การปนเปื้อนเป็นกลาง. ไพรเมอร์ที่ดี ได้แก่ เอกสารของ Nuke, Mixing Light, และการสาธิต Fusion แบบลงมือปฏิบัติ.
สำหรับภาพเดี่ยวที่มีพื้นหลังรก, อัลกอริทึม แบบโต้ตอบ ต้องการคำใบ้จากผู้ใช้เล็กน้อย—เช่น, สี่เหลี่ยมผืนผ้าหลวมๆ หรือลายเส้นขยุกขยิก—และมาบรรจบกันเป็นหน้ากากที่คมชัด. วิธีการที่เป็นที่ยอมรับคือ GrabCut (บทในหนังสือ), ซึ่งเรียนรู้แบบจำลองสีสำหรับโฟร์กราวด์/พื้นหลัง และใช้การตัดกราฟซ้ำๆ เพื่อแยกพวกมัน. คุณจะเห็นแนวคิดที่คล้ายกันใน การเลือกโฟร์กราวด์ของ GIMP โดยใช้ SIOX (ปลั๊กอิน ImageJ).
การทำแมท แก้ปัญหาความโปร่งใสแบบเศษส่วนที่ขอบเขตที่บอบบาง (ผม, ขน, ควัน, แก้ว). การทำแมทแบบปิดคลาสสิก ใช้ trimap (แน่นอน-หน้า/แน่นอน-หลัง/ไม่ทราบ) และแก้ปัญหาระบบเชิงเส้นสำหรับอัลฟ่าที่มีความเที่ยงตรงของขอบสูง. การทำแมทภาพแบบลึกสมัยใหม่ ฝึกอบรมโครงข่ายประสาทเทียมบนชุดข้อมูล Adobe Composition-1K (เอกสาร MMEditing), และได้รับการประเมินด้วยเมตริกเช่น SAD, MSE, Gradient, และ Connectivity (คำอธิบายเกณฑ์มาตรฐาน).
งานแบ่งส่วนที่เกี่ยวข้องก็มีประโยชน์เช่นกัน: DeepLabv3+ ปรับปรุงขอบเขตด้วยตัวเข้ารหัส-ตัวถอดรหัสและคอนโวลูชัน atrous (PDF); Mask R-CNN ให้หน้ากากต่ออินสแตนซ์ (PDF); และ SAM (Segment Anything) เป็น โมเดลพื้นฐาน ที่สามารถแจ้งได้ ที่สร้างหน้ากากแบบ zero-shot บนภาพที่ไม่คุ้นเคย.
งานวิชาการรายงานข้อผิดพลาด SAD, MSE, Gradient, และ Connectivity บน Composition-1K. หากคุณกำลังเลือกโมเดล, ให้มองหาเมตริกเหล่านั้น (คำจำกัดความของเมตริก; ส่วนเมตริกของ Background Matting). สำหรับภาพบุคคล/วิดีโอ, MODNet และ Background Matting V2 แข็งแกร่ง; สำหรับภาพ “วัตถุเด่น” ทั่วไป, U2-Net เป็นพื้นฐานที่มั่นคง; สำหรับความโปร่งใสที่ยาก, FBA อาจสะอาดกว่า.
BAYERA เป็นรูปแบบไฟล์ภาพดิบที่ใช้กันทั่วไปในแอปพลิเคชันการถ่ายภาพและการสร้างภาพดิจิทัล ตั้งชื่อตามรูปแบบโมเสกตัวกรอง Bayer ซึ่งเป็นอาร์เรย์ตัวกรองสี (CFA) ที่ใช้ในเซ็นเซอร์ภาพดิจิทัลส่วนใหญ่ โมเสกตัวกรอง Bayer ประกอบด้วยกริดของตัวกรองสีแดง เขียว และน้ำเงินที่จัดเรียงในรูปแบบเฉพาะบนโฟโตไซต์ของเซ็นเซอร์ภาพ รูปแบบนี้ช่วยให้เซ็นเซอร์สามารถจับภาพข้อมูลสี ซึ่งจากนั้นจะถู กประมวลผลเพื่อสร้างภาพสีเต็มรูปแบบ
ในโมเสกตัวกรอง Bayer ทั่วไป ตัวกรองสีเขียวจะจัดเรียงในรูปแบบกระดานหมากรุก ในขณะที่ตัวกรองสีแดงและสีน้ำเงินจะจัดวางในแถวสลับกัน ตัวกรองสีเขียวมีจำนวนมากกว่าเนื่องจากดวงตาของมนุษย์มีความไวต่อแสงสีเขียวมากกว่า และการจัดเรียงนี้ช่วยปรับปรุงคุณภาพของภาพโดยรวมและความละเอียดของความสว่าง การจัดเรียงเฉพาะของตัวกรองสีอาจแตกต่างกันไปขึ้นอยู่กับผู้ผลิตและการออกแบบเซ็นเซอร์เฉพาะ
เมื่อแสงผ่านโมเสกตัวกรอง Bayer และไปถึงเซ็นเซอร์ภาพ โฟโตไซต์แต่ละตัวจะจับความเข้มของแสงที่สอดคล้องกับสีของตัวกรองที่เกี่ยวข้อง อย่างไรก็ตาม ในขั้นตอนนี้ โฟโตไซต์แต่ละตัวมีข้อมูลเกี่ยวกับช่องสีเดียวเท่านั้น (แดง เขียว หรือน้ำเงิน) เพื่อสร้างภาพสีเต็มรูปแบบ จะมีการดำเนินการกระบวนการที่เรียกว่าการลดการสุ่มตัวอย่างหรือการลบจุด
การลดการสุ่มตัวอย่างเกี่ยวข้องกับการแทรกค่าสีที่หายไปสำหรับแต่ละพิกเซลตามข้อมูลสีจากพิกเซลโดยรอบ สามารถใช้ขั้นตอนวิธีต่างๆ สำหรับการลดการสุ่มตัวอย่าง ตั้งแต่การแทรกค่าเชิงเส้นแบบง่ายไปจนถึงวิธีขั้นสูงที่คำนึงถึงการตรวจจับขอบและการไล่ระดับสี ตัวเลือกของขั้นตอนวิธีการลดการสุ่มตัวอย่างสามารถส่งผลกระทบอย่างมากต่อคุณภาพของภาพสุดท้าย โดยเฉพาะในแง่ของความแม่นยำของสี ความคมชัด และการลดสิ่งประดิษฐ์
ไฟล์ BAYERA จัดเก็บข้อมูลดิบที่ยังไม่ได้ประมวลผลที่จับโดยเซ็นเซอร์ภาพ โดยรักษาไว้ซึ่งรูปแบบ Bayer ดั้งเดิม ข้อมูลดิบนี้มีค่าสีเดียวสำหรับแต่ละพิกเซล ซึ่งสอดคล้องกับตัวกรองสีที่ผ่านเข้ามา รูปแบบไฟล์โดยทั่วไปจะรวมเมตาดาต้าที่อธิบายรูปแบบ Bayer เฉพาะที่ใช้ รวมถึงการตั้งค่ากล้องอื่นๆ และพารามิเตอร์ของภาพ
ข้อได้เปรียบหลักประการหนึ่งของรูปแบบ BAYERA คือการรักษาข้อมูลปริมาณสูงสุดที่จับโดยเซ็นเซอร์ภาพ ซึ่งให้ความยืดหยุ่นสำหรับการประมวลผลภาพและการจัดการภาพ ไฟล์ดิบช่วยให้ผู้ใช้สามารถปรับพารามิเตอร์ต่างๆ เช่น สมดุลแสงขาว แสง และการจัดระดับสีได้โดยไม่สูญเสียคุณภาพหรือเกิดสิ่งประดิษฐ์จากการบีบอัด สิ่งนี้ทำให้ไฟล์ BAYERA เป็นที่น่าสนใจเป็นพิเศษสำหรับช่างภาพมืออาชีพและผู้เชี่ยวชาญด้านการสร้างภาพที่ต้องการการควบคุมภาพของตนในระดับสูงสุด
อย่างไรก็ตาม การทำงานกับไฟล์ BAYERA ก็มีข้อท้าทายบางประการ ไฟล์มักมีขนาดใหญ่กว่ารูปแบบภาพที่ประมวลผลแล้ว เช่น JPEG หรือ PNG เนื่องจากมีข้อมูลดิบที่ไม่ได้บีบอัด สิ่งนี้อาจส่งผลให้มีความต้องการพื้นที่จัดเก็บที่สูงขึ้นและเวลาในการประมวลผลที่ช้าลง นอกจากนี้ การดูและแก้ไขไฟล์ BAYERA ต้องใช้ซอฟต์แวร์เฉพาะที่สามารถตีความข้อมูลดิบและดำเนินการลดการสุ่มตัวอย่างและขั้นตอนการประมวลผลภาพที่จำเป็น
เพื่อแก้ไขข้อท้าทายเหล่านี้ ผู้ผลิตกล้องหลายรายได้พัฒนารูปแบบไฟล์ดิบที่เป็นกรรมสิทธิ์ของตนเองตามรูปแบบ BAYERA รูปแบบเหล่านี้มักรวมเมตาดาต้าเพิ่มเติมและอาจใช้การบีบอัดแบบไม่สูญเสียข้อมูลในระดับหนึ่งเพื่อลดขนาดไฟล์โดยไม่ลดทอนคุณภาพของภาพ ตัวอย่างของรูปแบบกรรมสิทธิ์ดังกล่าว ได้แก่ CR2 (Canon), NEF (Nikon) และ ARW (Sony)
แม้จะมีรูปแบบดิบที่เป็นกรรมสิทธิ์ แต่รูปแบบ BAYERA ยังคงเป็นมาตรฐานในอุตสาหกรรมการสร้างภาพดิจิทัล แอปพลิเคชันและเวิร์กโฟลว์การแก้ไขภาพจำนวนมากรองรับการนำเข้าและการประมวลผลไฟล์ BAYERA เพื่อให้แน่ใจว่าสามารถใช้งานร่วมกันได้บนแพลตฟอร์มและอุปกรณ์ต่างๆ
สรุปแล้ว รูปแบบไฟล์ BAYERA เป็นส่วนประกอบสำคัญของการถ่ายภาพดิจิทัล ช่วยให้สามารถจับภาพและจัดเก็บข้อมูลภาพดิบตามรูปแบบโมเสกตัวกรอง Bayer ความสามารถในการรักษาข้อมูลปริมาณสูงสุดจากเซ็นเซอร์ภาพทำให้เป็นเครื่องมือที่จำเป็นสำหรับช่างภาพมืออาชีพและผู้เชี่ยวชาญด้านการสร้างภาพที่ต้องการการควบคุมและความยืดหยุ่นในระดับสูงสุดในเวิร์กโฟลว์การประมวลผลภาพของตน แม้ว่าการทำงานกับไฟล์ BAYERA จะมีข้อท้าทายบางประการ เช่น ขนาดไฟล์ที่ใหญ่ขึ้นและความจำเป็นของซอฟต์แวร์เฉพาะ แต่ประโยชน์ของรูปแบบนี้ยังคงทำให้เป็นมาตรฐานในอุตสาหกรรมการสร้างภาพดิจิทัล