PAX (Pre-Allocate eXtension) เป็นรูปแบบไฟล์เก็บถาวรแบบบีบอัดโอเพนซอร์สที่พัฒนาโดย Microsoft เพื่อเป็นทางเลือกที่ทันสมัยสำหรับรูปแบบที่มีอยู่ เช่น ZIP, RAR และ tar ออกแบบมาเพื่อแก้ไขข้อจำกัดและปรับปรุงการบีบอัด ประสิทธิภาพ ความปลอดภัย และฟังก์ชันการจัดการไฟล์เก็บถาวรบนระบบและอุปกรณ์สมัยใหม่
คุณสมบัติที่แตกต่างที่สำคัญของรูปแบบ PAX ได้แก่ การบีบอัดที่ดียิ่งขึ้นโดยใช้ขั้นตอนวิธีการที่ทันสมัย การเข้าถึงไฟล์แบบสุ่มที่มีประสิทธิภาพภายในไฟล์เก็บถาวร การสนับสนุนมัลติเธรดแบบดั้งเดิม เมตาดาต้าที่ขยายได้ การเข้ารหัสในตัวและการตรวจสอบความสมบูรณ์ และข้อกำหนดแบบเปิดที่มีการบันทึกไว้เพื่อสนับสนุนการนำไปใช้และการทำงานร่วมกันอย่างกว้างขวาง
ไฟล์เก็บถาวร PAX ใช้ส่วนขยายไฟล์ .pax และมีโครงสร้างภายในหลายส่วนประกอบด้วยส่วนหัว ไดเร็กทอรีกลาง บล็อกข้อมูลที่บีบอัด และส่วนท้าย สิ่งนี้ช่วยให้ข้อมูลสำคัญ เช่น เนื้อหาของไฟล์เก็บถาวร พารามิเตอร์การบีบอัด และแฮชความสมบูรณ์สามารถจัดเก็บแยกต่างหากจากข้อมูลไฟล์ที่บีบอัดจริง
ส่วนหัว PAX เริ่มต้นด้วยหมายเลขวิเศษ 4 ไบต์ (50 41 58 00 ในเลขฐานสิบหก) เพื่อระบุตัวตน จากนั้นจะมีฟิลด์สำหรับเวอร์ชัน PAX วิธีการบีบอัด วิธีการเข้ารหัส วิธีการแฮช ขนาดบล็อก จำนวนเธรดการบีบอัดแบบขนาน และแฟล็กต่างๆ ส่วนหัวจะจบลงด้วยเมตาดาต้า XML ที่ขยายได้ซึ่งให้รายละเอียดเกี่ยวกับไฟล์เก็บถาวร
ถัดจากส่วนหัวคือไดเร็กทอรีกลาง PAX ซึ่งมีรายการสำหรับไฟล์/โฟลเดอร์ที่บีบอัดแต่ละรายการในไฟล์เก็บถาวร โดยจัดเก็บเส้นทางแบบเต็ม แอตทริบิวต์ ขนาด ออ ฟเซ็ตบล็อก และแฮช การมีสิ่งเหล่านี้อยู่ในที่เดียวช่วยให้สามารถแสดงรายการเนื้อหาของไฟล์เก็บถาวรและเข้าถึงไฟล์แต่ละไฟล์แบบสุ่มได้อย่างมีประสิทธิภาพโดยไม่ต้องสแกนผ่านข้อมูลที่บีบอัด
ส่วนใหญ่ของไฟล์เก็บถาวร PAX เป็นชุดของบล็อกข้อมูลที่บีบอัด แต่ละบล็อกมีส่วนหัวขนาดเล็กที่ระบุขนาดที่ไม่ได้บีบอัดและบีบอัด ตามด้วยส่วนของข้อมูลไฟล์ที่บีบอัดด้วยขั้นตอนวิธีการที่กำหนดค่าไว้ บล็อกมีขนาดเริ่มต้นที่ 1 MB แต่สามารถปรับได้ในส่วนหัวของไฟล์เก็บถาวร
บล็อกข้อมูลที่บีบอัดจะถูกเข้ารหัสหากมีการระบุวิธีการเข้ารหัส PAX รองรับรูปแบบการเข้ารหัสที่ทันสมัย เช่น AES-256 รหัสผ่านของไฟล์เก็บถาวรใช้เพื่อสร้างคีย์ที่เข้ารหัสแต่ละบล็อกแยกกัน ซึ่งช่วยให้สามารถเข้าถึงแบบสุ่มได้อย่างมีประสิทธิภาพ เพื่อการรับรองความถูกต้อง PAX จะแฮชร หัสผ่านด้วย KDF ที่ปลอดภัย
สำหรับการบีบอัด PAX รองรับตัวแปลงสัญญาณวัตถุประสงค์ทั่วไปที่ทันสมัยหลากหลายที่ปรับให้เหมาะสำหรับการคลายการบีบอัดอย่างรวดเร็ว: LZMA, LZ4, Brotli, Zstandard เป็นต้น นอกจากนี้ยังอนุญาตให้มีพรีโปรเซสเซอร์เพื่อลดขนาดเพิ่มเติมในประเภทไฟล์เฉพาะ (เช่น การเข้ารหัส Delta บน EXE/DLL การเข้ารหัส E8E9 บนโค้ด x86) ตัวแปลงสัญญาณวัตถุประสงค์ทั่วไปและพรีโปรเซสเซอร์จะถูกนำไปใช้ในไปป์ไลน์
เพื่อให้การบีบอัดแบบมัลติเธรดที่มีประสิทธิภาพ ไฟล์จะถูกแบ่งพาร์ติชันเป็นบล็อกที่บีบอัดแยกกันซึ่งสามารถประมวลผลโดยอินสแตนซ์ตัวแปลงสัญญาณวัตถุประสงค์ทั่วไปแบบขนาน ตัวบีบอัด PAX จะปรับขนาดโดยอัตโนมัติเพื่อใช้คอร์ CPU ทั้งหมดที่มีอยู่ การแบ่งพาร์ติชันที่คล้ายกันช่วยให้สามารถคลายการบีบอัดแบบขนานเพื่อการแยกที่เร็วขึ้น
PAX ให้ความสมบูรณ์ของข้อ มูลและการตรวจจับการปลอมแปลงโดยการจัดเก็บแฮชของข้อมูลต้นฉบับและข้อมูลที่บีบอัด ไฟล์เก็บถาวรมีแฮชส่วนหัวเพื่อตรวจจับการตัดทอน ไดเร็กทอรีกลางยังถูกแฮชเพื่อป้องกันการปลอมแปลงเมตาดาต้าของไฟล์ การเสื่อมสภาพของบิตในข้อมูลที่บีบอัดจะถูกตรวจจับโดยการแฮชแต่ละบล็อก
ที่ส่วนท้ายของไฟล์เก็บถาวร PAX คือส่วนท้าย ซึ่งมีสำเนาของฟิลด์ส่วนหัว ออฟเซ็ต/ขนาดของไดเร็กทอรีกลาง และแฮชของไฟล์เก็บถาวรทั้งหมด ส่วนท้ายมีขนาดคงที่และอยู่ที่ส่วนท้ายของไฟล์เสมอ ซึ่งช่วยให้สามารถระบุตำแหน่งและตรวจสอบไฟล์เก็บถาวร PAX ได้ง่าย
ไฟล์เก็บถาวร PAX สามารถอัปเดตได้อย่างมีประสิทธิภาพโดยการแก้ไขไดเร็กทอรีกลางและผนวกบล็อกข้อมูลที่เปลี่ยนแปลง แทนที่จะเขียนไฟล์เก็บถาวรใหม่ทั้งหมด ไฟล์ทั้งหมดสามารถแทรก ลบ หรือแทนที่ได้โดยการอัปเดตเมตาดาต ้าและเพิ่ม/ลบบล็อกที่เกี่ยวข้อง นอกจากนี้ยังสามารถผนวกไฟล์เก็บถาวรได้อย่างรวดเร็ว
เพื่อลดช่องโหว่ zip-slip PAX ต้องการเส้นทางที่ชัดเจน (ไม่มีการเคลื่อนผ่าน ../) และป้องกันการเขียนนอกรูทการแยกข้อมูล ฟิลด์เมตาดาต้า ZIP ที่ยาวซึ่งเปิดใช้งานการปฏิเสธการให้บริการจะถูกจำกัด การโจมตีแบบ Compression bomb จะลดลงผ่านการจำกัดอัตราการบีบอัดและการใช้หน่วยความจำ
การประทับเวลาของไฟล์ในไฟล์เก็บถาวร PAX ใช้รูปแบบ 64 บิตมาตรฐานที่ครอบคลุมช่วงวันที่กว้างพร้อมความแม่นยำ 1 วินาที รองรับแอตทริบิวต์สำหรับสิทธิ์ POSIX และ ACL ของ Windows PAX สามารถจัดเก็บสตรีมข้อมูลสำรอง NTFS และฟอร์กทรัพยากรได้ นอกจากนี้ยังสามารถแสดงลิงก์เชิงสัญลักษณ์และลิงก์แบบแข็งได้
SDK PAX โอเพนซอร์สให้ API ที่เรียบง่ายสำหรับการสร้าง การแยกข้อมูล การอัปเดต และการตรวจสอบไฟล์เก็บถาวร PAX ด้วยโปรแกรม จัดการรายละเอียดระดับต่ำทั้งหมดของรูปแบบ PAX SDK มีให้บริการในหลายภาษา รวมถึง C, C++, C#, Java, Python, JavaScript, Go และ Rust
โดยสรุป รูปแบบไฟล์เก็บถาวร PAX สร้างขึ้นจากรากฐานของรูปแบบที่พิสูจน์แล้ว เช่น ZIP พร้อมทั้งนำเสนอคุณสมบัติและการปรับให้เหมาะสมที่ทันสมัย - การบีบอัดที่มีประสิทธิภาพ มัลติเธรด การเข้าถึงแบบสุ่ม ความปลอดภัย และข้อกำหนดแบบเปิด สิ่งนี้ทำให้ PAX เหมาะอย่างยิ่งสำหรับสถานการณ์การเก็บถาวรที่หลากหลายในระบบปัจจุบัน
การบีบอัดไฟล์ช่วยลดความซ้ำซ้อนเพื่อให้ข้อมูลเดียวกันใช้บิตน้อยลง ขีดจำกัดสูงสุดของระยะทางที่คุณสามารถไปได้ถูกควบคุมโดยทฤษฎีข้อมูล: สำหรับการบีบอัดแบบไม่สูญเสียข้อมูล ขีดจำกัดคือเอนโทรปีของแหล่งที่มา (ดู ทฤษฎีบทการเข้ารหัสต้นทาง ของแชนนอนแล ะบทความต้นฉบับของเขาในปี 1948 “ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร”) สำหรับการบีบอัดแบบสูญเสียข้อมูล การแลกเปลี่ยนระหว่างอัตราและคุณภาพถูกจับโดย ทฤษฎีอัตรา-ความผิดเพี้ยน.
คอมเพรสเซอร์ส่วนใหญ่มีสองขั้นตอน ขั้นแรก แบบจำลอง จะทำนายหรือเปิดเผยโครงสร้างในข้อมูล ประการที่สอง ตัวเข้ารหัส จะเปลี่ยนการคาดการณ์เหล่านั้นให้เป็นรูปแบบบิตที่เกือบจะเหมาะสมที่สุด ตระกูลการสร้างแบบจำลองแบบคลาสสิกคือ Lempel–Ziv: LZ77 (1977) และ LZ78 (1978) ตรวจจับสตริงย่อยที่ซ้ำกันและส่งออกการอ้างอิงแทนไบต์ดิบ ในด้านการเข้ารหัส การเข ้ารหัสฮัฟฟ์แมน (ดูบทความต้นฉบับ 1952) กำหนดรหัสที่สั้นกว่าให้กับสัญลักษณ์ที่มีแนวโน้มมากกว่า การเข้ารหัสเลขคณิต และ การเข้ารหัสช่วง เป็นทางเลือกที่ละเอียดกว่าซึ่งบีบเข้าใกล้ขีดจำกัดเอนโทรปีมากขึ้น ในขณะที่ ระบบเลขไม่สมมาตร (ANS) ที่ทันสมัยบรรลุการบีบอัดที่คล้ายกันด้วยการใช้งานที่ขับเคลื่อนด้วยตารางที่รวดเร็ว
DEFLATE (ใช้โดย gzip, zlib และ ZIP) รวม LZ77 เข้ากับการเข้ารหัสฮัฟฟ์แมน ข้อกำหนดของมันเป็นแบบสาธารณะ: DEFLATE RFC 1951, zlib wrapper RFC 1950, และรูปแบบไฟล์ gzip RFC 1952. Gzip ถูกจัดเฟรมสำหรับการสตรีมและอย่างชัดเจน ไม่พยายามให้การเข้าถึงแบบสุ่ม. รูปภาพ PNG กำหนดมาตรฐาน DEFLATE เป็นวิธีการบีบอัดเพียงวิธีเดียว (โดยมีหน้าต่างสูงสุด 32 KiB) ตามข้อกำหนด PNG “วิธีการบีบอัด 0… deflate/inflate… มากที่สุด 32768 ไบต์” และ W3C/ISO PNG ฉบับที่ 2.
Zstandard (zstd): คอมเพรสเซอร์สำหรับวัตถุประสงค์ทั่วไปรุ่นใหม่ที่ออกแบบมาสำหรับอัตราส่วนที่สูงพร้อมการคลายการบีบอัดที่รวดเร็วมาก รูปแบบ được ghi lại trong RFC 8878 (cũng gương HTML) và thông số kỹ thuật tham chiếu trên GitHub. Giống như gzip, khung cơ bản không nhắm đến truy cập ngẫu nhiên. Một trong những siêu năng lực của zstd là từ điển: các mẫu nhỏ từ kho dữ liệu của bạn giúp cải thiện đáng kể việc nén trên nhiều tệp nhỏ hoặc tương tự (xem tài liệu từ điển python-zstandard và ví dụ làm việc của Nigel Tao). Các triển khai chấp nhận cả từ điển “không có cấu trúc” và “có cấu trúc” (thảo luận).
Brotli: เหมาะสำหรับเนื้อหาเว็บ (เช่น แบบอักษร WOFF2, HTTP) มันผสมพจนานุกรมคงที่กับ แกน LZ+เอนโทรปีที่คล้ายกับ DEFLATE ข้อกำหนดคือ RFC 7932ซึ่งยังบันทึกหน้าต่างเลื่อนของ 2WBITS−16 โดย WBITS อยู่ใน [10, 24] (1 KiB−16 B ถึง 16 MiB−16 B) และ ไม่พยายามเข้าถึงแบบสุ่ม. Brotli มักจะเอาชนะ gzip ในข้อความเว็บในขณะที่ถอดรหัสได้อย่างรวดเร็ว
คอนเทนเนอร์ ZIP: ZIP เป็น ไฟล์เก็บถาวร ที่สามารถจัดเก็บรายการด้วยวิธีการบีบอัดต่างๆ (deflate, store, zstd, etc.) มาตรฐานโดยพฤตินัยคือ APPNOTE ของ PKWARE (ดู พอร์ทัล APPNOTE, สำเนาที่โฮสต์, และภาพรวม LC รูปแบบไฟล์ ZIP (PKWARE) / ZIP 6.3.3).
LZ4 มุ่งเป้าไปที่ความเร็วล้วนๆ ด้วยอัตราส่วนที่พอประมาณ ดู หน้าโครงการ (“การบีบอัดที่รวดเร็วอย่างยิ่ง”) และ รูปแบบเฟรม. เหมาะอย่างยิ่งสำหรับแคชในหน่วยความจำ, telemetry, หรือ hot paths ที่การคลายการบีบอัดต้องใกล้เคียงกับความเร็วของ RAM
XZ / LZMA ผลักดันความหนาแน่น (อัตราส่วนที่ดี) ด้วยการบีบอัดที่ค่อนข้างช้า XZ เป็นคอนเทนเนอร์; งานหนักส่วนใหญ่มักทำโดย LZMA/LZMA2 (การสร้างแบบจำลองคล้าย LZ77 + การเข้ารหัสช่วง) ดู รูปแบบไฟล์ .xz, ข้อมูลจำเพาะของ LZMA (Pavlov), และบันทึกเคอร์เนลของลินุกซ์ บน XZ Embedded. XZ มักจะบีบอัดได้ดีกว่า gzip และมักจะแข่งขันกับตัวแปลงสัญญาณที่ทันสมัยที่มีอัตราส่วนสูง แต่ใช้เวลาเข้ารหัสนานกว่า
bzip2 ใช้ การแปลง Burrows–Wheeler (BWT), move-to-front, RLE, และการเข้ารหัสฮัฟฟ์แมน โดยทั่วไปจะมีขนาดเล็กกว่า gzip แต่ช้ากว่า; ดู คู่มืออย่างเป็นทางการ และหน้า man (Linux).
“ขนาดหน้าต่าง” มีความสำคัญ การอ้างอิง DEFLATE สามารถมองย้อนกลับไปได้เพียง 32 KiB (RFC 1951 และขีดจำกัด 32 KiB ของ PNG ที่ระบุไว้ที่นี่). หน้าต่างของ Brotli มีตั้งแต่ประมาณ 1 KiB ถึง 16 MiB (RFC 7932). Zstd ปรับแต่งหน้าต่างและความลึกของการค้นหาตามระดับ (RFC 8878). สตรีมพื้นฐานของ gzip/zstd/brotli ได้รับการออกแบบมาสำหรับการถอดรหัสตามลำดับ; รูปแบบพื้นฐาน ไม่รับประกันการเข้าถึงแบบสุ่ม, แม้ว่าคอนเทนเนอร์ (เช่น ดัชนี tar, เฟรมแบบแบ่งส่วน, หรือดัชนีเฉพาะรูปแบบ) สามารถแบ่งชั้นได้
รูปแบบข้างต้นคือ ไม่สูญเสียข้อมูล: คุณสามารถสร้างไบต์ที่แน่นอนขึ้นมาใหม่ได้ ตัวแปลงสัญญาณสื่อมักเป็น สูญเสียข้อมูล: พวกเขาทิ้งรายละเอียดที่มองไม่เห็นเพื่อให้อัตราบิตต่ำลง ในภาพ, JPEG แบบคลาสสิก (DCT, การหาปริมาณ, การเข้ารหัสเอนโทรปี) ถูกกำหนดมาตรฐานใน ITU-T T.81 / ISO/IEC 10918-1. ในด้านเสียง, MP3 (MPEG-1 Layer III) และ AAC (MPEG-2/4) อาศัยแบบจำลองการรับรู้และการแปลง MDCT (ดู ISO/IEC 11172-3, ISO/IEC 13818-7, และภาพรวม MDCT ที่นี่). การสูญเสียและไม่สูญเสียข้อมูลสามารถอยู่ร่วมกันได้ (เช่น PNG สำหรับเนื้อหา UI; ตัวแปลงสัญญาณเว็บสำหรับภาพ/วิดีโอ/เสียง)
ทฤษฎี: แชนนอน 1948 · อัตรา-ความผิดเพี้ยน · การเข้ารหัส: ฮัฟฟ์แมน 1952 · การเข้ารหัสเลขคณิต · การเข้ารหัสช่วง · ANS. รูปแบบ: DEFLATE · zlib · gzip · Zstandard · Brotli · เฟรม LZ4 · รูปแบบ XZ. สแต็ก BWT: Burrows–Wheeler (1994) · คู่มือ bzip2. สื่อ: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
สรุป: เลือกคอมเพรสเซอร์ที่ตรงกับข้อมูลและข้อจำกัดของคุณ วัดผลจากข้อมูลจริง และ อย่าลืมประโยชน์จากพจนานุกรมและการจัดเฟรมอย่างชาญฉลาด ด้วยการจับคู่ที่เหมาะสม คุณจะได้รับ ไฟล์ขนาดเล็กลง, การถ่ายโอนที่เร็วขึ้น, และแอปที่เร็วขึ้น — โดยไม่สูญเสียความถูกต้องหรือการพกพา
การบีบอัดไฟล์คือกระบวนการที่ลดขนาดไฟล์หรือไฟล์ทั้งหมด โดยทั่วไปจะใช้เพื่อประหยัดพื้นที่จัดเก็บหรือเร่งความเร็วในการส่งผ่านเครือข่าย
การบีบอัดไฟล์ทำงานโดยระบุและการนำข้อมูลที่ซ้ำซ้อนออก มันใช้อัลกอริทึมเพื่อเข้ารหัสข้อมูลเดิมในพื้นที่ที่เล็ กกว่า
สองประเภทหลักของการบีบอัดไฟล์คือการบีบอัดแบบสูญเสียและแบบไม่สูญเสีย การบีบอัดแบบไม่สูญเสียอนุญาตให้ไฟล์เดิมสามารถถูกกู้คืนได้แบบสมบูรณ์เมื่อการบีบอัดแบบสูญเสียช่วยลดขนาดไฟล์อย่างมากด้วยการสูญเสียคุณภาพข้อมูลบางส่วน
ตัวอย่างของเครื่องมือการบีบอัดไฟล์ที่นิยมคือ WinZip ซึ่งรองรับรูปแบบการบีบอัดหลายรูปแบบ รวมถึง ZIP และ RAR
ด้วยการบีบอัดแบบไม่สูญเสีย คุณภาพจะไม่เปลี่ยนแปลง หากแต่ด้วยการบีบอัดแบบสูญเสีย อาจมีการลดลงของคุณภาพเพราะการกำจัดข้อมูลที่ไม่สำคัญเพื่อลดขนาดไฟล์มากขึ้น
ใช่ การบีบอัดไฟล์ปลอดภัยในเชิงของความไม่เปล่าเสีย โดยเฉพาะด้วยการบีบอัดแบบไม่สูญเสีย แต่เหมือนกับไฟล์ใด ๆ ไฟล์ที่ถูกบีบอัดสามารถถูกกลายเป็นเป้าหมายของมัลแวร์หรือไวรัส ดังนั้นเสมอแล้วควรมีซอฟต์แวร์ความปลอดภัยที่น่าเชื่อถือ
แทบทุกประเภทของไฟล์สามารถบีบอัดได้ รวมถึงไฟล์ข้อความ ภาพ ข้อมูลเสียง วิดีโอ และไฟล์ซอฟต์แวร์ อย่างไรก็ตาม ระดับการบีบอัดที่สามารถทำได้สามารถแตกต่างกันอย่างมากขึ้นอยู่กับประเภทไฟล์
ไฟล์ ZIP เป็นประเภทของรูปแบบไฟล์ที่ใช้การบีบอัดแบบไม่สูญเสียเพื่อลดขนาดไฟล์หนึ่งหรือหลายไฟล์ ไฟล์หลายไฟล์ในไฟล์ ZIP ถูกจัด รวมเข้าด้วยกันเป็นไฟล์เดียวทำให้การแบ่งปันง่ายขึ้น
จริงแล้วด้วยทางเทคนิค คุณสามารถบีบอัดไฟล์ที่ถูกบีบอัดแล้ว แต่การลดขนาดเพิ่มเติมอาจจะมีน้อยหรือแม้แต่ทำงานตรงข้าม การบีบอัดไฟล์ที่ถูกบีบอัดแล้วอาจทำให้ขนาดของมันเพิ่มขึ้นเนื่องจากมีการเพิ่มข้อมูลเมตาดาตาโดยอัลกอริทึมการบีบอัด
เพื่อถอดการบีบอัดไฟล์ คุณโดยทั่วไปจะต้องมีเครื่องมือการถอดความกดหรือ unzip เช่น WinZip หรือ 7-Zip เครื่องมือเหล่านี้สามารถแยกไฟล์เดิมออกจากรูปแบบที่ถูกบีบอัด