แยกไฟล์ WARC

การบีบอัดไฟล์ช่วยลดความซ้ำซ้อนเพื่อให้ข้อมูลเดียวกันใช้บิตน้อยลง ขีดจำกัดสูงสุดของระยะทางที่คุณสามารถไปได้ถูกควบคุมโดยทฤษฎีข้อมูล: สำหรับการบีบอัดแบบไม่สูญเสียข้อมูล ขีดจำกัดคือเอนโทรปีของแหล่งที่มา (ดู ทฤษฎีบทการเข้ารหัสต้นทาง ของแชนนอนและบทความต้นฉบับของเขาในปี 1948 “ทฤษฎีทางคณิตศาสตร์ของการสื่อสาร”) สำหรับการบีบอัดแบบสูญเสียข้อมูล การแลกเปลี่ยนระหว่างอัตราและคุณภาพถูกจับโดย ทฤษฎีอัตรา-ความผิดเพี้ยน.

สองเสาหลัก: การสร้างแบบจำลองและการเข้ารหัส

คอมเพรสเซอร์ส่วนใหญ่มีสองขั้นตอน ขั้นแรก แบบจำลอง จะทำนายหรือเปิดเผยโครงสร้างในข้อมูล ประการที่สอง ตัวเข้ารหัส จะเปลี่ยนการคาดการณ์เหล่านั้นให้เป็นรูปแบบบิตที่เกือบจะเหมาะสมที่สุด ตระกูลการสร้างแบบจำลองแบบคลาสสิกคือ Lempel–Ziv: LZ77 (1977) และ LZ78 (1978) ตรวจจับสตริงย่อยที่ซ้ำกันและส่งออกการอ้างอิงแทนไบต์ดิบ ในด้านการเข้ารหัส การเข้ารหัสฮัฟฟ์แมน (ดูบทความต้นฉบับ 1952) กำหนดรหัสที่สั้นกว่าให้กับสัญลักษณ์ที่มีแนวโน้มมากกว่า การเข้ารหัสเลขคณิต และ การเข้ารหัสช่วง เป็นทางเลือกที่ละเอียดกว่าซึ่งบีบเข้าใกล้ขีดจำกัดเอนโทรปีมากขึ้น ในขณะที่ ระบบเลขไม่สมมาตร (ANS) ที่ทันสมัยบรรลุการบีบอัดที่คล้ายกันด้วยการใช้งานที่ขับเคลื่อนด้วยตารางที่รวดเร็ว

รูปแบบทั่วไปทำอะไรได้บ้าง

DEFLATE (ใช้โดย gzip, zlib และ ZIP) รวม LZ77 เข้ากับการเข้ารหัสฮัฟฟ์แมน ข้อกำหนดของมันเป็นแบบสาธารณะ: DEFLATE RFC 1951, zlib wrapper RFC 1950, และรูปแบบไฟล์ gzip RFC 1952. Gzip ถูกจัดเฟรมสำหรับการสตรีมและอย่างชัดเจน ไม่พยายามให้การเข้าถึงแบบสุ่ม. รูปภาพ PNG กำหนดมาตรฐาน DEFLATE เป็นวิธีการบีบอัดเพียงวิธีเดียว (โดยมีหน้าต่างสูงสุด 32 KiB) ตามข้อกำหนด PNG “วิธีการบีบอัด 0… deflate/inflate… มากที่สุด 32768 ไบต์” และ W3C/ISO PNG ฉบับที่ 2.

Zstandard (zstd): คอมเพรสเซอร์สำหรับวัตถุประสงค์ทั่วไปรุ่นใหม่ที่ออกแบบมาสำหรับอัตราส่วนที่สูงพร้อมการคลายการบีบอัดที่รวดเร็วมาก รูปแบบ được ghi lại trong RFC 8878 (cũng gương HTML) và thông số kỹ thuật tham chiếu trên GitHub. Giống như gzip, khung cơ bản không nhắm đến truy cập ngẫu nhiên. Một trong những siêu năng lực của zstd là từ điển: các mẫu nhỏ từ kho dữ liệu của bạn giúp cải thiện đáng kể việc nén trên nhiều tệp nhỏ hoặc tương tự (xem tài liệu từ điển python-zstandard và ví dụ làm việc của Nigel Tao). Các triển khai chấp nhận cả từ điển “không có cấu trúc” và “có cấu trúc” (thảo luận).

Brotli: เหมาะสำหรับเนื้อหาเว็บ (เช่น แบบอักษร WOFF2, HTTP) มันผสมพจนานุกรมคงที่กับ แกน LZ+เอนโทรปีที่คล้ายกับ DEFLATE ข้อกำหนดคือ RFC 7932ซึ่งยังบันทึกหน้าต่างเลื่อนของ 2^WBITS−16 โดย WBITS อยู่ใน [10, 24] (1 KiB−16 B ถึง 16 MiB−16 B) และ ไม่พยายามเข้าถึงแบบสุ่ม. Brotli มักจะเอาชนะ gzip ในข้อความเว็บในขณะที่ถอดรหัสได้อย่างรวดเร็ว

คอนเทนเนอร์ ZIP: ZIP เป็น ไฟล์เก็บถาวร ที่สามารถจัดเก็บรายการด้วยวิธีการบีบอัดต่างๆ (deflate, store, zstd, etc.) มาตรฐานโดยพฤตินัยคือ APPNOTE ของ PKWARE (ดู พอร์ทัล APPNOTE, สำเนาที่โฮสต์, และภาพรวม LC รูปแบบไฟล์ ZIP (PKWARE) / ZIP 6.3.3).

ความเร็วเทียบกับอัตราส่วน: รูปแบบต่างๆ อยู่ที่ไหน

LZ4 มุ่งเป้าไปที่ความเร็วล้วนๆ ด้วยอัตราส่วนที่พอประมาณ ดู หน้าโครงการ (“การบีบอัดที่รวดเร็วอย่างยิ่ง”) และ รูปแบบเฟรม. เหมาะอย่างยิ่งสำหรับแคชในหน่วยความจำ, telemetry, หรือ hot paths ที่การคลายการบีบอัดต้องใกล้เคียงกับความเร็วของ RAM

XZ / LZMA ผลักดันความหนาแน่น (อัตราส่วนที่ดี) ด้วยการบีบอัดที่ค่อนข้างช้า XZ เป็นคอนเทนเนอร์; งานหนักส่วนใหญ่มักทำโดย LZMA/LZMA2 (การสร้างแบบจำลองคล้าย LZ77 + การเข้ารหัสช่วง) ดู รูปแบบไฟล์ .xz, ข้อมูลจำเพาะของ LZMA (Pavlov), และบันทึกเคอร์เนลของลินุกซ์ บน XZ Embedded. XZ มักจะบีบอัดได้ดีกว่า gzip และมักจะแข่งขันกับตัวแปลงสัญญาณที่ทันสมัยที่มีอัตราส่วนสูง แต่ใช้เวลาเข้ารหัสนานกว่า

bzip2 ใช้ การแปลง Burrows–Wheeler (BWT), move-to-front, RLE, และการเข้ารหัสฮัฟฟ์แมน โดยทั่วไปจะมีขนาดเล็กกว่า gzip แต่ช้ากว่า; ดู คู่มืออย่างเป็นทางการ และหน้า man (Linux).

หน้าต่าง บล็อก และการเข้าถึงแบบสุ่ม

“ขนาดหน้าต่าง” มีความสำคัญ การอ้างอิง DEFLATE สามารถมองย้อนกลับไปได้เพียง 32 KiB (RFC 1951 และขีดจำกัด 32 KiB ของ PNG ที่ระบุไว้ที่นี่). หน้าต่างของ Brotli มีตั้งแต่ประมาณ 1 KiB ถึง 16 MiB (RFC 7932). Zstd ปรับแต่งหน้าต่างและความลึกของการค้นหาตามระดับ (RFC 8878). สตรีมพื้นฐานของ gzip/zstd/brotli ได้รับการออกแบบมาสำหรับการถอดรหัสตามลำดับ; รูปแบบพื้นฐาน ไม่รับประกันการเข้าถึงแบบสุ่ม, แม้ว่าคอนเทนเนอร์ (เช่น ดัชนี tar, เฟรมแบบแบ่งส่วน, หรือดัชนีเฉพาะรูปแบบ) สามารถแบ่งชั้นได้

ไม่สูญเสียข้อมูลเทียบกับสูญเสียข้อมูล

รูปแบบข้างต้นคือ ไม่สูญเสียข้อมูล: คุณสามารถสร้างไบต์ที่แน่นอนขึ้นมาใหม่ได้ ตัวแปลงสัญญาณสื่อมักเป็น สูญเสียข้อมูล: พวกเขาทิ้งรายละเอียดที่มองไม่เห็นเพื่อให้อัตราบิตต่ำลง ในภาพ, JPEG แบบคลาสสิก (DCT, การหาปริมาณ, การเข้ารหัสเอนโทรปี) ถูกกำหนดมาตรฐานใน ITU-T T.81 / ISO/IEC 10918-1. ในด้านเสียง, MP3 (MPEG-1 Layer III) และ AAC (MPEG-2/4) อาศัยแบบจำลองการรับรู้และการแปลง MDCT (ดู ISO/IEC 11172-3, ISO/IEC 13818-7, และภาพรวม MDCT ที่นี่). การสูญเสียและไม่สูญเสียข้อมูลสามารถอยู่ร่วมกันได้ (เช่น PNG สำหรับเนื้อหา UI; ตัวแปลงสัญญาณเว็บสำหรับภาพ/วิดีโอ/เสียง)

เคล็ดลับที่เป็นประโยชน์

• เลือกให้เหมาะกับงาน ข้อความเว็บและแบบอักษร: brotli. ไฟล์ทั่วไปและข้อมูลสำรอง: zstd (ความเร็วในการคลายการบีบอัดที่ยอดเยี่ยมและระดับในการแลกเปลี่ยนเวลากับอัตราส่วน) ท่อส่งข้อมูลและ telemetry ที่รวดเร็วเป็นพิเศษ: lz4. ความหนาแน่นสูงสุดสำหรับไฟล์เก็บถาวรระยะยาวที่เวลาเข้ารหัสไม่เป็นไร: xz/LZMA.
• ไฟล์ขนาดเล็ก? ฝึกอบรมและจัดส่งพจนานุกรมด้วย zstd (เอกสาร) / (ตัวอย่าง). พวกเขาสามารถย่อขนาดวัตถุขนาดเล็กที่คล้ายกันหลายสิบชิ้นได้อย่างมาก
• ความสามารถในการทำงานร่วมกัน เมื่อแลกเปลี่ยนไฟล์หลายไฟล์ ให้เลือกใช้คอนเทนเนอร์ (ZIP, tar) พร้อม คอมเพรสเซอร์ APPNOTE ของ ZIP กำหนดรหัสวิธีการและคุณสมบัติ; ดู PKWARE APPNOTE และภาพรวม LC ที่นี่.
• วัดจากข้อมูลของคุณ อัตราส่วนและความเร็วแตกต่างกันไปตามคลังข้อมูล หลาย repos เผยแพร่เกณฑ์มาตรฐาน (เช่น README ของ LZ4 อ้างอิงคลังข้อมูล Silesia ที่นี่) แต่ตรวจสอบความถูกต้องในเครื่องเสมอ

ข้อมูลอ้างอิงที่สำคัญ (เจาะลึก)

ทฤษฎี: แชนนอน 1948 · อัตรา-ความผิดเพี้ยน · การเข้ารหัส: ฮัฟฟ์แมน 1952 · การเข้ารหัสเลขคณิต · การเข้ารหัสช่วง · ANS. รูปแบบ: DEFLATE · zlib · gzip · Zstandard · Brotli · เฟรม LZ4 · รูปแบบ XZ. สแต็ก BWT: Burrows–Wheeler (1994) · คู่มือ bzip2. สื่อ: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.

สรุป: เลือกคอมเพรสเซอร์ที่ตรงกับข้อมูลและข้อจำกัดของคุณ วัดผลจากข้อมูลจริง และ อย่าลืมประโยชน์จากพจนานุกรมและการจัดเฟรมอย่างชาญฉลาด ด้วยการจับคู่ที่เหมาะสม คุณจะได้รับ ไฟล์ขนาดเล็กลง, การถ่ายโอนที่เร็วขึ้น, และแอปที่เร็วขึ้น — โดยไม่สูญเสียความถูกต้องหรือการพกพา