निकालें POSIX

फ़ाइल कंप्रेशन রিডन्डेंसी को कम करता है ताकि वही जानकारी कम बिट्स ले। आप कितनी दूर जा सकते हैं इसकी ऊपरी सीमा सूचना सिद्धांत द्वारा नियंत्रित होती है: दोषरहित कंप्रेशन के लिए, सीमा स्रोत की एन्ट्रॉपी है (शैनन का स्रोत कोडिंग प्रमेय और उनका मूल 1948 का पेपर “संचार का एक गणितीय सिद्धांत”देखें)। दोषपूर्ण कंप्रेशन के लिए, दर और गुणवत्ता के बीच का ट्रेड-ऑफ दर-विरूपण सिद्धांत द्वारा कब्जा कर लिया गया है।

दो स्तंभ: मॉडलिंग और कोडिंग

अधिकांश कंप्रेशर्स के दो चरण होते हैं। सबसे पहले, एक मॉडल डेटा में संरचना की भविष्यवाणी करता है या उजागर करता है। दूसरा, एक कोडर उन भविष्यवाणियों को लगभग-इष्टतम बिट पैटर्न में बदल देता है। एक क्लासिक मॉडलिंग परिवार लेम्पेल-ज़िव है: LZ77 (1977) और LZ78 (1978) बार-बार आने वाले सबस्ट्रिंग का पता लगाते हैं और कच्चे बाइट्स के बजाय संदर्भ उत्सर्जित करते हैं। कोडिंग पक्ष पर, हफमैन कोडिंग (मूल पेपर देखें 1952) अधिक संभावित प्रतीकों को छोटे कोड प्रदान करता है। अरिथमैटिक कोडिंग और रेंज कोडिंग बारीक-बारीक विकल्प हैं जो एन्ट्रॉपी सीमा के करीब निचोड़ते हैं, जबकि आधुनिक असममित अंक प्रणाली (ANS) तेज तालिका-चालित कार्यान्वयन के साथ समान कंप्रेशन प्राप्त करता है।

आम प्रारूप वास्तव में क्या करते हैं

DEFLATE (gzip, zlib, और ZIP द्वारा उपयोग किया जाता है) LZ77 को हफमैन कोडिंग के साथ जोड़ता है। इसके स्पेक्स सार्वजनिक हैं: DEFLATE RFC 1951, zlib रैपर RFC 1950, और gzip फ़ाइल प्रारूप RFC 1952. Gzip स्ट्रीमिंग के लिए बनाया गया है और स्पष्ट रूप से यादृच्छिक पहुँच प्रदान करने का प्रयास नहीं करता है. PNG छवियां DEFLATE को अपनी एकमात्र कंप्रेशन विधि के रूप में मानकीकृत करती हैं (अधिकतम 32 KiB विंडो के साथ), PNG स्पेक के अनुसार “संपीड़न विधि 0… डिफ्लेट/इन्फ्लेट… अधिकतम 32768 बाइट्स” और W3C/ISO PNG दूसरा संस्करण.

Zstandard (zstd): एक नया सामान्य-उद्देश्य कंप्रेसर है जिसे बहुत तेज डीकंप्रेसन के साथ उच्च अनुपात के लिए डिज़ाइन किया गया है। प्रारूप RFC 8878 (यह भी HTML मिरर) और संदर्भ स्पेक GitHub परमें प्रलेखित है। Gzip की तरह, मूल फ्रेम यादृच्छिक पहुँच का लक्ष्य नहीं रखता है. zstd की महाशक्तियों में से एक शब्दकोश है: आपके कॉर्पस से छोटे नमूने जो कई छोटी या समान फ़ाइलों पर संपीड़न में नाटकीय रूप से सुधार करते हैं (देखें python-zstandard शब्दकोश डॉक्स और निगेल ताओ का काम किया हुआ उदाहरण)। कार्यान्वयन “असंरचित” और “संरचित” दोनों शब्दकोशों को स्वीकार करते हैं (चर्चा).

Brotli: वेब सामग्री के लिए अनुकूलित (जैसे, WOFF2 फोंट, HTTP)। यह एक स्थिर शब्दकोश को एक DEFLATE-जैसे LZ+एन्ट्रॉपी कोर के साथ मिलाता है। स्पेक RFC 7932है, जो 2^WBITS−16 की एक स्लाइडिंग विंडो को भी नोट करता है जिसमें WBITS [10, 24] (1 KiB−16 B से 16 MiB−16 B तक) में है और यह यादृच्छिक पहुँच का प्रयास नहीं करता है. Brotli अक्सर वेब टेक्स्ट पर gzip को मात देता है जबकि जल्दी से डीकोड करता है।

ZIP कंटेनर: ZIP एक फ़ाइल संग्रह है जो विभिन्न संपीड़न विधियों (deflate, store, zstd, आदि) के साथ प्रविष्टियों को संग्रहीत कर सकता है। वास्तविक मानक PKWARE का APPNOTE है (देखें APPNOTE पोर्टल, एक होस्ट की गई प्रति, और LC अवलोकन ज़िप फ़ाइल प्रारूप (PKWARE) / ज़िप 6.3.3).

गति बनाम अनुपात: प्रारूप कहाँ उतरते हैं

LZ4 मामूली अनुपात के साथ कच्ची गति को लक्षित करता है। इसकी परियोजना पृष्ठ (“अत्यंत तेज संपीड़न”) और फ्रेम प्रारूपदेखें। यह इन-मेमोरी कैश, टेलीमेट्री, या हॉट पाथ के लिए आदर्श है जहां डीकंप्रेसन को रैम की गति के करीब होना चाहिए।

XZ / LZMA अपेक्षाकृत धीमी संपीड़न के साथ घनत्व (महान अनुपात) के लिए धक्का देते हैं। XZ एक कंटेनर है; भारी उठाने का काम आमतौर पर LZMA/LZMA2 (LZ77-जैसा मॉडलिंग + रेंज कोडिंग) द्वारा किया जाता है। देखें .xz फ़ाइल प्रारूप, LZMA स्पेक (पावलोव), और लिनक्स कर्नेल नोट्स XZ एंबेडेड पर. XZ आमतौर पर gzip को आउट-कंप्रेस करता है और अक्सर उच्च-अनुपात वाले आधुनिक कोडेक्स के साथ प्रतिस्पर्धा करता है, लेकिन धीमी एन्कोड समय के साथ।

bzip2 बरोज़-व्हीलर ट्रांसफ़ॉर्म (BWT), मूव-टू-फ्रंट, RLE, और हफ़मैन कोडिंग लागू करता है। यह आमतौर पर gzip से छोटा लेकिन धीमा होता है; देखें आधिकारिक मैनुअल और मैन पेज (लिनक्स).

विंडोज़, ब्लॉक और रैंडम एक्सेस

“विंडो का आकार” मायने रखता है। DEFLATE संदर्भ केवल 32 KiB पीछे देख सकते हैं (RFC 1951 और PNG की 32 KiB कैप यहाँ उल्लेख किया गया है)। ब्रोटली की विंडो लगभग 1 KiB से 16 MiB तक होती है (RFC 7932). Zstd स्तर के अनुसार विंडो और खोज गहराई को ट्यून करता है (RFC 8878). बेसिक gzip/zstd/brotli स्ट्रीम अनुक्रमिक डिकोडिंग के लिए डिज़ाइन किए गए हैं; आधार प्रारूप रैंडम एक्सेस का वादा नहीं करते हैं, हालांकि कंटेनर (जैसे, टार इंडेक्स, चंक्ड फ्रेमिंग, या प्रारूप-विशिष्ट इंडेक्स) इसे परत कर सकते हैं।

दोषरहित बनाम दोषपूर्ण

उपरोक्त प्रारूप दोषरहित हैं: आप सटीक बाइट्स का पुनर्निर्माण कर सकते हैं। मीडिया कोडेक्स अक्सर दोषपूर्ण होते हैं: वे कम बिटरेट हिट करने के लिए अगोचर विवरण को त्याग देते हैं। छवियों में, क्लासिक जेपीईजी (डीसीटी, क्वांटिज़ेशन, एन्ट्रॉपी कोडिंग) ITU-T T.81 / ISO/IEC 10918-1में मानकीकृत है। ऑडियो में, एमपी3 (MPEG-1 लेयर III) और एएसी (MPEG-2/4) अवधारणात्मक मॉडल और एमडीसीटी ट्रांसफ़ॉर्म पर निर्भर करते हैं (देखें ISO/IEC 11172-3, ISO/IEC 13818-7, और एक एमडीसीटी अवलोकन यहाँ)। दोषपूर्ण और दोषरहित सह-अस्तित्व में हो सकते हैं (जैसे, यूआई संपत्ति के लिए पीएनजी; छवियों/वीडियो/ऑडियो के लिए वेब कोडेक्स)।

व्यावहारिक सुझाव

• काम के लिए चुनें। वेब टेक्स्ट और फोंट: brotli. सामान्य फ़ाइलें और बैकअप: zstd (शानदार डीकंप्रेसन गति और अनुपात के लिए समय का व्यापार करने के स्तर)। अल्ट्रा-फास्ट पाइप और टेलीमेट्री: lz4. लंबी अवधि के अभिलेखागार के लिए अधिकतम घनत्व जहां एन्कोड समय ठीक है: xz/LZMA.
• छोटी फ़ाइलें? zstd (डॉक्स) / (उदाहरण)के साथ शब्दकोशों को प्रशिक्षित और शिप करें। वे दर्जनों छोटी, समान वस्तुओं को नाटकीय रूप से सिकोड़ सकते हैं।
• अंतरसंचालनीयता। कई फ़ाइलों का आदान-प्रदान करते समय, एक कंटेनर (ZIP, tar) और एक कंप्रेसर को प्राथमिकता दें। ज़िप का APPNOTE विधि आईडी और सुविधाओं को परिभाषित करता है; देखें PKWARE APPNOTE और LC अवलोकन यहाँ.
• अपने डेटा पर मापें। अनुपात और गति कॉर्पस के अनुसार भिन्न होती है। कई रेपो बेंचमार्क प्रकाशित करते हैं (जैसे, LZ4 का README सिलेसिया कॉर्पस यहाँका हवाला देता है), लेकिन हमेशा स्थानीय रूप से मान्य करें।

मुख्य संदर्भ (गहरी गोता)

सिद्धांत: शैनन 1948 · दर-विरूपण · कोडिंग: हफमैन 1952 · अरिथमैटिक कोडिंग · रेंज कोडिंग · ANS. प्रारूप: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 फ्रेम · XZ प्रारूप. BWT स्टैक: बरोज़-व्हीलर (1994) · bzip2 मैनुअल. मीडिया: जेपीईजी T.81 · एमपी3 ISO/IEC 11172-3 · एएसी ISO/IEC 13818-7 · एमडीसीटी.

निष्कर्ष: एक कंप्रेसर चुनें जो आपके डेटा और बाधाओं से मेल खाता हो, वास्तविक इनपुट पर मापें, और शब्दकोशों और स्मार्ट फ्रेमिंग से होने वाले लाभों को न भूलें। सही जोड़ी के साथ, आप प्राप्त कर सकते हैं छोटी फाइलें, तेज स्थानान्तरण, और तेज ऐप्स - शुद्धता या पोर्टेबिलिटी का त्याग किए बिना।