ZSTD, Zstandard का संक्षिप्त रूप, एक तेज और कुशल हानिरहित संपीड़न एल्गोरिथम और फ़ाइल प्रारूप है जिसे Facebook में Yann Collet द्वारा विकसित किया गया है। इसे तेज संपीड़न और विघटन गति बनाए रखते हुए उच्च संपीड़न अनुपात प्रदान करने के लिए डिज़ाइन किया गया है, जो इसे वास्तविक समय संपीड़न परिदृश्यों और बड़े डेटासेट के संपीड़न के लिए उपयुक्त बनाता है।
ZSTD प्रारूप एक तेज एन्ट्रॉपी चरण और एक शक्तिशाली हानिरहित संपीड़न चरण के संयोजन पर आधारित है। एन्ट्रॉपी चरण परिमित अवस्था एन्ट्रॉपी (FSE) और हफ़मैन कोडिंग का उपयोग करता है, जबकि हानिरहित संपीड़न चरण LZ77 एल्गोरिथम के एक प्रकार Zstandard शब्दकोश संपीड़न (ZDIC) को नियोजित करता है।
ZSTD की प्रमुख विशेषताओं में से एक संपीड़न के दौरान एक शब्दकोश बनाने और उसका उपयोग करने की इसकी क्षमता है। शब्दकोश डेटा का एक पूर्व-साझा सेट है जिसका उपयोग कंप्रेसर और डिकंप्रेसर दोनों संपीड़न अनुपात को बेहतर बनाने के लिए करते हैं। ZSTD दो प्रकार के शब्दकोशों का समर्थन करता है: सामग्री-परिभाषित शब्दकोश और उपयोगकर्ता-प्रदान किए गए शब्दकोश।
सामग्री-परिभाषित शब्दकोश स्वचालित रूप से इनपुट डेटा के आधार पर ZSTD कंप्रेसर द्वारा उत्पन्न किए जाते हैं। कंप्रेसर आवर्ती पैटर्न की पहचान करने के लिए डेटा का विश्लेषण करता है और एक शब्दकोश का निर्माण करता है जो इन पैटर्न का प्रतिनिधित्व करता है। फिर शब्दकोश का उपयोग संपीड़न के दौरान आवर्ती पैटर्न को शब्दकोश के संदर्भों से बदलने के लिए किया जाता है, जिसके परिणामस्वरूप उच्च संपीड़न अनुपात होता है।
दूसरी ओर, उपयोगकर्ता-प्रदान किए गए शब्दकोश उपयोगकर्ता द्व ारा बनाए जाते हैं और कई संपीड़ित फ़ाइलों के बीच साझा किए जा सकते हैं। ये शब्दकोश समान या संबंधित डेटा को संपीड़ित करते समय उपयोगी होते हैं, क्योंकि वे कंप्रेसर को डेटा पैटर्न के पहले से मौजूद ज्ञान का लाभ उठाने की अनुमति देते हैं। उपयोगकर्ता-प्रदान किए गए शब्दकोश संपीड़न अनुपात में उल्लेखनीय रूप से सुधार कर सकते हैं, विशेष रूप से छोटी फ़ाइलों या सामान्य डेटा संरचनाओं वाली फ़ाइलों के लिए।
ZSTD 1 से 22 तक कई संपीड़न स्तरों का समर्थन करता है, जिसमें उच्च स्तर धीमी संपीड़न गति की कीमत पर बेहतर संपीड़न अनुपात प्रदान करते हैं। डिफ़ॉल्ट संपीड़न स्तर 3 है, जो संपीड़न अनुपात और गति के बीच एक अच्छा संतुलन प्रदान करता है। ZSTD में "अल्ट्रा" नामक एक विशेष संपीड़न स्तर भी शामिल है, जो उच्चतम संपीड़न अनुपात प्रदान करता है लेकिन संपीड़न समय में उल्लेखनीय वृद्धि के साथ।
ZSTD प्रारूप में एक हेडर होता है जिसके बाद एक या अधिक संपीड़ित फ़्रेम होते हैं। हेडर में संपीड़ित डेटा के बारे में मेटाडेटा होता है, जैसे कि शब्दकोश आईडी, विंडो आकार और फ़्रेम गणना। प्रत्येक संपीड़ित फ़्रेम स्वतंत्र होता है और इसे अलग से विघटित किया जा सकता है, जिससे समानांतर विघटन और संपीड़ित डेटा तक यादृच्छिक पहुँच की अनुमति मिलती है।
ZSTD में संपीड़ित फ़्रेम शाब्दिक ब्लॉक और अनुक्रम ब्लॉक के संयोजन का उपयोग करते हैं। शाब्दिक ब्लॉक में कच्चा, असंपीड़ित डेटा होता है, जबकि अनुक्रम ब्लॉक में शब्दकोश या पहले देखे गए डेटा के संदर्भ होते हैं। संदर्भों के आकार को कम करने के लिए अनुक्रम ब्लॉक को FSE या हफ़मैन कोडिंग का उपयोग करके एन्कोड किया जाता है।
ZSTD संपीड़न दक्षता और गति में सुधार के लिए कई तकनीकों को नियोजित करता है। ऐसी ही एक तकनीक शब्दकोश या पहले देखे गए डेटा में मिलान अनुक्रमों को जल्दी से खोजने के लिए हैश टेबल का उपयोग है। हैश टेबल को लगातार अपडेट किया जाता है क्योंकि कंप्रेसर इनपुट डेटा को संसाधित करता है, जिससे संभावित मिलानों का कुशल लुकअप होता है।
ZSTD द्वारा उपयोग की जाने वाली एक अन्य अनुकूलन तकनीक आलसी मिलान रणनीति है। मिलान को तुरंत एन्कोड करने के बजाय, कंप्रेसर लंबे मिलान की खोज जारी रखता है। यदि एक लंबा मिलान पाया जाता है, तो कंप्रेसर इसके बजाय लंबे मिलान को एन्कोड करना चुन सकता है, जिसके परिणामस्वरूप बेहतर संपीड़न अनुपात होता है।
ZSTD में "लंबी दूरी मिलान" (LDM) नामक एक तेज़ मोड भी शामिल है, जो लंबी दूरी के मिलान का पता लगाने की अनुमति देता है। LDM इनपुट डेटा में दूर-दूर तक मौजूद मिलानों को संग्रहीत करने के लिए एक द्वितीयक हैश टेबल का उपयोग करता है। इन लंबी दूरी के मिलानों पर विचार करके, ZSTD कुछ प्रकार के डेटा के लिए संपीड़न अनुपात में सुधार कर सकता है, जैसे कि अत्यधिक द ोहराव वाला या आवधिक डेटा।
अपनी संपीड़न क्षमताओं के अलावा, ZSTD चेकसम के उपयोग के माध्यम से त्रुटि का पता लगाने और सुधार भी प्रदान करता है। प्रत्येक संपीड़ित फ़्रेम में असंपीड़ित डेटा का एक चेकसम शामिल होता है, जिससे डिकंप्रेसर विघटन के दौरान डेटा की अखंडता को सत्यापित कर सकता है। यदि कोई त्रुटि पाई जाती है, तो ZSTD दूषित फ़्रेम को छोड़कर और अगले फ़्रेम के साथ जारी रखकर उससे उबरने का प्रयास कर सकता है।
ZSTD ने अपने प्रभावशाली प्रदर्शन और लचीलेपन के कारण व्यापक रूप से अपनाया है। इसका उपयोग विभिन्न अनुप्रयोगों में किया जाता है, जिसमें डेटा संग्रहण प्रणाली, डेटाबेस इंजन, बैकअप समाधान और डेटा स्थानांतरण प्रोटोकॉल शामिल हैं। कई लोकप्रिय फ़ाइल प्रारूप, जैसे कि Zstandard संग्रह (ZSTD), Zstandard खोज योग्य प्रारूप (ZST), और Zstandard शब्दकोश प्रारूप (ZDICT), ZSTD संपीड़न पर आधारित हैं।
ZSTD के लाभों में से एक प्लेटफ़ॉर् म और प्रोग्रामिंग भाषाओं की एक विस्तृत श्रृंखला के साथ इसकी संगतता है। ZSTD का संदर्भ कार्यान्वयन C में लिखा गया है और अत्यधिक पोर्टेबल है, जिससे इसे विभिन्न ऑपरेटिंग सिस्टम और आर्किटेक्चर पर उपयोग किया जा सकता है। इसके अतिरिक्त, विभिन्न प्रोग्रामिंग भाषाओं के लिए ZSTD के कई बाइंडिंग और पोर्ट उपलब्ध हैं, जिससे मौजूदा अनुप्रयोगों में ZSTD संपीड़न को एकीकृत करना आसान हो जाता है।
ZSTD एक कमांड-लाइन इंटरफ़ेस (CLI) टूल भी प्रदान करता है जो उपयोगकर्ताओं को ZSTD का उपयोग करके फ़ाइलों को संपीड़ित और विघटित करने की अनुमति देता है। CLI टूल विभिन्न विकल्पों और मापदंडों का समर्थन करता है, जैसे कि संपीड़न स्तर सेट करना, शब्दकोश निर्दिष्ट करना और मेमोरी उपयोग को समायोजित करना। CLI टूल बैच या स्क्रिप्टेड वातावरण में फ़ाइलों को संपीड़ित करने और विघटित करने के लिए विशेष रूप से उपयोगी है।
संक्षेप में, ZSTD एक अत्यधिक कुशल और बहुमुखी संपीड़न एल्गोरिथम और फ़ाइल प्रारूप है जो तेज संपीड़न और विघटन गति, उच्च संपीड़न अनुपात और बेहतर प्रदर्शन के लिए शब्दकोशों का उपयोग करने की क्षमता प्रदान करता है। गति और संपीड़न दक्षता का इसका संयोजन इसे वास्तविक समय संपीड़न से लेकर बड़े ड
फ़ाइल कंप्रेशन রিডन्डेंसी को कम करता है ताकि वही जानकारी कम बिट्स ले। आप कितनी दूर जा सकते हैं इसकी ऊपरी सीमा सूचना सिद्धांत द्वारा नियंत्रित होती है: दोषरहित कंप्रेशन के लिए, सीमा स्रोत की एन्ट्रॉपी है (शैनन का स्रोत कोडिंग प्रमेय और उनका मूल 1948 का पेपर “संचार का एक गणितीय सिद्धांत”देखें)। दोषपूर्ण कंप्रेशन के लिए, दर और गुणवत्ता के बीच का ट्रेड-ऑफ दर-विरूपण सिद्धांत द्वारा कब्जा कर लिया गया है।
अधिकांश कंप्रेशर्स के दो चरण होते हैं। सबसे पहले, एक मॉडल डेटा में संरचना की भविष्यवाणी करता है या उजागर करता है। दूसरा, एक कोडर उन भविष्यवाणियों को लगभग-इष्टतम बिट पैटर्न में बदल देता है। एक क्लासिक मॉडलिंग परिवार लेम्पेल-ज़िव है: LZ77 (1977) और LZ78 (1978) बार-बार आने वाले सबस्ट्रिंग का पता लगाते हैं और कच्चे बाइट्स के बजाय संदर्भ उत्सर्जित करते हैं। कोडिंग पक्ष पर, हफमैन कोडिंग (मूल पेपर देखें 1952) अधिक संभावित प्रतीकों को छोटे कोड प्रदान करता है। अरिथमैटिक कोडिंग और रेंज कोडिंग बारीक-बारीक विकल्प हैं जो एन्ट्रॉपी सीमा के करीब निचोड़ते हैं, जबकि आधुनिक असममित अंक प्रणाली (ANS) तेज तालिका-चालित कार्यान्वयन के साथ समान कंप्रेशन प्राप्त करता है।
DEFLATE (gzip, zlib, और ZIP द्वारा उपयोग किया जाता है) LZ77 को हफमैन कोडिंग के साथ जोड़ता है। इसके स्पेक्स सार्वजनिक हैं: DEFLATE RFC 1951, zlib रैपर RFC 1950, और gzip फ़ाइल प्रारूप RFC 1952. Gzip स्ट्रीमिंग के लिए बनाया गया है और स्पष्ट रूप से यादृच्छिक पहुँच प्रदान करने का प्रयास नहीं करता है. PNG छवियां DEFLATE को अपनी एकमात्र कंप्रेशन विधि के रूप में मानकीकृत करती हैं (अधिकतम 32 KiB विंडो के साथ), PNG स्पेक के अनुसार “संपीड़न विधि 0… डिफ्लेट/इन्फ्लेट… अधिकतम 32768 बाइट्स” और W3C/ISO PNG दूसरा संस्करण.
Zstandard (zstd): एक नया सामान्य-उद्देश्य कंप्रेसर है जिसे बहुत तेज डीकंप्रेसन के साथ उच्च अनुपात के लिए डिज़ाइन किया गया है। प्रारूप RFC 8878 (यह भी HTML मिरर) और संदर्भ स्पेक GitHub परमें प्रलेखित है। Gzip की तरह, मूल फ्रेम यादृच्छिक पहुँच का लक्ष्य नहीं रखता है. zstd की महाशक्तियों में से एक शब्दकोश है: आपके कॉर्पस से छोटे नमूने जो कई छोटी या समान फ़ाइलों पर संपीड़न में नाटकीय रूप से सु धार करते हैं (देखें python-zstandard शब्दकोश डॉक्स और निगेल ताओ का काम किया हुआ उदाहरण)। कार्यान्वयन “असंरचित” और “संरचित” दोनों शब्दकोशों को स्वीकार करते हैं (चर्चा).
Brotli: वेब सामग्री के लिए अनुकूलित (जैसे, WOFF2 फोंट, HTTP)। यह एक स्थिर शब्दकोश को एक DEFLATE-जैसे LZ+एन्ट्रॉपी कोर के साथ मिलाता है। स्पेक RFC 7932है, जो 2WBITS−16 की एक स्लाइडिंग विंडो को भी नोट करता है जिसमें WBITS [10, 24] (1 KiB−16 B से 16 MiB−16 B तक) में है और यह यादृच्छिक पहुँच का प्रयास नहीं करता है. Brotli अक्सर वेब टेक्स्ट पर gzip को मात देता है जबकि जल्दी से डीकोड करता है।
ZIP कंटेनर: ZIP एक फ़ाइल संग्रह है जो विभिन्न स ंपीड़न विधियों (deflate, store, zstd, आदि) के साथ प्रविष्टियों को संग्रहीत कर सकता है। वास्तविक मानक PKWARE का APPNOTE है (देखें APPNOTE पोर्टल, एक होस्ट की गई प्रति, और LC अवलोकन ज़िप फ़ाइल प्रारूप (PKWARE) / ज़िप 6.3.3).
LZ4 मामूली अनुपात के साथ कच्ची गति को लक्षित करता है। इसकी परियोजना पृष्ठ (“अत्यंत तेज संपीड़न”) और फ्रेम प्रारूपदेखें। यह इन-मेमोरी कैश, टेलीमेट्री, या हॉट पाथ के लिए आदर्श है जहां डीकंप्रेसन को रैम की गति के करीब होना चाहिए।
XZ / LZMA अपेक्षाकृत धीमी संपीड़न के साथ घनत्व (मह ान अनुपात) के लिए धक्का देते हैं। XZ एक कंटेनर है; भारी उठाने का काम आमतौर पर LZMA/LZMA2 (LZ77-जैसा मॉडलिंग + रेंज कोडिंग) द्वारा किया जाता है। देखें .xz फ़ाइल प्रारूप, LZMA स्पेक (पावलोव), और लिनक्स कर्नेल नोट्स XZ एंबेडेड पर. XZ आमतौर पर gzip को आउट-कंप्रेस करता है और अक्सर उच्च-अनुपात वाले आधुनिक कोडेक्स के साथ प्रतिस्पर्धा करता है, लेकिन धीमी एन्कोड समय के साथ।
bzip2 बरोज़-व्हीलर ट्रांसफ़ॉर्म (BWT), मूव-टू-फ्रंट, RLE, और हफ़मैन कोडिंग लागू करता है। यह आमतौर पर gzip से छोटा लेकिन धीमा होता है; देखें आधिकारिक मैनुअल और मैन पेज (लिनक्स).
“विंडो का आकार” मायने रखता है। DEFLATE संदर्भ केवल 32 KiB पीछे देख सकते हैं (RFC 1951 और PNG की 32 KiB कैप यहाँ उल्लेख किया गया है)। ब्रोटली की विंडो लगभग 1 KiB से 16 MiB तक होती है (RFC 7932). Zstd स्तर के अनुसार विंडो और खोज गहराई को ट्यून करता है (RFC 8878). बेसिक gzip/zstd/brotli स्ट्रीम अनुक्रमिक डिकोडिंग के लिए डिज़ाइन किए गए हैं; आधार प्रारूप रैंडम एक्सेस का वादा नहीं करते हैं, हालांकि कंटेनर (जैसे, टार इंडेक्स, चंक्ड फ्रेमिंग, या प्रारूप-विशिष्ट इंडेक्स) इसे परत कर सकते हैं।
उपरोक्त प्रारूप दोषरहित हैं: आप सटीक बाइट्स का पुनर्निर्माण कर सकते हैं। मीडिय ा कोडेक्स अक्सर दोषपूर्ण होते हैं: वे कम बिटरेट हिट करने के लिए अगोचर विवरण को त्याग देते हैं। छवियों में, क्लासिक जेपीईजी (डीसीटी, क्वांटिज़ेशन, एन्ट्रॉपी कोडिंग) ITU-T T.81 / ISO/IEC 10918-1में मानकीकृत है। ऑडियो में, एमपी3 (MPEG-1 लेयर III) और एएसी (MPEG-2/4) अवधारणात्मक मॉडल और एमडीसीटी ट्रांसफ़ॉर्म पर निर्भर करते हैं (देखें ISO/IEC 11172-3, ISO/IEC 13818-7, और एक एमडीसीटी अवलोकन यहाँ)। दोषपूर्ण और दोषरहित सह-अस्तित्व में हो सकते हैं (जैसे, यूआई संपत्ति के लिए पीएनजी; छवियों/वीडियो/ऑडियो के लिए वेब कोडेक्स)।
सिद्धांत: शैनन 1948 · दर-विरूपण · कोडिंग: हफमैन 1952 · अरिथमैटिक कोडिंग · रेंज कोडिंग · ANS. प्रारूप: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 फ्रेम · XZ प्रारूप. BWT स्टैक: बरोज़-व्हीलर (1994) · bzip2 मैनुअल. मीडिया: जेपीईजी T.81 · एमपी3 ISO/IEC 11172-3 · एएसी ISO/IEC 13818-7 · एमडीसीटी.
निष्कर्ष: एक कंप्रेसर चुनें जो आपके डेटा और बाधाओं से मेल खाता हो, वास्तविक इनपुट पर मापें, और शब्द कोशों और स्मार्ट फ्रेमिंग से होने वाले लाभों को न भूलें। सही जोड़ी के साथ, आप प्राप्त कर सकते हैं छोटी फाइलें, तेज स्थानान्तरण, और तेज ऐप्स - शुद्धता या पोर्टेबिलिटी का त्याग किए बिना।
फ़ाइल संकुचन एक प्रक्रिया है जो फ़ाइल या फ़ाइलों का आकार घटाती है, आमतौर पर संग्रहण स्थान को बचाने या नेटवर्क पर संचार को तेज करने के लिए।
फ़ाइल संकुचन डाटा में रिडंडेंसी की पहचान और हटाने के द्वारा काम करता है। यह एल्गोरिदम का उपयोग करके मूल डेटा को एक छोटे स्थान में कोड करता है।
फ़ाइल संकुचन के दो मुख्य प्रकार हैं - नुकसान रहित और नुकसानदायक संकुचन। नुकसान रहित संकुचन की अनुमति है कि मूल फ़ाइल को पूरी तरह से बहाल किया जा सके, जबकि नुकसानदायक संकुचन डेटा की गुणवत्ता में कुछ हानि की लागत पर अधिक आकार घटाव की अनुमति देता है।
फाइल संकुचन उपकरण का एक लोकप्रिय उदाहरण WinZip है, जो ZIP और RAR सहित कई संकुचन प्रारूपों का समर्थन करता है।
नुकसान रहित संकुचन के साथ, गुणवत्ता अपरिवर्तित रहती है। हालांकि, नुकसानदायक संकुचन के साथ, फ़ाइल का आकार अधिक ध्यान से घटाने के लिए कुछ कम महत्वपूर्ण डेटा को हटाने के कारण गुणवत्ता में ध्यान देने योग्य कमी हो सकती है।
हां, डेटा संरक्षण के संबंध में फ़ाइल संकुचन सुरक्षित है, खासकर नुकसान रहित संकुचन के साथ। हालांकि, किसी भी फ़ाइल की तरह, संकुचित फ़ाइलों को मैलवेयर या वायरस के लक्ष्य के रूप में लिया जा सकता है, इसलिए यह हमेशा महत्त्वपूर्ण होता है कि प्रमुख सुरक्षा सॉफ़्टवेयर स्थापित हो।
लगभग सभी प्रकार की फ़ाइलें संकुचित की जा सकती हैं, जिसमें पाठ फ़ाइलें, चित्र, ऑडियो, वीडियो, और सॉफ़्टवेयर फ़ाइलें शामिल हैं। हालांकि, प्राप्त करने योग्य संकुचन का स्तर फ़ाइल प्रकारों के बीच महत्वपूर्ण रूप से अलग हो सकता है।
ZIP फ़ाइल एक प्रकार की फ़ाइल प्रारूप है जो नुकसान रहित संकुचन का उपयोग करके एक या अधिक फ़ाइलों के आकार को घटाती है। ZIP फ़ाइल में अनेक फ़ाइलें प्रभावी रूप से एक ही फ़ाइल में संग्रहित की जाती हैं, जो साझा करना भी आसान बनाती है।
तकनीकी रूप से, हां, हालांकि अतिरिक्त आकार घटाव न्यूनतम हो सकता है या यहां तक कि प्रतिकूल हो सकता है। पहले से संकुचित फ़ाइल को संकुचित करना कभी-कभी इसका आकार बढ़ सकता है क्योंकि संकुचन एल्गोरिदम द्वारा जोड़ी गई मेटाडाटा।
फ़ाइल को डिकम्प्रेस करने के लिए, आपको आमतौर पर एक डिकम्प्रेसन या अनज़िपिंग उपकरण की आवश्यकता होती है, जैसे WinZip या 7-Zip। ये उपकरण संपीडित प्रारूप से मूल फ़ाइलों को निकाल सकते हैं।