NEWC एक फ़ाइल संग्रह प्रारूप है जिसे फ़ाइलों और निर्देशिकाओं के संग्रह को कुशलतापूर्वक संग्रहीत करने और संपीड़ित करने के लिए डिज़ाइन किया गया है। इसे 1993 में यूजीन रोशल द्वारा ZIP और ARJ जैसे मौजूदा संग्रह प्रारूपों में सुधार के रूप में विकसित किया गया था। प्रारूप का उद्देश्य बेहतर संपीड़न अनुपात, तेज़ विघटन गति और डेटा पुनर्प्राप्ति और संग्रह प्रबंधन के लिए उन्नत सुविधाएँ प्रदान करना है।
अपने मूल में, NEWC प्रारूप में एक मुख्य शीर्षलेख होता है जिसके बाद फ़ाइल शीर्षलेखों और संपीड़ित फ़ाइल डेटा की एक श्रृंखला होती है। मुख्य शीर्षलेख में संग्रह के बारे में मेटाडेटा होता है, जैसे NEWC हस्ताक्षर, संस्करण संख्या, कुल आकार और फ़ाइलों की संख्या। प्रत्येक फ़ाइल शीर्षलेख में फ़ाइल का नाम, विशेषताएँ, टाइमस्टैम्प, CRC32 चेकसम, संपीड़ित और असंपीड़ित आकार जैसी जानकारी शामिल होती है।
NEWC एक ठोस संग्रह संरचना को नियोजित करता है, जहाँ फ़ाइलों को एक साथ जोड़ा जाता है और एकल निरंतर डेटा स्ट्रीम के रूप में संपीड़ित किया जाता है। यह दृष्टिकोण कई फ़ाइलों में अतिरेक का लाभ उठाकर बेहतर संपीड़न अनुपात की अनुमति देता है। हालाँकि, इसका मतलब यह भी है कि एक एकल फ़ाइल को निकालने के लिए उस बिंदु तक पूरे संग्रह को विघटित करने की आवश्यकता होती है, जो ZIP जैसे गैर-ठोस प्रारूपों से निकालने की तुलना में धीमा हो सकता है।
NEWC में उपयोग किया जाने वाला संपीड़न एल्गोरिथम यूजीन रोशल के अपने कार्यान्वयन पर आधारित है, जो आंशिक मिलान (PPM) द्वारा भविष्यवाणी का उपयोग करके सांख्यिकीय मॉडलिंग के साथ Lempel-Ziv-Storer-Szymanski (LZSS) सं पीड़न को जोड़ता है। LZSS एक शब्दकोश-आधारित एल्गोरिथम है जो दोहराए गए अनुक्रमों को पहले की घटनाओं के संदर्भों से बदल देता है। PPM आगामी प्रतीकों के बारे में संभाव्य भविष्यवाणियाँ करने के लिए इनपुट डेटा का एक मॉडल बनाता है, जिससे अधिक कुशल एन्ट्रॉपी कोडिंग की अनुमति मिलती है।
NEWC की प्रमुख विशेषताओं में से एक पुनर्प्राप्ति रिकॉर्ड के लिए इसका समर्थन है। ये संपीड़ित डेटा के साथ जुड़ी हुई विशेष प्रविष्टियाँ हैं जो संग्रह संरचना और सामग्री के बारे में जानकारी संग्रहीत करती हैं। फ़ाइल भ्रष्टाचार की स्थिति में, पुनर्प्राप्ति रिकॉर्ड का उपयोग संग्रह के क्षतिग्रस्त हिस्सों को फिर से बनाने और बरकरार फ़ाइलों को बचाने के लिए किया जा सकता है। डेटा हानि के विरुद्ध लचीलापन में सुधार के लिए प्रारूप में मुख्य शीर्षलेख और फ़ाइल शीर्षलेखों के लिए अतिरेक भी शामिल है।
NEWC संग्रह को कई खंडों म ें विभाजित करने के लिए कई विधियाँ प्रदान करता है। यह कई डिस्क पर बड़े संग्रह को संग्रहीत करने या आकार सीमाओं वाले नेटवर्क पर प्रसारण के लिए उपयोगी है। प्रारूप एक निर्दिष्ट आकार के खंड बनाने का समर्थन करता है, साथ ही वॉल्यूम मार्कर के रूप में फ़ाइलों की सूची का उपयोग करता है। इसमें बहु-खंड संग्रह की अखंडता जाँच और पुनर्प्राप्ति के लिए तंत्र भी शामिल हैं।
संग्रह प्रबंधन के संदर्भ में, NEWC कई सुविधाएँ प्रदान करता है। यह मौजूदा संग्रह में फ़ाइलों को जोड़ने, हटाने और अद्यतन करने का समर्थन करता है। अतिरिक्त मेटाडेटा संग्रहीत करने के लिए फ़ाइल टिप्पणियों को व्यक्तिगत प्रविष्टियों से जोड़ा जा सकता है। प्रारूप CBC मोड में AES एल्गोरिथम का उपयोग करके संग्रह के एन्क्रिप्शन और पासवर्ड सुरक्षा की भी अनुमति देता है।
NEWC ने अपने उच्च संपीड़न अनुपात और तेज़ विघटन गति के कारण लोकप्रियता हास िल की है। यह व्यापक रूप से सॉफ़्टवेयर, फ़र्मवेयर अपडेट और डेटा बैकअप वितरित करने के लिए उपयोग किया जाता है। प्रारूप को विभिन्न अनुप्रयोगों और उपयोगिताओं द्वारा अपनाया गया है, जिनमें WinRAR, 7-Zip और PowerArchiver शामिल हैं।
जबकि NEWC कई लाभ प्रदान करता है, इसकी कुछ सीमाएँ भी हैं। ठोस संग्रह संरचना गैर-ठोस प्रारूपों की तुलना में यादृच्छिक पहुँच और आंशिक निष्कर्षण को धीमा कर सकती है। एकल संपीड़न एल्गोरिथम पर निर्भरता सभी प्रकार के डेटा के लिए हमेशा सर्वोत्तम परिणाम प्रदान नहीं कर सकती है। इसके अतिरिक्त, प्रारूप की जटिलता और मालिकाना प्रकृति ने कुछ संदर्भों में इसके अपनाने में बाधा डाली है।
इन चुनौतियों के बावजूद, NEWC एक महत्वपूर्ण और व्यापक रूप से उपयोग किया जाने वाला संग्रह प्रारूप बना हुआ है। इसकी दक्षता, मजबूती और सुविधा सेट इसे डेटा संपीड़न और संग्रह के लिए एक मूल्यवान उपकरण बनाता है। ज ैसे-जैसे डेटा संग्रहण और प्रसारण की ज़रूरतें बढ़ती जा रही हैं, NEWC प्रारूप डिजिटल जानकारी के प्रबंधन और संरक्षण में महत्वपूर्ण भूमिका निभाने के लिए अच्छी तरह से तैनात है।
फ़ाइल कंप्रेशन রিডन्डेंसी को कम करता है ताकि वही जानकारी कम बिट्स ले। आप कितनी दूर जा सकते हैं इसकी ऊपरी सीमा सूचना सिद्धांत द्वारा नियंत्रित होती है: दोषरहित कंप्रेशन के लिए, सीमा स्रोत की एन्ट्रॉपी है (शैनन का स्रोत कोडिंग प्रमेय और उनका मूल 1948 का पेपर “संचार का एक गणितीय सिद्धांत”देखें)। दोषपूर्ण कंप्रेशन के लिए, दर और गुणवत्ता के बीच का ट्रेड-ऑफ दर-विरूपण सिद्धांत द्वारा कब्जा कर लिया गया है।
अधिकांश कंप्रेशर्स के दो चरण होते हैं। सबसे पहले, एक मॉडल डेटा में संरचना की भविष्यवाणी करता है या उजागर करता है। दूसरा, एक कोडर उन भविष्यवाणियों को लगभग-इष्टतम बिट पैटर्न में बदल देता है। एक क्लासिक मॉडलिंग परिवार लेम्पेल-ज़िव है: LZ77 (1977) और LZ78 (1978) बार-बार आने वाले सबस्ट्रिंग का पता लगाते हैं और कच्चे बाइट्स के बजाय संदर्भ उत्सर्जित करते हैं। कोडिंग पक्ष पर, हफमैन कोडिंग (मूल पेपर देखें 1952) अधिक संभावित प्रतीकों को छोटे कोड प्रदान करता है। अरिथमैटिक कोडिंग और रेंज कोडिंग बारीक-बारीक विकल्प हैं जो एन्ट्रॉपी सीमा के करीब निचोड़ते हैं, जबकि आधुनिक असममित अंक प्रणाली (ANS) तेज तालिका-चालित कार्यान्वयन के साथ समान कंप्रेशन प्राप्त करता है।
DEFLATE (gzip, zlib, और ZIP द्वारा उपयोग किया जाता है) LZ77 को हफमैन कोडिंग के साथ जोड़ता है। इसके स्पेक्स सार्वजनिक हैं: DEFLATE RFC 1951, zlib रैपर RFC 1950, और gzip फ़ाइल प्रारूप RFC 1952. Gzip स्ट्रीमिंग के लिए बनाया गया है और स्पष्ट रूप से यादृच्छिक पहुँच प्रदान करने का प्रयास नहीं करता है. PNG छवियां DEFLATE को अपनी एकमात्र कंप्रेशन विधि के रूप में मानकीकृत करती हैं (अधिकतम 32 KiB विंडो के साथ), PNG स्पेक के अनुसार “संपीड़न विधि 0… डिफ्लेट/इन्फ्लेट… अधिकतम 32768 बाइट्स” और W3C/ISO PNG दूसरा संस्करण.
Zstandard (zstd): एक नया सामान्य-उद्देश्य कंप्रेसर है जिसे बहुत तेज डीकंप्रेसन के साथ उच्च अनुपात के लिए डिज़ाइन किया गया है। प्रारूप RFC 8878 (यह भी HTML मिरर) और संदर्भ स्पेक GitHub परमें प्रलेखित है। Gzip की तरह, मूल फ्रेम यादृच्छिक पहुँच का लक्ष्य नहीं रखता है. zstd की महाशक्तियों में से एक शब्दकोश है: आपके कॉर्पस से छोटे नमूने जो कई छोटी या समान फ़ाइलों पर संपीड़न में नाटकीय रूप से सुधार करते हैं (देखें python-zstandard शब्दकोश डॉक्स और निगेल ताओ का काम किया हुआ उदाहरण)। कार्यान्वयन “असंरचित” और “संरचित” दोनों शब्दकोशों को स्वीकार करते हैं (चर्चा).
Brotli: वेब सामग्री के लिए अनुकूलित (जैसे, WOFF2 फोंट, HTTP)। यह एक स्थिर शब्दकोश को एक DEFLATE-जैसे LZ+एन्ट्रॉपी कोर के साथ मिलाता है। स्पेक RFC 7932है, जो 2WBITS−16 की एक स्लाइडिंग विंडो को भी नोट करता है जिसमें WBITS [10, 24] (1 KiB−16 B से 16 MiB−16 B तक) में है और यह यादृच्छिक पहुँच का प्रयास नहीं करता है. Brotli अक्सर वेब टेक्स्ट पर gzip को मात देता है जबकि जल्दी से डीकोड करता है।
ZIP कंटेनर: ZIP एक फ़ाइल संग्रह है जो विभिन्न संपीड़न विधियों (deflate, store, zstd, आदि) के साथ प्रविष्टियों को संग्रहीत कर सकता है। वास्तविक मानक PKWARE का APPNOTE है (देखें APPNOTE पोर्टल, एक होस्ट की गई प्रति, और LC अवलोकन ज़िप फ़ाइल प्रारूप (PKWARE) / ज़िप 6.3.3).
LZ4 मामूली अनुपात के साथ कच्ची गति को लक्षित करता है। इसकी परियोजना पृष्ठ (“अत्यंत तेज संपीड़न”) और फ्रेम प्रारूपदेखें। यह इन-मेमोरी कैश, टेलीमेट्री, या हॉट पाथ के लिए आदर्श है जहां डीकंप्रेसन को रैम की गति के करीब होना चाहिए।
XZ / LZMA अपेक्षाकृत धीमी संपीड़न के साथ घनत्व (महान अनुपात) के लिए धक्का देते हैं। XZ एक कंटेनर है; भारी उठाने का काम आमतौर पर LZMA/LZMA2 (LZ77-जैसा मॉडलिंग + रेंज कोडिंग) द्वारा किया जाता है। देखें .xz फ़ाइल प्रारूप, LZMA स्पेक (पावलोव), और लिनक्स कर्नेल नोट्स XZ एंबेडेड पर. XZ आमतौर पर gzip को आउट-कंप्रेस करता है और अक्सर उच्च-अनुपात वाले आधुनिक कोडेक्स के साथ प्रतिस्पर्धा करता है, लेकिन धीमी एन्कोड समय के साथ।
bzip2 बरोज़-व्हीलर ट्रांसफ़ॉर्म (BWT), मूव-टू-फ्रंट, RLE, और हफ़मैन कोडिंग लागू करता है। यह आमतौर पर gzip से छोटा लेकिन धीमा होता है; देखें आधिकारिक मैनुअल और मैन पेज (लिनक्स).
“विंडो का आकार” मायने रखता है। DEFLATE संदर्भ केवल 32 KiB पीछे देख सकते हैं (RFC 1951 और PNG की 32 KiB कैप यहाँ उल्लेख किया गया है)। ब्रोटली की विंडो लगभग 1 KiB से 16 MiB तक होती है (RFC 7932). Zstd स्तर के अनुसार विंडो और खोज गहराई को ट्यून करता है (RFC 8878). बेसिक gzip/zstd/brotli स्ट्रीम अनुक्रमिक डिकोडिंग के लिए डिज़ाइन किए गए हैं; आधार प्रारूप रैंडम एक्सेस का वादा नहीं करते हैं, हालांकि कंटेनर (जैसे, टार इंडेक्स, चंक्ड फ्रेमिंग, या प्रारूप-विशिष्ट इंडेक्स) इसे परत कर सकते हैं।
उपरोक्त प्रारूप दोषरहित हैं: आप सटीक बाइट्स का पुनर्निर्माण कर सकते हैं। मीडिया कोडेक्स अक्सर दोषपूर्ण होते हैं: वे कम बिटरेट हिट करने के लिए अगोचर विवरण को त्याग देते हैं। छवियों में, क्लासिक जेपीईजी (डीसीटी, क्वांटिज़ेशन, एन्ट्रॉपी कोडिंग) ITU-T T.81 / ISO/IEC 10918-1में मानकीकृत है। ऑडियो में, एमपी3 (MPEG-1 लेयर III) और एएसी (MPEG-2/4) अवधारणात्मक मॉडल और एमडीसीटी ट्रांसफ़ॉर्म पर निर्भर करते हैं (देखें ISO/IEC 11172-3, ISO/IEC 13818-7, और एक एमडीसीटी अवलोकन यहाँ)। दोषपूर्ण और दोषरहित सह-अस्तित्व में हो सकते हैं (जैसे, यूआई संपत्ति के लिए पीएनजी; छवियों/वीडियो/ऑडियो के लिए वेब कोडेक्स)।
सिद्धांत: शैनन 1948 · दर-विरूपण · कोडिंग: हफमैन 1952 · अरिथमैटिक कोडिंग · रेंज कोडिंग · ANS. प्रारूप: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 फ्रेम · XZ प्रारूप. BWT स्टैक: बरोज़-व्हीलर (1994) · bzip2 मैनुअल. मीडिया: जेपीईजी T.81 · एमपी3 ISO/IEC 11172-3 · एएसी ISO/IEC 13818-7 · एमडीसीटी.
निष्कर्ष: एक कंप्रेसर चुनें जो आपके डेटा और बाधाओं से मेल खाता हो, वास्तविक इनपुट पर मापें, और शब्दकोशों और स्मार्ट फ्रेमिंग से होने वाले लाभों को न भूलें। सही जोड़ी के साथ, आप प्राप्त कर सकते हैं छोटी फाइलें, तेज स्थानान्तरण, और तेज ऐप्स - शुद्धता या पोर्टेबिलिटी का त्याग किए बिना।
फ़ाइल संकुचन एक प्रक्रिया है जो फ़ाइल या फ़ाइलों का आकार घटाती है, आमतौर पर संग्रहण स्थान को बचाने या नेटवर्क पर संचार को तेज करने के लिए।
फ़ाइल संकुचन डाटा में रिडंडेंसी की पहचान और हटाने के द्वारा काम करता है। यह एल्गोरिदम का उपयोग करके मूल डेटा को एक छोटे स्थान में कोड करता है।
फ़ाइल संकुचन के दो मुख्य प्रकार हैं - नुकसान रहित और नुकसानदायक संकुचन। नुकसान रहित संकुचन की अनुमति है कि मूल फ़ाइल को पूरी तर ह से बहाल किया जा सके, जबकि नुकसानदायक संकुचन डेटा की गुणवत्ता में कुछ हानि की लागत पर अधिक आकार घटाव की अनुमति देता है।
फाइल संकुचन उपकरण का एक लोकप्रिय उदाहरण WinZip है, जो ZIP और RAR सहित कई संकुचन प्रारूपों का समर्थन करता है।
नुकसान रहित संकुचन के साथ, गुणवत्ता अपरिवर्तित रहती है। हालांकि, नुकसानदायक संकुचन के साथ, फ़ाइल का आकार अधिक ध्यान से घटाने के लिए कुछ कम महत्वपूर्ण डेटा को हटाने के कारण गुणवत्ता में ध्यान देने योग्य कमी हो सकती है।
हां, डेटा संरक्षण के संबंध में फ़ाइल संकुचन सुरक्षित है, खासकर नुकसान रहित संकुचन के साथ। हालांकि, किसी भी फ़ाइल की तरह, संकुचित फ़ाइलों को मैलवेयर या वायरस के लक्ष्य के रूप में लिया जा सकता है, इसलिए यह हमेशा महत्त्वपूर्ण होता है कि प्रमुख सुरक्षा सॉफ़्टवेयर स्थापित हो।
लगभग सभी प्रकार की फ़ाइलें संकुचित की जा सकती हैं, जिसमें पाठ फ़ाइलें, चित्र, ऑडियो, वीडियो, और सॉफ़्टवेयर फ़ाइलें शामिल हैं। हालांकि, प्राप्त करने योग्य संकुचन का स्तर फ़ाइल प्रकारों के बीच महत्वपूर्ण रूप से अलग हो सकता है।
ZIP फ़ाइल एक प्रकार की फ़ाइल प्रारूप है जो नुकसान रहित संकुचन का उपयोग करके एक या अधिक फ़ाइलों के आकार को घटाती है। ZIP फ़ाइल में अनेक फ़ाइलें प्रभावी रूप से एक ही फ़ाइल में संग्रहित की जाती हैं, जो साझा करना भी आसान बनाती है।
तकनीकी रूप से, हां, हालांकि अतिरिक्त आकार घटाव न्यूनतम हो सकता है या यहां तक कि प्रतिकूल हो सकता है। पहले से संकुचित फ़ाइल को संकुचित करना कभी-कभी इसका आकार बढ़ सकता है क्योंकि संकुचन एल्गोरिदम द्वारा जोड़ी गई मेटाडाटा।
फ़ाइल को डिकम्प्रेस करने के लिए, आपको आमतौर पर एक डिकम्प्रेसन या अनज़िपिंग उपकरण की आवश्यकता होती है, जैसे WinZip या 7-Zip। ये उपकरण संपीडित प्रारूप से मूल फ़ाइलों को निकाल सकते हैं।