वेब ARChive (WARC) प्रारूप एक मानक फ़ाइल प्रारूप है जिसका उपयोग वेब क्रॉल डेटा को संग्रहीत करने के लिए किया जाता है। इसे इंटरनेशनल इंटरनेट प्रिजर्वेशन कंसोर्टियम (IIPC) द्वारा पुराने इंटरनेट आर्काइव ARC प्रारूप में सुधार के रूप में विकसित किया गया था। WARC फ़ाइलों में सामग्री ब्लॉकों का एक संयोजित अनुक्रम होता है, प्रत्येक में एक सादा पाठ शीर्षलेख और बाइनरी सामग्री डेटा होता है, जो इसे दीर्घकालिक संरक्षण और वेब-आधारित संसाधनों की पहुँच के लिए अधिक उपयुक्त बनाता है।
WARC फ़ाइलों को मुख्यधारा इंटरनेट एप्लिकेशन लेयर प्रोटोकॉल, जैसे HTTP, DNS और FTP से पेलोड सामग्री और नियंत्रण जानकारी दोनों को संग्रहीत करने के लिए डिज़ाइन कि या गया है। प्रत्येक WARC फ़ाइल एक स्व-निहित संग्रह है, जो इसे एक ही फ़ाइल में कई असतत संसाधनों को संग्रहीत करने की अनुमति देता है। यह वेब क्रॉलर के लिए बड़ी मात्रा में वेब डेटा को संग्रहीत करने और संसाधित करने के लिए एक कुशल और सुविधाजनक प्रारूप बनाता है।
WARC प्रारूप विनिर्देश कई प्रकार के रिकॉर्ड को परिभाषित करता है, प्रत्येक संग्रह प्रक्रिया में एक विशिष्ट उद्देश्य की पूर्ति करता है: - `warcinfo`: WARC फ़ाइल के बारे में मेटाडेटा होता है, जैसे इसे बनाने के लिए उपयोग किया जाने वाला सॉफ़्टवेयर, निर्माण की तिथि और क्रॉल के बारे में कोई अतिरिक्त जानकारी। - `response`: वेब सर्वर द्वारा लौटाए गए शीर्षलेखों और बॉडी सहित HTTP प्रतिक्रिया संदेश को संग्रहीत करता है। - `request`: क्रॉलर द्वारा वेब सर्वर को भेजे गए HTTP अनुरोध संदेश को संग्रहीत करता है। - `metadata`: किसी संसाधन के बारे में अतिरिक्त जानकारी होती है, जैसे वायरस स्कैनिंग का परिणाम या HTML पृष्ठ से निकाला गया पाठ। - `revisit`: इंगित करता है कि किसी संसाधन की सामग्री पिछले कैप्चर के बाद से नहीं बदली है, जिससे वेब संग्रह का अधिक कुशल भंडारण और पुनः चलाना संभव हो जाता है। - `conversion`: किसी संसाधन को एक प्रारूप से दूसरे प्रारूप में परिवर्तित करने के परिणाम को संग्रहीत करता है, जैसे HTML पृष्ठ को सादे पाठ में परिवर्तित करना।
प्रत्येक WARC रिकॉर्ड में एक सादा पाठ शीर्षलेख और एक बाइनरी सामग्री ब्लॉक होता है। शीर्षलेख में कुंजी-मान युग्म होते हैं जो रिकॉर्ड के बारे में मेटाडेटा प्रदान करते हैं, जैसे WARC रिकॉर्ड प्रकार, संसाधन का URI, कैप्चर की तिथि और समय और सामग्री की लंबाई। बाइनरी सामग्री ब्लॉक संसाधन का वास्तविक डेटा संग्रहीत करता है, जैसे HTTP प्रतिक्रिया बॉडी या FTP स्थानांतरण का पेलोड।
WARC प्रारूप के प्रमुख लाभों में से एक एक ही फ़ाइल में कई संसाधनों को संग्रहीत करने की क्षमता है जबकि प्रत्येक संसाधन की अखंडता और संदर्भ को बनाए रखना है। यह WARC फ़ाइल के भीतर रिकॉर्ड के लिए एक पदानुक्रमित नामकरण योजना के उपयोग के माध्यम से प्राप्त किया जाता है। प्रत्येक रिकॉर्ड को एक विशिष्ट पहचानकर्ता सौंपा जाता है, जिसमें एक अनिवार्य फ़ाइल नाम और एक वैकल्पिक रिकॉर्ड ID होती है। यह WARC फ़ाइल के भीतर व्यक्तिगत संसाधनों की आसान पुनर्प्राप्ति और प्रबंधन की अनुमति देता है।
WARC फ़ाइलें संपीड़न का भी समर्थन करती हैं, जो भंडारण आवश्यकताओं को कम करने और स्थानांतरण गति में सुधार करने में मदद करता है। WARC फ़ाइलों के साथ उपयोग किए जाने वाले सबसे सामान्य संपीड़न एल्गोरिदम gzip और bzip2 हैं। संपीड़ित WARC फ़ाइलों में आमतौर पर क्रमशः `.warc.gz` या `.warc.bz2` एक्सटेंशन होते हैं।
WARC फ़ाइलों के प्रसंस्करण और विश्लेषण को सुविधाजनक बनाने के लिए, विभिन्न सॉफ़्टवेयर टूल और लाइब्रेरी विकसित किए गए हैं। इनमें Heritrix जैसे वेब क्रॉलर शामिल हैं, जो सीधे WARC फ़ाइलों को आउटपुट कर सकते हैं, और OpenWayback जैसे टूल, जो WARC फ़ाइलों से संग्रहीत वेब पेजों को फिर से चला सकते हैं। प्रोग्रामिंग लाइब्रेरी, जैसे Java Web Archive Toolkit (JWAT) और Python WarcIO लाइब्रेरी, WARC फ़ाइलों को पढ़ने, लिखने और हेरफेर करने के लिए API प्रदान करती हैं।
WARC प्रारूप वेब संग्रह के लिए वास्तविक मानक बन गया है, इ सकी मजबूती, लचीलेपन और वेब संरक्षण में शामिल संस्थानों और संगठनों द्वारा व्यापक रूप से अपनाने के लिए धन्यवाद। इसने बड़े पैमाने पर वेब संग्रह के निर्माण को सक्षम किया है, जैसे इंटरनेट आर्काइव की Wayback मशीन, जिसमें 1996 से कैप्चर किए गए 475 बिलियन से अधिक वेब पेज हैं।
सारांश में, WARC प्रारूप आने वाली पीढ़ियों के लिए वेब-आधारित जानकारी को संरक्षित करने और उस तक पहुँचने के लिए एक महत्वपूर्ण उपकरण है। इसकी मानकीकृत संरचना, कई रिकॉर्ड प्रकारों के लिए समर्थन और सामग्री और मेटाडेटा दोनों को संग्रहीत करने की क्षमता इसे लगातार बढ़ते और विकसित होते वेब को संग्रहीत करने के लिए एक आदर्श प्रारूप बनाती है। जैसे-जैसे इंटरनेट हमारे जीवन में तेजी से महत्वपूर्ण भूमिका निभाता जा रहा है, WARC प्रारूप निस्संदेह वेब संरक्षण प्रयासों का एक महत्वपूर्ण घटक बना रहेगा।
फ़ाइल कंप्रेशन রিডन्डेंसी को कम करता है ताकि वही जानकारी कम बिट्स ले। आप कितनी दूर जा सकते हैं इसकी ऊपरी सीमा सूचना सिद्धांत द्वारा नियंत्रित होती है: दोषरहित कंप्रेशन के लिए, सीमा स्रोत की एन्ट्रॉपी है (शैनन का स्रोत कोडिंग प्रमेय और उनका मूल 1948 का पेपर “संचार का एक गणितीय सिद्धांत”देखें)। दोषपूर्ण कंप्रेशन के लिए, दर और गुणवत्ता के बीच का ट्रेड-ऑफ दर-विरूपण सिद्धांत द्वारा कब्जा कर लिया गया है।
अधिकांश कंप्रेशर्स के दो चरण होते हैं। सबसे पहले, एक मॉडल डेटा में संरचना की भविष्यवाणी करता है या उजागर करता है। दूसरा, एक कोडर उन भविष्यवाणियों को लगभग-इष्टतम बिट पैटर्न में बदल देता है। एक क्लासिक मॉडलिंग परिव ार लेम्पेल-ज़िव है: LZ77 (1977) और LZ78 (1978) बार-बार आने वाले सबस्ट्रिंग का पता लगाते हैं और कच्चे बाइट्स के बजाय संदर्भ उत्सर्जित करते हैं। कोडिंग पक्ष पर, हफमैन कोडिंग (मूल पेपर देखें 1952) अधिक संभावित प्रतीकों को छोटे कोड प्रदान करता है। अरिथमैटिक कोडिंग और रेंज कोडिंग बारीक-बारीक विकल्प हैं जो एन्ट्रॉपी सीमा के करीब निचोड़ते हैं, जबकि आधुनिक असममित अंक प्रणाली (ANS) तेज तालिका-चालित कार्यान्वयन के साथ समान कंप्रेशन प्राप्त करता है।
DEFLATE (gzip, zlib, और ZIP द्वारा उपयोग किया जाता है) LZ77 को हफमैन कोडिंग के साथ जोड़ता है। इसके स्पेक्स सार्वजनिक हैं: DEFLATE RFC 1951, zlib रैपर RFC 1950, और gzip फ़ाइल प्रारूप RFC 1952. Gzip स्ट्रीमिंग के लिए बनाया गया है और स्पष्ट रूप से यादृच्छिक पहुँच प्रदान करने का प्रयास नहीं करता है. PNG छवियां DEFLATE को अपनी एकमात्र कंप्रेशन विधि के रूप में मानकीकृत करती हैं (अधिकतम 32 KiB विंडो के साथ), PNG स्पेक के अनुसार “संपीड़न विधि 0… डिफ्लेट/इन्फ्लेट… अधिकतम 32768 बाइट्स” और W3C/ISO PNG दूसरा संस्करण.
Zstandard (zstd): एक नया सामान्य-उद्देश्य कंप्रेसर है जिसे बहुत तेज डीकंप्रेसन के साथ उच्च अनुपात के लिए डिज़ाइन किया गया है। प्रारूप RFC 8878 (यह भी HTML मिरर) और संदर्भ स्पेक GitHub परमें प्रलेखित है। Gzip की तरह, मूल फ्रेम यादृच्छिक पहुँच का लक्ष्य नहीं रखता है. zstd की महाशक्तियों में से एक शब्दकोश है: आपके कॉर्पस से छोटे नमूने जो कई छोटी या समान फ़ाइलों पर संपीड़न में नाटकीय रूप से सुधार करते हैं (देखें python-zstandard शब्दकोश डॉक्स और निगेल ताओ का काम किया हुआ उदाहरण)। कार्यान्वयन “असंरचित” और “संरचित” दोनों शब्दकोशों को स्वीकार करते हैं (चर्चा).
Brotli: वेब सामग्री के लिए अनुकूलित (जैसे, WOFF2 फोंट, HTTP)। यह एक स्थिर शब्दकोश को एक DEFLATE-जैसे LZ+एन्ट्रॉपी कोर के साथ मिलाता है। स्पेक RFC 7932है, जो 2WBITS−16 की एक स्लाइडिंग विंडो को भी नोट करता है जिसमें WBITS [10, 24] (1 KiB−16 B से 16 MiB−16 B तक) में है और यह यादृच्छिक पहुँच का प्रयास नहीं करता है. Brotli अक्सर वेब टेक्स्ट पर gzip को मात देता है जबकि जल्दी से डीकोड करता है।
ZIP कंटेनर: ZIP एक फ़ाइल संग्रह है जो विभिन्न संपीड़न विधियों (deflate, store, zstd, आदि) के साथ प्रविष्टियों को संग्रहीत कर सकता है। वास्तविक मानक PKWARE का APPNOTE है (देखें APPNOTE पोर्टल, एक होस्ट की गई प्रति, और LC अवलोकन ज़िप फ़ाइल प्रारूप (PKWARE) / ज़िप 6.3.3).
LZ4 मामूली अनुपात के साथ कच्ची गति को लक्षित करता है। इसकी परियोजना पृष्ठ (“अत्यंत तेज संपीड़न”) और फ्रेम प्रारूपदेखें। यह इन-मेमोरी कैश, टेलीमेट्री, या हॉट पाथ के लिए आदर्श है जहां डीकंप्रेसन को रैम की गति के करीब होना चाहिए।
XZ / LZMA अपेक्षाकृत धीमी संपीड़न के साथ घनत्व (महान अनुपात) के लिए धक्का देते हैं। XZ एक कंटेनर है; भारी उठाने का काम आमतौर पर LZMA/LZMA2 (LZ77-जैसा मॉडलिंग + रेंज कोडिंग) द्वारा किया जाता है। देखें .xz फ़ाइल प्रारूप, LZMA स्पेक (पावलोव), और लिनक्स कर्नेल नोट्स XZ एंबेडेड पर. XZ आमतौर पर gzip को आउट-कंप्रेस करता है और अक्सर उच्च-अनुपात वाले आधुनिक कोडेक्स के साथ प्रतिस्पर्धा करता है, लेकिन धीमी एन्कोड समय के साथ।
bzip2 बरोज़-व्हीलर ट्रांसफ़ॉर्म (BWT), मूव-टू-फ्रंट, RLE, और हफ़मैन कोडिंग लागू करता है। यह आमतौर पर gzip से छोटा लेकिन धीमा होता है; देखें आधिकारिक मैनुअल और मैन पेज (लिनक्स).
“विंडो का आकार” मायने रखता है। DEFLATE संदर्भ केवल 32 KiB पीछे देख सकते हैं (RFC 1951 और PNG की 32 KiB कैप यहाँ उल्लेख किया गया है)। ब्रोटली की विंडो लगभग 1 KiB से 16 MiB तक होती है (RFC 7932). Zstd स्तर के अनुसार विंडो और खोज गहराई को ट्यून करता है (RFC 8878). बेसिक gzip/zstd/brotli स्ट्रीम अनुक्रमिक डिकोडिंग के लिए डिज़ाइन किए गए हैं; आधार प्रारूप रैंडम एक्सेस का वादा नहीं करते हैं, हालांकि कंटेनर (जैसे, टार इंडेक्स, चंक्ड फ्रेमिंग, या प्रारूप-विशिष्ट इंडेक्स) इसे परत कर सकते हैं।
उपरोक्त प्रारूप दोषरहित हैं: आप सटीक बाइट्स का पुनर्निर्माण कर सकते हैं। मीडिया कोडेक्स अक्सर दोषपूर्ण होते हैं: वे कम बिटरेट हिट करने के लिए अगोचर विवरण को त्याग देते हैं। छवियों में, क्लासिक जेपीईजी (डीसीटी, क्वांटिज़ेशन, एन्ट्रॉपी कोडिंग) ITU-T T.81 / ISO/IEC 10918-1में मानकीकृत है। ऑडियो में, एमपी3 (MPEG-1 लेयर III) और एएसी (MPEG-2/4) अवधारणात्मक मॉडल और एमडीसीटी ट्र ांसफ़ॉर्म पर निर्भर करते हैं (देखें ISO/IEC 11172-3, ISO/IEC 13818-7, और एक एमडीसीटी अवलोकन यहाँ)। दोषपूर्ण और दोषरहित सह-अस्तित्व में हो सकते हैं (जैसे, यूआई संपत्ति के लिए पीएनजी; छवियों/वीडियो/ऑडियो के लिए वेब कोडेक्स)।
सिद्धांत: शैनन 1948 · दर-विरूपण · कोडिंग: हफमैन 1952 · अरिथमैटिक कोडिंग · रेंज कोडिंग · ANS. प्रारूप: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 फ्रेम · XZ प्रारूप. BWT स्टैक: बरोज़-व्हीलर (1994) · bzip2 मैनुअल. मीडिया: जेपीईजी T.81 · एमपी3 ISO/IEC 11172-3 · एएसी ISO/IEC 13818-7 · एमडीसीटी.
निष्कर्ष: एक कंप्रेसर चुनें जो आपके डेटा और बाधाओं से मेल खाता हो, वास्तविक इनपुट पर मापें, और शब्दकोशों और स्मार्ट फ्रेमिंग से होने वाले लाभों को न भूलें। सही जोड़ी के साथ, आप प्राप्त कर सकते हैं छोटी फाइलें, तेज स्थानान्तरण, और तेज ऐप्स - शुद्धता या पोर्टेबिलिटी का त्याग किए बिना।
फ़ाइल संकुचन एक प्रक्रिया है जो फ़ाइल या फ़ाइलों का आकार घटाती है, आमतौर पर संग्रहण स्थान को बचाने या नेटवर्क पर संचार को तेज करने के लिए।
फ़ाइल संकुचन डाटा में रिडंडेंसी की पहचान और हटाने के द्वारा काम करता है। यह एल्गोरिदम का उपयोग करके मूल डेटा को एक छोटे स्थान में कोड करता है।
फ़ाइल संकुचन के दो मुख्य प्रकार हैं - नुकसान रहित और नुकसानदायक संकुचन। नुकसान रहित संकुचन की अनुमति है कि मूल फ़ाइल को पूरी तरह से बहाल किया जा सके, जबकि नुकसानदायक संकुचन डेटा की गुणवत्ता में कुछ हानि की लागत पर अधिक आकार घटाव की अनुमति देता है।
फाइल संकुचन उपकरण क ा एक लोकप्रिय उदाहरण WinZip है, जो ZIP और RAR सहित कई संकुचन प्रारूपों का समर्थन करता है।
नुकसान रहित संकुचन के साथ, गुणवत्ता अपरिवर्तित रहती है। हालांकि, नुकसानदायक संकुचन के साथ, फ़ाइल का आकार अधिक ध्यान से घटाने के लिए कुछ कम महत्वपूर्ण डेटा को हटाने के कारण गुणवत्ता में ध्यान देने योग्य कमी हो सकती है।
हां, डेटा संरक्षण के संबंध में फ़ाइल संकुचन सुरक्षित है, खासकर नुकसान रहित संकुचन के साथ। हालांकि, किसी भी फ़ाइल की तरह, संकुचित फ़ाइलों को मैलवेयर या वायरस के लक्ष्य के रूप में लिया जा सकता है, इसलिए यह हमेशा महत्त्वपूर्ण होता है कि प्रमुख सुरक्षा सॉफ़्टवेयर स्थापित हो।
लगभग सभी प्रकार की फ़ाइलें संकुचित की जा सकती हैं, जिसमें पाठ फ़ाइलें, चित्र, ऑडियो, वीडियो, और सॉफ़्टवेयर फ़ाइलें शामिल हैं। हालांकि, प्राप्त करने योग्य संकुचन का स्तर फ़ाइल प्रकारों के बीच महत्वपूर्ण रूप से अलग हो सकता है।
ZIP फ़ाइल एक प्रकार की फ़ाइल प्रारूप है जो नुकसान रहित संकुचन का उपयोग करके एक या अधिक फ़ाइलों के आकार को घटाती है। ZIP फ़ाइल में अनेक फ़ाइलें प्रभावी रूप से एक ही फ़ाइल में संग्रहित की जाती हैं, जो साझा करना भी आसान बनाती है।
तकनीकी रूप से, हां, हालांकि अतिरिक्त आकार घटाव न्यूनतम हो सकता है या यहां तक कि प्रतिकूल हो सकता है। पहले से संकुचित फ़ाइल को संकुचित करना कभी-कभी इसका आकार बढ़ सकता है क्योंकि संकुचन एल्गोरिदम द्वारा जोड़ी गई मेटाडाटा।
फ़ाइल को डिकम्प्रेस करने के लिए, आपको आमतौर पर एक डिकम्प्रेसन या अनज़िपिंग उपकरण की आवश्यकता होती है, जैसे WinZip या 7-Zip। ये उपकरण संपीडित प्रारूप से मूल फ़ाइलों को निकाल सकते हैं।