ওয়েব এআরকাইভ (WARC) ফরম্যাট হল ওয়েব ক্রল ডেটা সংরক্ষণের জন্য ব্যবহৃত একটি স্ট্যান্ডার্ড ফাইল ফরম্যাট। এটি আন্তর্জাতিক ইন্টারনেট সংরক্ষণ কনসোর্টিয়াম (IIPC) দ্বারা পুরনো ইন্টারনেট আর্কাইভ ARC ফরম্যাটের উন্নতি হিসাবে তৈরি করা হয়েছিল। WARC ফাইলগুলিতে কন্টেন্ট ব্লকের একটি সংযুক্ত ক্রম থাকে, প্রতিটিতে একটি সাধারণ টেক্সট হেডার এবং বাইনারি কন্টেন্ট ডেটা থাকে, যা এটিকে দীর্ঘমেয়াদী সংরক্ষণ এবং ওয়েব-ভিত্তিক রিসোর্স অ্যাক্সেসের জন্য আরও উপযুক্ত করে তোলে।
WARC ফাইলগুলি মূলধারার ইন্টারনেট অ্যাপ্লিকেশন লেয়ার প্রোটোকলগুলি, যেমন HTTP, DNS এবং FTP থেকে পে-লোড কন্টে ন্ট এবং নিয়ন্ত্রণ তথ্য উভয়ই সংরক্ষণ করার জন্য ডিজাইন করা হয়েছে। প্রতিটি WARC ফাইল একটি স্ব-নিহিত আর্কাইভ, যা এটিকে একটি একক ফাইলে একাধিক পৃথক রিসোর্স সংরক্ষণ করতে দেয়। এটি ওয়েব ক্রলারদের ওয়েব ডেটার বিশাল পরিমাণ সংরক্ষণ এবং প্রক্রিয়াকরণের জন্য এটিকে একটি দক্ষ এবং সুবিধাজনক ফরম্যাট করে তোলে।
WARC ফরম্যাট স্পেসিফিকেশন বিভিন্ন ধরনের রেকর্ড সংজ্ঞায়িত করে, প্রতিটি সংরক্ষণ প্রক্রিয়ায় একটি নির্দিষ্ট উদ্দেশ্যে পরিবেশন করে: - `warcinfo`: WARC ফাইল সম্পর্কে মেটাডেটা রয়েছে, যেমন এটি তৈরি করতে ব্যবহৃত সফ্টওয়্যার, তৈরির তারিখ এবং ক্রল সম্পর্কে কোনও অতিরিক্ত তথ্য। - `response`: ওয়েব সার্ভার দ্বারা ফেরত দেওয়া হেডার এবং বডি সহ HTTP প্রতিক্রিয়া বার্তা সংরক্ষণ করে। - `request`: ওয়েব সার্ভারে ক্রলার দ্বারা প্রেরিত HTTP অনুরোধ বার্তা সংরক্ষণ করে। - `metadata`: একটি রিসোর্স সম্পর্কে অতিরিক্ত তথ্য রয়েছে, যেমন ভাইরাস স্ক্যানিংয়ের ফলাফল বা HTML পেজ থেকে নিষ্কাশিত টেক্সট। - `revisit`: নির্দেশ করে যে একটি রিসোর্সের কন্টেন্ট পূর্ববর্তী ক্যাপচারের পর থেকে পরিবর্তিত হয়নি, যা ওয়েব আর্কাইভের আরও দক্ষ সংরক্ষণ এবং পুনঃপ্রদর্শনের অনুমতি দেয়। - `conversion`: একটি রিসোর্সকে একটি ফরম্যাট থেকে অন্য ফরম্যাটে রূপান্তর করার ফলাফল সংরক্ষণ করে, যেমন একটি HTML পেজকে সাধারণ টেক্সটে রূপান্তর করা।
প্রতিটি WARC রেকর্ডে একটি সাধারণ টেক্সট হেডার এবং একটি বাইনারি কন্টেন্ট ব্লক থাকে। হেডারে কী-মান জোড়া থাকে যা রেকর্ড সম্পর্কে মেটাডেটা সরবরাহ করে, যেমন WARC রেকর্ডের ধরন, রিসোর্সের URI, ক্যাপচারের তারিখ এবং সময় এবং কন্টেন্টের দৈর্ঘ্য। বাইনারি কন্টেন্ট ব্লক রিসোর্সের প্রকৃত ডেটা সংরক্ষণ করে, যেমন HTTP প্রতিক্রিয়া বডি বা FTP ট্রান্সফারের পে-লোড।
WARC ফরম্যাটের মূল সুবিধাগুলির মধ্যে একটি হল প্রতিটি রিসোর্সের অখণ্ডতা এবং প্রসঙ্গ বজায় রেখে একটি একক ফাইলে একাধিক রিসোর্স সংরক্ষণ করার ক্ষমতা। এটি একটি WARC ফাইলের মধ্যে রেকর্ডগুলির জন্য একটি শ্রেণিবদ্ধ নামকরণ স্কিম ব্যবহারের মাধ্যমে অর্জন করা হয়। প্রতিটি রেকর্ডকে একটি অনন্য শনাক্তকারী নির্ধারণ করা হয়, যা একটি বাধ্যতামূলক ফাইলের নাম এবং একটি ঐচ্ছিক রেকর্ড আইডি নিয়ে গঠিত। এটি একটি WARC ফাইলের মধ্যে পৃথক রিসোর্সের সহজ পুনরুদ্ধার এবং পরিচালনার অনুমতি দেয়।
WARC ফাইলগুলি কম্প্রেশনকেও সমর্থন করে, যা স্টোরেজের প্রয়োজনীয়তা হ্রাস করতে এবং ট্রান্সফারের গতি উন্নত করতে সহায়তা করে। WARC ফাইলগুলির সাথে ব্যবহৃত সর্বাধিক সাধারণ কম্প্রেশন অ্যালগরিদমগুলি হল gzip এবং bzip2। সংকুচিত WARC ফাইলগুলি সাধারণত যথাক্রমে `.warc.gz` বা `.warc.bz2` এক্সটেনশন থাকে।
WARC ফাইলগুলির প্রক্রিয়াকরণ এবং বিশ্লেষণ সহজ করার জন্য বিভিন্ন সফ্টওয়্যার টুল এবং লাইব্রেরি তৈরি করা হয়েছে। এগুলির মধ্যে রয়েছে হেরিট্রিক্সের মতো ওয়েব ক্রলার, যা সরাসরি WARC ফাইল আউটপুট করতে পারে এবং ওপেনওয়েব্যাকের মতো টুল, যা WARC ফাইলগুলি থেকে আর্কাইভ করা ওয়েব পেজগুলি পুনঃপ্রদর্শন করতে পারে। প্রোগ্রামিং লাইব্রেরিগুলি, যেমন জাভা ওয়েব আর্কাইভ টুলকিট (JWAT) এবং পাইথন ওয়ারসিআইও লাইব্রেরি, WARC ফাইলগুলি পড়ার, লেখার এবং পরিচালনার জন্য API সরবরাহ করে।
ওয়েব সংরক্ষণে জড়িত প্রতিষ্ঠান এবং সংস্থাগু লির দ্বারা এর দৃঢ়তা, নমনীয়তা এবং ব্যাপক গ্রহণযোগ্যতার কারণে WARC ফরম্যাট ওয়েব সংরক্ষণের জন্য ডি ফ্যাক্টো স্ট্যান্ডার্ড হয়ে উঠেছে। এটি বৃহৎ আকারের ওয়েব আর্কাইভ তৈরি করতে সক্ষম করেছে, যেমন ইন্টারনেট আর্কাইভের ওয়েব্যাক মেশিন, যা 1996 সাল থেকে ক্যাপচার করা 475 বিলিয়নেরও বেশি ওয়েব পেজ রয়েছে।
সারাংশে, WARC ফরম্যাট ভবিষ্যত প্রজন্মের জন্য ওয়েব-ভিত্তিক তথ্য সংরক্ষণ এবং অ্যাক্সেস করার জন্য একটি গুরুত্বপূর্ণ টুল। এর মানকীকৃত কাঠামো, একাধিক রেকর্ডের ধরনের জন্য সমর্থন এবং কন্টেন্ট এবং মেটাডেটা উভয়ই সংরক্ষণ করার ক্ষমতা এটিকে ক্রমাগত বর্ধমান এবং বিবর্ত
ফাইল কম্প্রেশন অপ্রয়োজনীয় ডেটা কমিয়ে দেয় যাতে একই তথ্য কম বিট ব্যবহার করে। আপনি কতদূর যেতে পারবেন তার উপরের সীমা তথ্য তত্ত্ব দ্বারা নিয়ন্ত্রিত হয়: ক্ষতিহীন কম্প্রেশনের জন্য, সীমা হলো উৎসের এনট্রপি (শ্ যানন-এর সোর্স কোডিং থিওরেম এবং তার আসল ১৯৪৮ সালের পেপার “যোগাযোগের একটি গাণিতিক তত্ত্ব”দেখুন)। ক্ষতিযুক্ত কম্প্রেশনের জন্য, হার এবং মানের মধ্যে ট্রেড-অফ রেট-ডিসটরশন তত্ত্ব দ্বারা ক্যাপচার করা হয়।
বেশিরভাগ কম্প্রেসারের দুটি পর্যায় থাকে। প্রথমত, একটি মডেল ডেটাতে কাঠামো ভবিষ্যদ্বাণী করে বা প্রকাশ করে। দ্বিতীয়ত, একটি কোডার সেই ভবিষ্যদ্বাণীগুলিকে প্রায়-সর্বোত্তম বিট প্যাটার্নে পরিণত করে। একটি ক্লাসিক মডেলিং পরিবার হলো লেম্পেল-জিভ: LZ77 (১৯৭৭) এবং LZ78 (১৯৭৮) পুনরাবৃত্ত সাবস্ট্রিং শনাক্ত করে এবং কাঁচা বাইটের পরিবর্তে রেফারেন্স নির্গত করে। কোডিং দিকে, হাফম্যান কোডিং (আসল পেপারটি দেখুন ১৯৫২) বেশি সম্ভাব্য প্রতীকগুলির জন্য ছোট কোড বরাদ্দ করে। অ্যারিথমেটিক কোডিং এবং রেঞ্জ কোডিং হলো সূক্ষ্ম-দানাদার বিকল্প যা এনট্রপি সীমার কাছাকাছি চেপে ধরে, যেখানে আধুনিক অ্যাসিমেট্রিক নিউমেরাল সিস্টেম (ANS) দ্রুত টেবিল-চালিত বাস্তবায়নের মাধ্যমে অনুরূপ কম্প্রেশন অর্জন করে।
DEFLATE (gzip, zlib, এবং ZIP দ্বারা ব্যবহৃত) LZ77-কে হাফম্যান কোডিংয়ের সাথে একত্রিত করে। এর স্পেসিফিকেশনগুলি সর্বজনীন: DEFLATE RFC 1951, zlib র্যাপার RFC 1950, এবং gzip ফাইল ফরম্যাট RFC 1952. Gzip স্ট্রিমিংয়ের জন্য ফ্রেম করা হয়েছে এবং স্পষ্টভাবে র্যান্ডম অ্যাক্সেসের চেষ্টা করে না. PNG ছবিগুলি DEFLATE-কে তাদের একমাত্র কম্প্রেশন পদ্ধতি হিসাবে মানসম্মত করে (সর্বোচ্চ ৩২ KiB উইন্ডো সহ), PNG স্পেসিফিকেশন অনুযায়ী “কম্প্রেশন পদ্ধতি ০… ডিলেট/ইনফ্লেট… সর্বাধিক ৩২,৭৬৮ বাইট” এবং W3C/ISO PNG ২য় সংস্করণ.
Zstandard (zstd): একটি নতুন সাধারণ-উদ্দেশ্য কম্প্রেসার যা খুব দ্রুত ডিকম্প্রেশনের সাথে উচ্চ অনুপাতের জন্য ডিজাইন করা হয়েছে। ফরম্যাটটি RFC 8878 (এছাড়াও HTML মিরর) এবং রেফারেন্স স্পেসিফিকেশন GitHub-এ-এ নথিভুক্ত করা হয়েছে। Gzip-এর মতো, বেসিক ফ্রেম র্যান্ডম অ্যাক্সেসের লক্ষ্য রাখে না. zstd-এর অন্যতম সুপার পাওয়ার হলো অভিধান: আপনার কর্পাস থেকে ছোট নমুনা যা অনেক ছোট বা অনুরূপ ফাইলের উপর কম্প্রেশনকে নাটকীয়ভাবে উন্নত করে (দেখুন python-zstandard অভিধান ডক্স এবং নাইজেল টাও-এর কাজ করা উদাহরণ)। বাস্তবায়নগুলি “অসংগঠিত” এবং “সংগঠিত” উভয় অভিধানই গ্রহণ করে (আলোচনা).
Brotli: ওয়েব সামগ্রীর জন্য অপ্টিমাইজ করা (যেমন, WOFF2 ফন্ট, HTTP)। এটি একটি স্ট্যাটিক অভিধানের সাথে একটি DEFLATE-এর মতো LZ+এনট্রপি কোর মি শ্রিত করে। স্পেসিফিকেশনটি হলো RFC 7932, যা ২WBITS−১৬-এর একটি স্লাইডিং উইন্ডো নোট করে যেখানে WBITS [১০, ২৪]-এর মধ্যে (১ KiB−১৬ B থেকে ১৬ MiB−১৬ B পর্যন্ত) এবং এটি র্যান্ডম অ্যাক্সেসের চেষ্টা করে না. Brotli প্রায়শই ওয়েব টেক্সটে gzip-কে পরাজিত করে এবং দ্রুত ডিকোড করে।
ZIP কন্টেইনার: ZIP একটি ফাইল আর্কাইভ যা বিভিন্ন কম্প্রেশন পদ্ধতি (deflate, store, zstd, ইত্যাদি) সহ এন্ট্রি সংরক্ষণ করতে পারে। ডি ফ্যাক্টো স্ট্যান্ডার্ড হলো PKWARE-এর APPNOTE (দেখুন APPNOTE পোর্টাল, একটি হোস্ট করা কপি, এবং LC ওভারভিউ ZIP ফাইল ফরম্যাট (PKWARE) / ZIP 6.3.3)।
LZ4 কাঁচা গতির লক্ষ্য রাখে পরিমিত অনুপাতের সাথে। এর প্রকল্প পৃষ্ঠা (“অত্যন্ত দ্রুত কম্প্রেশন”) এবং ফ্রেম ফরম্যাটদেখুন। এটি ইন-মেমরি ক্যাশে, টেলিমেট্রি, বা হট পাথের জন্য আদর্শ যেখানে ডিকম্প্রেশন প্রায় RAM গতির হতে হবে।
XZ / LZMA ঘনত্বের জন্য চাপ দেয় (দুর্দান্ত অনুপাত) তুলনামূলকভাবে ধীর কম্প্রেশনের সাথে। XZ একটি কন্টেইনার; ভারী উত্তোলন সাধারণত LZMA/LZMA2 (LZ77-এর মতো মডেলিং + রেঞ্জ কোডিং) দ্বারা করা হয়। দেখুন .xz ফাইল ফরম্যাট, LZMA স্পেক (Pavlov), এবং লিনাক্স কার্নেল নোট XZ এমবেডেড-এ. XZ সাধারণত gzip-কে ছাড়িয়ে যায় এবং প্রায়শই উচ্চ-অনুপাতের আধুনিক কোডেকগুলির সাথে প্রতিযোগিতা করে, তবে ধীর এনকোড সময়ের সাথে।
bzip2 Burrows–Wheeler Transform (BWT), মুভ-টু-ফ্রন্ট, RLE, এবং হাফম্যান কোডিং প্রয়োগ করে। এটি সাধারণত gzip-এর চেয়ে ছোট কিন্তু ধীর; দেখুন অফিসিয়াল ম্যানুয়াল এবং ম্যান পেজ (লিনাক্স).
“উইন্ডো সাইজ” গুরুত্বপূর্ণ। DEFLATE রেফারেন্সগুলি কেবল ৩২ KiB পিছনে তাকাতে পারে (RFC 1951 এবং PNG-এর ৩২ KiB ক্যাপ এখানে উল্লেখ করা হয়েছে)। Brotli-এর উইন্ডো প্রায় ১ KiB থেকে ১৬ MiB পর্যন্ত বিস্তৃত (RFC 7932). Zstd স্তর দ্বারা উইন্ডো এবং অনুসন্ধানের গভীরতা টিউন করে (RFC 8878). বেসিক gzip/zstd/brotli স্ট্রিমগুলি অনুক্রমিক ডিকোডিংয়ের জন্য ডিজাইন করা হয়েছে; বেস ফরম্যাটগুলি র্যান্ডম অ্যাক্সেসের প্রতিশ্রুতি দেয় না, যদিও কন্টেইনারগুলি (যেমন, tar ইনডেক্স, চাঙ্কড ফ্রেমিং, বা ফরম্যাট-নির্দিষ্ট ইনডেক্স) এটি স্তর করতে পারে।
উপরের ফরম্যাটগুলি ক্ষতিহীন: আপনি সঠিক বাইটগুলি পুনর্গঠন করতে পারেন। মিডিয়া কোডেকগুলি প্রায়শই ক্ষতিযুক্ত: তারা কম বিটরেট হিট করার জন্য অদৃশ্য বিবরণ বাতিল করে। ছবিতে, ক্লাসিক JPEG (DCT, কোয়ান্টাইজেশন, এনট্রপি কোডিং) ITU-T T.81 / ISO/IEC 10918-1-এ মানসম্মত। অডিওতে, MP3 (MPEG-1 লেয়ার III) এবং AAC (MPEG-2/4) পারসেপচুয়াল মডেল এবং MDCT ট্রান্সফর্মের উপর নির্ভর করে (দেখুন ISO/IEC 11172-3, ISO/IEC 13818-7, এবং একটি MDCT ওভারভিউ এখানে)। ক্ষতিযুক্ত এবং ক্ষতিহীন সহাবস্থান করতে পারে (যেমন, UI সম্পদের জন্য PNG; ছবি/ভিডিও/অডিওর জন্য ওয়েব কোডেক)।
তত্ত্ব: শ্যানন 1948 · রেট-ডিসটরশন · কোডিং: হাফম্যান 1952 · অ্যারিথমেটিক কোডিং · রেঞ্জ কোডিং · ANS. ফরম্যাট: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 ফ্রেম · XZ ফরম্যাট. BWT স্ট্যাক: Burrows–Wheeler (1994) · bzip2 ম ্যানুয়াল. মিডিয়া: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
শেষ কথা: আপনার ডেটা এবং সীমাবদ্ধতার সাথে মেলে এমন একটি কম্প্রেসার চয়ন করুন, বাস্তব ইনপুটগুলিতে পরিমাপ করুন, এবং অভিধান এবং স্মার্ট ফ্রেমিং থেকে লাভগুলি ভুলে যাবেন না। সঠিক জুটির সাথে, আপনি পেতে পারেন ছোট ফাইল, দ্রুত স্থানান্তর, এবং আরও দ্রুত অ্যাপ — সঠিকতা বা পোর্টেবিলিটি ত্যাগ না করে।
ফাইল কম্প্রেশন হলো একটি প্রক্রিয়া যা একটি বা একাধিক ফাইলের সাইজ কমায়, সাধারণত স্টোরেজ স্পেস বাঁচাতে বা নেটওয়ার্কের মাধ্যমে দ্রুত ডেটা পাঠানোর জন্য।
ফাইল কম্প্রেশন ডেটাতে পুনরাবৃত্তি চিহ্নিত করে এবং অপ্রয়োজনীয় অংশ বাদ দিয়ে কাজ করে। এটি অ্যালগরিদম ব্যবহার করে মূল ডেটা-কে আরও ছোট আকারে এনকোড করে।
ফাইল কম্প্রেশনের দুটি প্রধান প্রকার হলো লসলেস এবং লসি কম্প্রেশন। লসলেস কম্প্রেশনে মূল ফাইলটি নিখুঁতভাবে পুনরুদ্ধার করা যায়, যেখানে লসি কম্প্রেশনে ডেটার গুণমানে কিছুটা ছাড় দিয়ে ফাইলের আকার আরও উল্লেখযোগ্যভাবে কমানো সম্ভব হয়।
ফাইল কম্প্রেশন সরঞ্জামের একটি জনপ্রিয় উদাহরণ হলো WinZip, যা ZIP এবং RAR সহ একাধিক কম্প্রেশন ফরম্যাট সমর্থন করে।
লসলেস কম্প্রেশনের ক্ষেত্রে ফাইলের মানে কোনো পরিবর্তন হয় না। তবে, লসি কম্প্রেশনে ফাইলের আকার আরও কমাতে কিছু কম-গুরুত্বপূর্ণ ডেটা বাদ দেওয়া হয়, ফলে ফাইলের মানে লক্ষণীয় পরিবর্তন হতে পারে।
হ্যাঁ, ডেটা অখণ্ডতার দিক থেকে ফাইল কম্প্রেশন নিরাপদ, বিশেষ করে লসলেস কম্প্রেশনের ক্ষেত্রে। তবে, যেকোনো ফাইলের মতোই, সংকুচিত ফাইলও ম্যালওয়্যার বা ভাইরাসের লক্ষ্য হতে পারে, তাই নির্ভরযোগ্য নিরাপত্তা সফটওয়্যার ব্যবহার করা জরুরি।
প্রায় সব ধরনের ফাইলই কম্প্রেস করা যায়, যেমন টেক্সট ফাইল, ছবি, অডিও, ভিডিও এবং সফটওয়্যার ফাইল। তবে, ফাইলের ধরন অনুযায়ী কম্প্রেশনের মাত্রা ভিন্ন হতে পারে।
ZIP ফাইল হলো একটি আর্কাইভ ফরম্যাট যা এক বা একাধিক ফাইলকে একটিমাত্র ফাইলে সংকুচিত করে রাখে। এটি ফাইল শেয়ার করা সহজ করে এবং স্টোরেজ বাঁচায়।
হ্যাঁ, técnicamente করা যায়, তবে ফাইলের আকার খুব বেশি কমবে না, এমনকি বেড়েও যেতে পারে। কারণ, প্রতিটি কম্প্রেশন প্রক্রিয়ায় কিছু অতিরিক্ত ডেটা (মেটাডেটা) যুক্ত হয়।
একটি ফাইল ডিকম্প্রেস করার জন্য আপনার একটি ডিকম্প্রেশন বা আনজিপিং টুল প্রয়োজন হবে, যেমন WinZip বা 7-Zip। এই টুলগুলো সংকুচিত ফাইল থেকে মূল ফাইলগুলো বের করে আনতে পারে।