PAX (Önceden Ayırma Eklentisi), Microsoft tarafından ZIP, RAR ve tar gibi mevcut formatlara modern bir alternatif olarak geliştirilen açık kaynaklı sıkıştırılmış arşiv biçimidir. Modern sistemler ve cihazlarda arşiv işlemede sıkıştırma, performans, güvenlik ve işlevsellik sınırlamalarını gidermek ve geliştirmek için tasarlanmıştır.
PAX biçiminin temel ayırt edici özellikleri arasında modern algoritmalar kullanılarak geliştirilmiş sıkıştırma, arşivlerdeki dosyalara verimli rastgele erişim, yerel çoklu iş parçacığı desteği, genişletilebilir meta veriler, yerleşik şifreleme ve bütünlük denetimi ve geniş çaplı benimseme ve birlikte çalışabilirliği teşvik etmek için belgelenmiş açık bir özellik yer alır.
PAX arşivleri .pax dosya uzantısını kullanır ve başlık, merkezi dizin, sıkıştırılmış veri blokları ve bir alt bilgiden oluşan çok parçalı bir iç yapıya sahiptir. Bu, arşiv içeriği, sıkıştırma parametreleri ve bütünlük karma değerleri gibi önemli bilgilerin gerçek sıkıştırılmış dosya verilerinden ayrı olarak saklanmasına olanak tanır.
PAX başlığı, tanımlama için 4 baytlık bir sihirli sayıyla (altıgen olarak 50 41 58 00) başlar. Ardından PAX sürümü, sıkıştırma yöntemi, şifreleme yöntemi, karma yöntemi, blok boyutu, paralel sıkıştırma iş parçacığı sayısı ve çeşitli bayraklar için alanlar içerir. Başlık, arşiv hakkında ayrıntılar sağlayan genişletilebilir XML meta verileriyle biter.
Başlığın ardından PAX merkezi dizini gelir. Bu, arşivdeki her sıkıştırılmış dosya/klasör için tam yolu, öznitelikleri, boyutları, blok ofsetlerini ve karma değerlerini depolayan bir giriş içerir. Bunların tek bir yerde olması, arşiv içeriğinin verimli bir şekilde listelenmesine ve sıkıştırılmış verilerde tarama yapmadan tek tek dosyalara rastgele erişime olanak tanır.
Bir PAX arşivinin büyük kısmı bir dizi sıkıştırılmış veri bloğudur. Her blok, yapılandırılmış algoritma ile sıkıştırılmış bir dosya verisi parçasının ardından sıkıştırılmamış ve sıkıştırılmış boyutu gösteren küçük bir başlığa sahiptir. Blokların varsayılan boyutu 1 MB'dir ancak bu arşiv başlığında ayarlanabilir.
Bir şifreleme yöntemi belirtilmişse sıkıştırılmış veri blokları isteğe bağlı olarak şifrelenir. PAX, AES-256 gibi modern şifreleme şemalarını destekler. Arşiv parolası, her bloğu bağımsız olarak şifreleyen bir anahtar türetmek için kullanılır ve bu da verimli rastgele erişime olanak tanır. PAX, parolaları güvenli bir KDF ile karma yapmak için kimlik doğrulaması yapar.
Sıkıştırma için PAX, hızlı açma işlemi için optimize edilmiş çeşitli modern genel amaçlı kodekleri destekler: LZMA, LZ4, Brotli, Zstandard vb. Ayrıca, belirli dosya türlerinde daha fazla boyut küçültme için ön işlemcilere izin verir (ör. EXE'ler/DLL'ler üzerinde Delta kodlaması, x86 kodunda E8E9 kodlaması). Kodekler ve ön işlemciler bir işlem hattında uygulanır.
Verimli çok iş parçacıklı sıkıştırmayı etkinleştirmek için dosyalar, paralel kodek örnekleri tarafından işlenebilen bağımsız olarak sıkıştırılmış bloklara bölünür. PAX sıkıştırıcısı, mevcut tüm CPU çekirdeklerini kullanmak üzere otomatik olarak ölçeklenir. Benzer bölümlendirme, daha hızlı çıkarma için paralel açma işlemine olanak tanır.
PAX, orijinal ve sıkıştırılmış verilerin karma değerlerini depolayarak veri bütünlüğünü ve kurcalama tespitini sağlar. Arşivler, kesilmeyi tespit etmek için bir başlık karma değeri taşır. Merkezi dizin de dosya meta verilerinde kurcalamayı önlemek için karmaya alınır. Sıkıştırılmış verilerdeki bit bozulması, her bloğun karmaya alınmasıyla yakalanır.
Bir PAX arşivinin sonunda alt bilgi bulunur. Bu, başlık alanlarının bir kopyasını, merkezi dizinin ofsetini/boyutunu ve tüm arşiv karma değerini içerir. Alt bilgi sabit bir boyuta sahiptir ve her zaman dosyanın sonunda bulunur ve PAX arşivlerinin kolayca konumlandırılmasına ve doğrulanmasına olanak tanır.
PAX arşivleri, tüm arşivleri ZIP gibi yeniden yazmak yerine merkezi dizini değiştirerek ve değiştirilen veri bloklarını ekleyerek verimli bir şekilde güncellenebilir. Meta verileri güncelleyerek ve ilgili blokları ekleyerek/kaldırarak tüm dosyalar eklenebilir, kaldırılabilir veya değiştirilebilir. Arşivlere hızlı bir şekilde ekleme yapılabilir.
Zip-slip güvenlik açıklarını azaltmak için PAX, açık yollar gerektirir (../ geçişi yok) ve çıkarma kök dizini dışında yazmayı önler. Hizmet reddi olanağı sağlayan uzun ZIP meta veri alanları kısıtlanmıştır. Sıkıştırma bombaları, sıkıştırma oranı ve bellek kullanımı üzerindeki sınırlamalarla azaltılır.
PAX arşivlerindeki dosya zaman damgaları, 1 saniyelik hassasiyetle geniş bir tarih aralığını kapsayan standart bir 64 bitlik biçim kullanır. POSIX izinleri ve Windows ACL'leri için öznitelikler desteklenir. PAX, NTFS alternatif veri akışlarını ve kaynak çatallarını depolayabilir. Sembolik bağlantılar ve sabit bağlantılar da temsil edilebilir.
Açık kaynaklı PAX SDK, PAX arşivlerini programlı olarak oluşturmak, çıkarmak, güncellemek ve doğrulamak için basit API'ler sağlar. PAX biçiminin tüm düşük seviyeli ayrıntılarını işler. SDK, C, C++, C#, Java, Python, JavaScript, Go ve Rust dahil olmak üzere birden çok dilde mevcuttur.
Özetle, PAX arşiv biçimi, ZIP gibi kanıtlanmış biçimlerin temelleri üzerine kurulurken modern özellikler ve optimizasyonlar sunar - verimli sıkıştırma, çoklu iş parçacığı, rastgele erişim, güvenlik ve açık bir özellik. Bu, PAX'i günümüz sistemlerinde çok çeşitli arşivleme senaryoları için ideal kılar.
Dosya sıkıştırma, aynı bilgiyi daha az bit ile temsil etmek için fazlalıkları azaltır. Ne kadar küçülebileceğinizi belirleyen üst sınır bilgi teorisidir: kayıpsız sıkıştırmada limit kaynağın entropisidir (bkz. Shannon'ın kaynak kodlama teoremi source coding theorem ve 1948 tarihli “A Mathematical Theory of Communication”). Kayıplı sıkıştırmada bit hızı ile kalite arasındaki dengeyi rate–distortion teorisiaçıklar.
Çoğu sıkıştırıcı iki aşamalıdır. Önce bir model verideki yapıyı tahmin eder veya ortaya çıkarır. Ardından bir coder bu tahminleri neredeyse optimal bit kalıplarına çevirir. Klasik aile Lempel–Ziv'dir LZ77 (1977) ve LZ78 (1978) tekrarlanan alt dizileri bulup ham bayt yerine referans yazar. Kodlama tarafında Huffman kodlama (bkz.1952 makalesi) olasılığı yüksek sembollere daha kısa kodlar verir. Aritmetik kodlama ve range coding entropi sınırına daha da yaklaşır; modern Asymmetric Numeral Systems (ANS) ise tablo tabanlı uygulamalarla benzer oranlar elde eder.
DEFLATE (gzip, zlib, ZIP) LZ77 ile Huffman'ı birleştirir. Spesifikasyonlar açık: DEFLATE RFC 1951, zlib sarmalayıcısı RFC 1950ve gzip formatı RFC 1952. Gzip akış için tasarlandı ve rastgele erişim vaat etmez. PNG, tek sıkıştırma yöntemi olarak DEFLATE'i (32 KiB pencere) standartlaştırır; bkz.“Compression method 0…” ve W3C/ISO PNG 2nd Edition.
Zstandard (zstd): yüksek oranlar ve çok hızlı açma için tasarlanan yeni nesil genel kompresör. Format RFC 8878 (ayrıca HTML yansısı) ve referans dokümanı GitHub'daaçıklanmıştır. Gzip gibi temel çerçeve rastgele erişim hedeflemez. Zstd'nin süper gücü sözlüklerdir: korpusunuzdan küçük örnekler birçok küçük/benzer dosyayı ciddi biçimde küçültür (bkz.python-zstandard sözlük dokümanları ve Nigel Tao örneği). Uygulamalar “unstructured” ve “structured” sözlükleri destekler (tartışma).
Brotli: web içeriği (örn. WOFF2 fontlar, HTTP) için optimize edildi. Statik sözlük ile DEFLATE benzeri LZ+entropi çekirdeğini birleştirir. Spesifikasyon RFC 7932, ayrıca WBITS [10, 24] (1 KiB−16 B ile 16 MiB−16 B) aralığında 2WBITS−16 kayar pencere ve rastgele erişim sağlamadığınıbelirtir. Brotli çoğu web metninde gzip'i geçer ve hızlı çözülür.
ZIP konteyneri: ZIP, farklı sıkıştırma yöntemleri (deflate, store, zstd vb.) taşıyabilen bir arşivdir. De facto standart PKWARE APPNOTE'tur (bkz.APPNOTE portalı, barındırılan kopyave LC özetleri ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 mütevazı oranlarla ham hız hedefler. Proje sayfasına (“extremely fast compression”) ve frame formatınabakın. RAM hızına yakın dekompresyon gerektiren bellek içi cache'ler, telemetri veya sıcak yollar için ideal.
XZ / LZMA yüksek yoğunluk (yüksek oran) için daha yavaş sıkıştırmayı göze alır. XZ bir konteynerdir; asıl işi genelde LZMA/LZMA2 (LZ77 benzeri modelleme + range coding) yapar. .xz formatı, LZMA spesifikasyonu (Pavlov)ve Linux kernel notları XZ Embeddedile XZ genelde gzip'ten daha iyi sıkıştırır ve modern yüksek oranlı codec'lerle rekabet eder, fakat kodlama süresi uzundur.
bzip2, Burrows–Wheeler dönüşümünü (BWT), move-to-front'u, RLE'yi ve Huffman'ı kullanır. Genellikle gzip'ten küçük ama daha yavaştır; resmi kılavuza ve man sayfasınabakın.
“Pencere boyutu” önemlidir. DEFLATE referansları yalnızca 32 KiB geriye bakabilir (RFC 1951) ve PNG'nin 32 KiB sınırı burada belirtilir. Brotli yaklaşık 1 KiB ile 16 MiB arası pencereleri destekler (RFC 7932). Zstd pencereyi ve arama derinliğini seviyeler ile ayarlar (RFC 8878). gzip/zstd/brotli'nin temel akışları ardışık çözümeye göre tasarlanır; formatların kendileri rastgele erişim garantilemez, ancak konteynerler (tar indeksleri, parça bazlı çerçeveler, format spesifik indeksler) ekleyebilir.
Yukarıdaki formatlar kayıpsızdır: aynı baytları geri alırsınız. Medya codec'leri genellikle kayıplıdır: daha düşük bit hızları için algılanmayan detayları atarlar. Görsellerde klasik JPEG (DCT, kantizasyon, entropi kodlama) ITU-T T.81 / ISO/IEC 10918-1içinde standarttır. Seste MP3 (MPEG-1 Layer III) ve AAC (MPEG-2/4) algısal modeller ve MDCT dönüşümleri kullanır (bkz.ISO/IEC 11172-3, ISO/IEC 13818-7ve MDCT özeti burada). Kayıplı ve kayıpsız yöntemler birlikte kullanılabilir (ör. UI için PNG; web codec'leri görsel/video/ses için).
Teori Shannon 1948 · Rate–distortion · Kodlama Huffman 1952 · Aritmetik kodlama · Range coding · ANS. Formatlar DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · XZ format. BWT zinciri Burrows–Wheeler (1994) · bzip2 kılavuzu. Medya JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Özetle: verilerinize ve kısıtlarınıza uyan bir sıkıştırıcı seçin, gerçek girdiler üzerinde ölçün ve sözlükler ile akıllı çerçevelemenin kazançlarını unutmayın. Doğru eşleşme ile daha küçük dosyalar, daha hızlı transferler ve daha çevik uygulamalar elde eder, doğruluk veya taşınabilirlikten ödün vermezsiniz.
Dosya sıkıştırması, dosyanın boyutunu azaltma işlemidir, genellikle depolama alanını tasarruf etmek veya bir ağ üzerindeki iletimi hızlandırmak için kullanılır.
Dosya sıkıştırması, verilerdeki gereksiz bilgileri belirleyip çıkararak çalışır. İlk verileri daha küçük bir alanda kodlamak için algoritmalar kullanır.
Dosya sıkıştırmanın iki ana türü lossless (kayıpsız) ve lossy (kayıplı) sıkıştırmadır. Kayıpsız sıkıştırma, orijinal dosyanın mükemmel bir şekilde geri yüklenmesini sağlarken, kayıplı sıkıştırma, veri kalitesindeki bazı kayıpların maliyetine daha büyük ölçüde boyut küçültmeyi sağlar.
Popüler bir dosya sıkıştırma aracı örneği, ZIP ve RAR dahil olmak üzere birden fazla sıkıştırma formatını destekleyen WinZip'tir.
Kayıpsız sıkıştırma ile kalite değişmez. Ancak, kayıplı sıkıştırmada, dosya boyutunu daha da küçültmek için az önemli veriler çıkarıldığından kalitede belirgin bir azalma olabilir.
Evet, veri bütünlüğü açısından dosya sıkıştırması güvenlidir, özellikle kayıpsız sıkıştırmayla. Ancak, başka herhangi bir dosyada olduğu gibi, sıkıştırılmış dosyalar da zararlı yazılım veya virüsler tarafından hedef alınabilir, bu yüzden her zaman güvenilir bir güvenlik yazılımı bulundurmak önemlidir.
Neredeyse tüm dosya türleri sıkıştırılabilir, bu türler arasında metin dosyaları, resimler, ses, video ve yazılım dosyaları bulunur. Ancak, elde edilebilecek sıkıştırma seviyesi, dosya türlerine göre önemli ölçüde değişebilir.
ZIP dosyası, bir veya daha fazla dosyanın boyutunu azaltmak için kayıpsız sıkıştırmayı kullanan bir dosya formatı türüdür. ZIP dosyasındaki birden fazla dosya, tek bir dosyada etkili bir şekilde bir araya getirilir, bu da paylaşmayı kolaylaştırır.
Teknik olarak, evet, ancak ek boyut azaltma minimum veya hatta zararlı olabilir. Zaten sıkıştırılmış bir dosyayı sıkıştırmak, bazen sıkıştırma algoritması tarafından eklenen metadatanın neden olduğu boyut artışına neden olabilir.
Bir dosyayı açmak için genellikle bir açma veya açma aracına ihtiyacınız vardır, örneğin WinZip veya 7-Zip. Bu araçlar, sıkıştırılmış formatından orijinal dosyaları çıkarabilir.