PAX（事前割り当て拡張機能）は、Microsoft が開発したオープンソースの圧縮アーカイブ形式で、ZIP、RAR、tar などの既存の形式の最新の代替手段として設計されました。これは、最新のシステムとデバイスでのアーカイブ処理の圧縮、パフォーマンス、セキュリティ、機能の制限に対処し、改善するために設計されました。
PAX 形式の主な差別化機能には、最新のアルゴリズムを使用した強化された圧縮、アーカイブ内のファイルへの効率的なランダムアクセス、ネイティブのマルチスレッドサポート、拡張可能なメタデータ、組み込みの暗号化と整合性チェック、および広範な採用と相互運用性を促進するための文書化されたオープン仕様が含まれます。
PAX アーカイブはファイル拡張子 .pax を使用し、ヘッダー、中央ディレクトリ、圧縮データブロック、フッターで構成される複数のパーツからなる内部構造を持ちます。これにより、アーカイブの内容、圧縮パラメータ、整合性ハッシュなどの重要な情報を実際の圧縮ファイルデータとは別に格納できます。
PAX ヘッダーは、識別用の 4 バイトのマジックナンバー（16 進数で 50 41 58 00）で始まります。次に、PAX バージョン、圧縮方式、暗号化方式、ハッシュ方式、ブロックサイズ、並列圧縮スレッドの数、およびさまざまなフラグのフィールドが含まれます。ヘッダーは、アーカイブに関する詳細を提供する拡張可能な XML メタデータで終了します。
ヘッダーの後に PAX 中央ディレクトリがあります。これには、アーカイブ内の各圧縮ファイル/フォルダのエントリが含まれ、フルパス、属性、サイズ、ブロックオフセ ット、ハッシュが格納されます。これを 1 か所に配置することで、アーカイブの内容を効率的にリストし、圧縮データをスキャンすることなく個々のファイルにランダムにアクセスできます。
PAX アーカイブの大部分は、一連の圧縮データブロックです。各ブロックには、未圧縮サイズと圧縮サイズを示す小さなヘッダーがあり、次に構成されたアルゴリズムで圧縮されたファイルデータのチャンクが続きます。ブロックのデフォルトサイズは 1 MB ですが、これはアーカイブヘッダーで調整できます。
暗号化方式が指定されている場合、圧縮データブロックはオプションで暗号化されます。PAX は、AES-256 などの最新の暗号化方式をサポートしています。アーカイブパスワードは、各ブロックを個別に暗号化するキーを派生するために使用され、効率的なランダムアクセスを可能にします。認証のために、PAX は安全な KDF でパスワードをハッシュします。
圧縮のために、PAX は高速な解凍用に最適化されたさまざまな最新の汎用コーデックをサポートしています: LZMA、LZ4、Brotli、Zstandard など。また、特定のファイルタイプ（例: EXE/DLL のデルタエンコーディング、x86 コードの E8E9 エンコーディング）のサイズをさらに削減するためのプリプロセッサも許可します。コーデックとプリプロセッサはパイプラインで適用されます。
効率的なマルチスレッド圧縮を可能にするために、ファイルは並列コーデックインスタンスで処理できる独立して圧縮されたブロックに分割されます。PAX コンプレッサーは、使用可能なすべての CPU コアを使用するように自動的にスケーリングします。同様のパーティション分 割により、より高速な抽出のための並列解凍が可能になります。
PAX は、元のデータと圧縮データのハッシュを格納することで、データの整合性と改ざんの検出を提供します。アーカイブには、切り捨てを検出するためのヘッダーハッシュがあります。中央ディレクトリもハッシュ化されて、ファイルメタデータの改ざんを防ぎます。圧縮データのビット腐敗は、各ブロックをハッシュすることで捕捉されます。
PAX アーカイブの最後にはフッターがあります。これには、ヘッダーフィールドのコピー、中央ディレクトリのオフセット/サイズ、およびアーカイブ全体のハッシュが含まれます。フッターは固定サイズで、常にファイルの最後にあり、PAX アーカイブの簡単な場所と検証を可能にします。
PAX アーカイブは、ZIP のようなアーカイブ全体を書き換えるのではなく、中央ディレクトリを変更し、変更されたデータブロックを追加することで効率的に更新できます。メタデータを更新し、関連するブロックを追加/削除することで、ファイル全体を挿入、削除、または置換できます。アーカイブもすばやく追加できます。
zip-slip の脆弱性を軽減するために、PAX は明示的なパス（../ トラバーサルなし）を必要とし、抽出ルートの外への書き込みを防止します。サービス拒否を可能にする長い ZIP メタデータフィールドは制限されています。圧縮率とメモリ使用量の制限により、圧縮爆弾が軽減されます。
PAX アーカイブのファイルタイムスタンプは、1 秒の精度で幅広い日付をカバーする標準の 64 ビット形式を使用します。POSIX パーミッションと Windows ACL の属性がサポートされています。PAX は NTFS 代替データストリームとリソースフォークを格納できます。シンボリックリンクとハードリンクも表現できます。
オープンソースの PAX SDK は、PAX アーカイブをプログラムで作成、抽出、更新、検証するためのシンプルな API を提供します。PAX 形式のすべての低レベルの詳細を処理します。SDK は、C、C++、C#、Java、Python、JavaScript、Go、Rust を含む複数の言語で利用できます。
要約すると、PAX アーカイブ形式は、ZIP などの実績のある形式の基盤の上に構築され、効率的な圧縮、マルチスレッド、ランダムアクセス、セキュリティ、オープン仕様などの最新の機能と最適化を導入しています。これにより、PAX は今日のシステムにおける幅広いアーカイブシナリオに最適です。
ファイル圧縮は冗長性を減らすことで、同じ情報がより少ないビットで済むようにします。どこまで圧縮できるかの上限は情報理論によって定められています。可逆圧縮の場合、その限界はソースのエントロピーです（シャノンの ソース符号化定理 と彼の1948年の独創的な論文 「通信の数学的理論」を参照）。非可逆圧縮の場合、レートと品質のトレードオフは レート歪み理論によって捉えられます。
ほとんどの圧縮プログラムには2つの段階があります 。まず、モデルがデータ内の構造を予測または公開します。 次に、コーダーがそれらの予測をほぼ最適なビットパターンに変換します。古典的なモデリング ファミリーはレンペル–ジブです。 LZ77 (1977) とLZ78 (1978)は、繰り返される部分文字列を検出し、生のバイトの代わりに参照を出力します。 コーディング側では、 ハフマン符号化 （元の論文 1952を参照）は、より可能性の高いシンボルに短いコードを割り当てます。 算術符号化 と 範囲符号化 は、エントロピー限界に近づけるためのよりきめ細かい代替手段であり、現代の 非対称数系（ANS） は、高速なテーブル駆動の実装で同様の圧縮を実現します。
DEFLATE（gzip、zlib、ZIPで使用）は、LZ77とハフマン符号化を組み合わせたものです。その仕様は公開されています： DEFLATE RFC 1951、zlibラッパー RFC 1950、およびgzipファイル形式 RFC 1952。Gzipはストリーミング用にフレーム化されており、明示的に ランダムアクセスを提供しようとはしません。PNG画像は、PNG仕様書によれば、DEFLATEを唯一の圧縮方法として標準化しています（最大32 KiBのウィンドウ）。 「圧縮方法0… deflate/inflate… 最大32768バイト」 および W3C/ISO PNG第2版。
Zstandard (zstd): 非常に高速な 解凍で高い圧縮率を実現するために設計された、新しい汎用圧縮プログラムです。この形式は RFC 8878 （ HTMLミラーも参照）および参照仕様書 GitHubで文書化されています。gzipと同様に、基本フレームは ランダムアクセスを目的としていません。zstdのスーパーパワーの1つは辞書です。コーパスからの小さなサンプルで、多数の小さなファ イルや類似のファイルで 圧縮を劇的に改善します（ python-zstandard辞書ドキュメント および Nigel Taoの実例を参照）。実装は、「非構造化」と「構造化」の両方の辞書を受け入れます （ディスカッション）。
Brotli: ウェブコンテンツ（例：WOFF2フォント、HTTP）に最適化されています。静的辞書と DEFLATEのようなLZ+エントロピーコアを組み合わせます。仕様は RFC 7932で、2WBITS−16のスライディングウィンドウ（WBITSは[10, 24]、1 KiB−16 Bから 16 MiB−16 Bまで）と、 ランダムアクセスを試みないことも記されています。Brotliは、ウェブテキストでgzipをしばしば上回り、高速にデコードします。
ZIPコンテナ: ZIPは、さまざまな圧縮方法 （deflate、store、zstdなど）でエントリを保存できるファイルアーカイブです。事実上の標準はPKWAREのAPPNOTEです（ APPNOTEポータル、 ホストされているコピー、およびLCの概要 ZIPファイル形式（PKWARE） / ZIP 6.3.3を参照）。
LZ4は、控えめな圧縮率で生の速度を目標としています。その プロジェクトページ （「非常に高速な圧縮」）と フレーム形式を参照してください。メモリ内キャッシュ、テレメトリ、または解凍がRAM速度に近い必要があるホットパスに最適です。
XZ / LZMAは、比較的遅い圧縮で密度（優れた圧縮率）を追求します。XZはコンテナです。 重労働は通常、LZMA/LZMA2（LZ77のようなモデリング+範囲符号化）によって行われます。 .xzファイル形式、 LZMA仕様（Pavlov）、およびLinuxカーネルのメモ XZ Embeddedについてを参照してください。XZは通常、gzipを上回り、高圧縮率の最新コーデックとしばしば競合しますが、エンコード時間は遅くなります。
bzip2は、 Burrows–Wheeler変換（BWT）、move-to-front、RLE、およびハフマン 符号化を適用します。通常、gzipよりも小さいですが遅いです。 公式マニュアル およびmanページ （Linux）を参照してください。
「ウィンドウサイズ」は重要です。DEFLATE参照は32 KiBしか遡れません （RFC 1951 およびPNGの32 KiBキャップ ここに記載）。Brotliのウィンドウは、約1 KiBから16 MiBの範囲です （RFC 7932）。Zstdは、レベルごとにウィンドウと検索深度を調整します （RFC 8878）。基本的なgzip/zstd/brotliストリームは、シーケンシャルデコード用に設計されています。基本形式は ランダムアクセスを約束しませんが、コンテナ（例：tarインデックス、チャンク化されたフレーミング、または形式固有のインデックス）でそれを階層化できます。
上記の形式は可逆です。正確なバイトを再構築できます。メディアコーデックはしばしば非可逆です。 より低いビットレートを達成するために、知覚できない詳細を破棄します。画像では、古典的なJPEG（DCT、量子化、エントロピー 符号化）は ITU-T T.81 / ISO/IEC 10918-1で標準化されています。音声では、MP3（MPEG-1 Layer III）とAAC（MPEG-2/4）は、知覚モデルとMDCT変換に依存しています（ ISO/IEC 11172-3、 ISO/IEC 13818-7、およびMDCTの概要 こちらを参照）。非可逆と可逆は共存できます（例：UIアセット用のPNG、画像/動画/音声用のWebコーデック）。
理論： シャノン 1948 · レート歪み · 符号化： ハフマン 1952 · 算術符号化 · 範囲符号化 · ANS. フォーマット： DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4フレーム · XZ形式. BWTスタック： Burrows–Wheeler (1994) · bzip2マニュアル. メディア： JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
結論：データと制約に合った圧縮プログラムを選択し、実際の入力で測定し、 辞書とスマートフレーミングによる利点を忘れないでください。適切な組み合わせで、 より小さなファイル、より速い転送、より軽快なアプリを手に入れることができます—正確さや移植性を犠牲にすることなく。
ファイルの圧縮は、ファイルやファイルのサイズを減らすプロセスで、通常はストレージスペースを節約したり、ネットワークを介した伝送を高速化するために使用されます。
ファイルの圧縮は、データの冗長性を識別して削除することで機能します。それはアルゴリズムを使用して、元のデータをより小さいスペースでエンコードします。
ファイルの圧縮の主要な2つのタイプはロスレス圧縮とロッシー圧縮です。ロスレス圧縮では、元のファイルを完全に復元することができますが、ロッシー圧縮ではデータ品質の若干の損失を伴うより大きなサイズの削減が可能になります。
ファイルの圧縮ツールの人気の例はWinZipで、ZIPとRARを含む複数の圧縮形式をサポートしています。
ロスレス圧縮では品質は変わりません。しかし、ロッシー圧縮では、それほど重要ではないデータを削除してファイルサイズをより大幅に削減するため、品質の低下が目立つことがあります。
はい、データの整合性の面では、特にロスレス圧縮ではファイルの圧縮は安全です。しかし、他のファイルと同様に、圧縮ファイルはマルウェアやウイルスの標的になる可能性があるため、常に信頼することができるセキュリティソフトウェアを用意しておくことが重要です。
ほぼすべてのタイプのファイルが圧縮可能であり、テキストファイル、画像、音声、動画、ソフトウェアファイルなどがあります。ただし、圧縮可能なレベルは、ファイルタイプによって大幅に異なることがあります。
ZIPファイルは、1つ以上のファイルのサイズを減らすためにロスレス圧縮を使用するファイル形式の一種です。ZIPファイルの中の複数のファイルは、実質的に1つのファイルにまとめられるため、共有も簡単になります。
技術的にははい、ですが、さらなるサイズ縮小は最小限で、あるいは逆効果となる可能性があります。既に圧縮されたファイルを圧縮すると、圧縮アルゴリズムによって追加されたメタデータにより、そのサイズが増えることがあります。
ファイルを解凍するには、通常、解凍ツールやアンジッパーといったツール、例えばWinZipや7-Zipが必要です。これらのツールは、圧縮形式から元のファイルを抽出することができます。