PAX(打包存档格式)是一种用于存档和压缩文件和目录的文件格式。它最初由 Google 开发,基于 ZIP 和 tar 格式技术的组合。PAX 旨在提供高效的压缩、对文件的快速随机访问以及对自定义元数据的可扩展性。
在核心部分,PAX 存档包含一个中心目录,其中包含已存档文件的元数据,然后是压缩的文件数据本身。中心目录始终位于存档的末尾,以便快速访问,而无需扫描整个文件。
中心目录中的每个文 件条目都包含文件路径、大小、时间戳、CRC32 校验和和所用压缩方法等信息。文件路径存储为 Unicode 字符串,从而支持非 ASCII 文件名。PAX 对文件路径使用 UTF-8 编码。
对于压缩,PAX 支持多种算法,包括 DEFLATE、Brotli 和 Zstandard (zstd)。DEFLATE 是默认方法,它与 ZIP 和 gzip 中使用的算法相同。它在压缩比和速度之间提供了良好的平衡。Brotli 和 Zstandard 是较新的算法,可以提供更好的压缩比,特别是对于某些类型的数据(如文本文件),但代价是压缩和解压缩速度较慢。
PAX 中的压缩文件数据存储在块中,每个块的最大未压缩大小为 1 MB。这种分块存储支持对文件的有效随机访问,因为只需要找到并解压缩必要的块即可提取特定文件,而不是处理整个存档。
PAX 的一个关键特性是对固态压缩的支持。使用固态压缩,存档被视为一个连续的数据流,而不是一个单独文件的集合。这允许压缩器跨文件边界查找冗余和模式,从而可能导致更高的压缩比。但是,固态压缩会影响快速访问各个文件的能力,因为可能需要解压缩到所需文件的整个存档。
PAX 还包括完整性检查以检测数据损坏。中心目录中的每个文件条目都包含未压缩文件数据的 CRC32 校验和。在提取文件时,PAX 会计算解压缩数据的校验和,并将其与存储的校验和进行比较以验证完整性。此外,PAX 存档可以包含可选的数字签名以提供身份验证和篡改检测。
为了提高性能,PAX 支持多线程压缩和解压缩。文件可以并行压缩并写入存档,利用多个 CPU 内核。同样,在提取过程中,可以同时解压缩多个文件。这种并行处理可以在多核系统上显著加快存档和提取操作。
PAX 存档还可以存储超出标准文件属性的附加元数据。可以使用键值对将自定义元数据分配给文件和 目录。此元数据与文件条目一起存储在中心目录中。自定义元数据的示例包括作者信息、文件类别或特定于应用程序的数据。
流支持是 PAX 的另一个特性。可以在流方式下创建和提取存档,而无需将整个存档加载到内存中。当处理大型存档或使用有限的内存资源时,这特别有用。流允许在运行时创建存档或在通过网络连接接收数据时处理存档。
为了向后兼容和互操作性,PAX 存档可以包含一个后备 ZIP 存档。ZIP 存档附加到 PAX 存档的末尾,并以传统的 ZIP 格式包含相同的文件。这允许不支持 PAX 的较旧工具仍然从存档的 ZIP 部分提取文件。
PAX 因其效率、灵活性以及开源实现而广受欢迎。它受到不同平台上各种存档工具和库的支持。称为 libpax 的参考实现是用 C 编写的,它提供了一个用于创建和提取 PAX 存档的低级 API。
PAX 的一个限制是它本机不支持加密。但是,可以通过将 PAX 与其他加密技术相结合或使用基于 PAX 格式构建的第三方工具来实现加密。
总之,PAX(打包存档格式)是一种通用且高效的文件存档格式,提供快速随机访问、固态压缩、并行处理、自定义元数据和流支持等特性。其压缩算法、分块存储和可扩展性的组合使其成为存档和分发文件的引人注目的选择。
文件压缩是一种减少数据文件大小,以便有效存储或传输的过程。它通过识别并消除冗余数据使用各种算法来压缩数据,这通常能大幅减少数据的大小,同时又不会失去原始信息。
文件压缩主要分为两种类型:无损和有损。无损压缩允许从压缩数据完美地重构原始数据,这对于每一位数据都很重要的文件(如文本或数据库文件)非常理想。常见的例子包括 ZIP 和 RAR 文件格式。 另一方面,有损压缩通过消除不太重要的数据来更大幅度地减少文件大小,经常用于音频、视频和图像文件。JPEG 和 MP3 是某些数据损失不会大幅降低内容感知质量的例子。
文件压缩的好处多种多样。它节省设备和服务器的存储空间,降低成本并提高效率。它还加速了在网络上(包括互联网)的文件传输时间,对大文件尤其有价值。此外,压缩文件可以被组织在一个归档文件中,有助于组织和轻松传输多个文件。
然而,文件压缩确实有一些缺点。压缩和解压过程需要计算资源,可能会拖慢系统性能,尤其是对于大文件。此外,在有损压缩的情况下,一些原始数据在压缩过程中会丢失,结果的质量可能不适合所有的应用,特别是对高质量有要求的专业应用。
文件压缩是当今数字世界中的关键工具。它提高了效率,节省了存储空间,并减少了下载和上传时间。尽管如此,它在系统性能和质量降低的风险方面确实存在一些缺点。因此,明智的对待这些因素来选择特定数据需求的正确压缩技术是至关重要的。
文件压缩是一种减小文件或文件集大小的过程,通常用于节省存储空间或加速网络传输。
文件压缩通过识别和删除数据中的冗余来工作。它使用算法在更小的空间中编码原始数据。