Извлечь файл SHAR

Формат PAX (Packed Archive Format) — это формат файла, используемый для архивирования и сжатия файлов и каталогов. Изначально он был разработан Google и основан на сочетании методов из форматов ZIP и tar. PAX стремится обеспечить эффективное сжатие, быстрый произвольный доступ к файлам и расширяемость для пользовательских метаданных.

В основе архива PAX лежит центральный каталог, содержащий метаданные об архивированных файлах, за которым следуют сами сжатые данные файла. Центральный каталог всегда находится в конце архива для быстрого доступа без необходимости сканирования всего файла.

Каждая запись файла в центральном каталоге включает такую информацию, как путь к файлу, размер, временная метка, контрольная сумма CRC32 и используемый метод сжатия. Путь к файлу хранится как строка Unicode, что позволяет поддерживать имена файлов, не содержащие символы ASCII. PAX использует кодировку UTF-8 для путей к файлам.

Для сжатия PAX поддерживает несколько алгоритмов, включая DEFLATE, Brotli и Zstandard (zstd). DEFLATE — это метод по умолчанию, который является тем же алгоритмом, используемым в ZIP и gzip. Он обеспечивает хороший баланс между степенью сжатия и скоростью. Brotli и Zstandard — это более новые алгоритмы, которые могут обеспечивать более высокую степень сжатия, особенно для определенных типов данных, таких как текстовые файлы, за счет более низкой скорости сжатия и распаковки.

Сжатые данные файла в PAX хранятся в блоках, при этом каждый блок имеет максимальный несжатый размер 1 МБ. Такое блочное хранение обеспечивает эффективный произвольный доступ к файлам, поскольку для извлечения определенного файла необходимо найти и распаковать только необходимые блоки, а не обрабатывать весь архив.

Одной из ключевых особенностей PAX является поддержка сплошного сжатия. При сплошном сжатии архив рассматривается как один непрерывный поток данных, а не как набор отдельных файлов. Это позволяет компрессору находить избыточности и закономерности между границами файлов, что потенциально приводит к более высокой степени сжатия. Однако сплошное сжатие может повлиять на возможность быстрого доступа к отдельным файлам, поскольку может потребоваться распаковка всего архива до нужного файла.

PAX также включает проверки целостности для обнаружения повреждения данных. Каждая запись файла в центральном каталоге включает контрольную сумму CRC32 несжатых данных файла. При извлечении файлов PAX вычисляет контрольную сумму распакованных данных и сравнивает ее с сохраненной контрольной суммой для проверки целостности. Кроме того, архивы PAX могут включать необязательную цифровую подпись для обеспечения аутентификации и обнаружения несанкционированного доступа.

Для повышения производительности PAX поддерживает многопоточное сжатие и распаковку. Файлы можно сжимать и записывать в архив параллельно, используя несколько ядер ЦП. Аналогично, при извлечении несколько файлов можно распаковывать одновременно. Такая параллельная обработка может значительно ускорить операции архивирования и извлечения на многоядерных системах.

Архивы PAX также могут хранить дополнительные метаданные помимо стандартных атрибутов файла. Пользовательские метаданные можно назначать файлам и каталогам с помощью пар ключ-значение. Эти метаданные хранятся в центральном каталоге вместе с записями файлов. Примерами пользовательских метаданных могут быть информация об авторе, категории файлов или данные, зависящие от приложения.

Поддержка потоковой передачи — еще одна особенность PAX. Архивы можно создавать и извлекать в потоковом режиме, без необходимости загружать весь архив в память. Это особенно полезно при работе с большими архивами или при работе с ограниченными ресурсами памяти. Потоковая передача позволяет создавать архивы на лету или обрабатывать их по мере получения данных через сетевое соединение.

Для обратной совместимости и взаимодействия архивы PAX могут включать резервный архив ZIP. Архив ZIP добавляется в конец архива PAX и содержит те же файлы в традиционном формате ZIP. Это позволяет старым инструментам, которые не поддерживают PAX, по-прежнему извлекать файлы из части ZIP архива.

PAX приобрел популярность благодаря своей эффективности, гибкости и реализации с открытым исходным кодом. Он поддерживается различными инструментами и библиотеками архивирования на разных платформах. Эталонная реализация, называемая libpax, написана на C и предоставляет низкоуровневый API для создания и извлечения архивов PAX.

Одним из ограничений PAX является то, что он изначально не поддерживает шифрование. Однако шифрование можно реализовать, объединив PAX с другими методами шифрования или используя сторонние инструменты, основанные на формате PAX.

Подводя итог, PAX (Packed Archive Format) — это универсальный и эффективный формат архивирования файлов, который предлагает такие функции, как быстрый произвольный доступ, сплошное сжатие, параллельная обработка, пользовательские метаданные и поддержка потоковой передачи. Сочетание алгоритмов сжатия, блочного хранения и расширяемости делает его привлекательным выбором для архивирования и распространения файлов.