Формат архива PKZ — это запатентованный сжатый формат архива, разработанный компанией PKWARE, Inc. для упаковки и сжатия файлов и каталогов. Он обычно используется в системах Microsoft Windows, но может использоваться и на других платформах. Формат использует комбинацию сжатия DEFLATE и различных фильтров предварительной обработки для достижения высокой степени сжатия при балансировке скорости и использования памяти.
Архив PKZ состоит из серии «заголовков локальных файлов» для каждого файла, необязательных заголовков расшифровки/шифрования архива, блоков сжатых данных файла, структуры центрального каталога и записи конца центрального каталога. Это обеспечивает быстрый доступ к отдельным сжатым файлам, необязательное шифрование, проверки целостности данных и возможность хранения метаданных об архивированных файлах.
Каждый заголовок локального файла содержит информацию о файле, такую как его имя, размер, временная метка, контрольная сумма CRC-32 и используемый метод сжатия. Заголовок также указывает любые необязательные функции, применяемые к файлу, такие как шифрование, фильтры предварительной обработки, исправление или разделение данных между несколькими архивами. За локальным заголовком следуют сжатые или сохраненные данные файла.
PKZ поддерживает несколько методов сжатия, наиболее распространенным из которых является DEFLATE. DEFLATE — это алгоритм сжатия данных без потерь, который объединяет сжатие LZ77 и кодирование Хаффмана. PKZIP также может хранить файлы без сжатия, если это необходимо. Редко могут использоваться другие устаревшие методы сжатия, такие как LZMA или Bzip2.
Перед сжатием файла с помощью DEFLATE можно применить различные фильтры предварительной обработки для улучшения сжатия. К ним относятся такие методы, как уменьшение размера символа, обмен байтами для увеличения избыточности, фильтры BCJ для исполняемых файлов и дельта-фильтры для инкрементных обновлений или исправлений. Фильтры применяются как часть процесса сжатия, прежде чем данные передаются в компрессор DEFLATE.
Для проверки целостности данных каждый файл записывает контрольную сумму CRC-32 несжатых д анных в своем локальном заголовке. Та же контрольная сумма записывается в записи центрального каталога для файла. Это позволяет проверить, что файл был сжат и распакован правильно без повреждения данных.
Архивы PKZ могут по желанию шифровать данные и заголовки файлов с использованием симметричного шифрования. В более старых версиях использовался ZipCrypto, а в более новых — шифрование AES. При шифровании выбранный метод шифрования записывается в архив, и каждый файл может указать свой собственный пароль. Аутентифицированное шифрование используется для обнаружения любого несанкционированного доступа или повреждения зашифрованных данных.
Центральный каталог следует за сжатыми данными файла и служит оглавлением архива. Он содержит запись заголовка файла для каждого файла с его метаданными, смещениями в локальные заголовки и другой информацией, необходимой для распаковки файлов. Записи сортируются по имени файла. К центральному каталогу можно применить необязательную цифровую подпись для дополнительной защиты от несанкционированного доступа.
Наконец, запись конца центрального каталога отмечает конец файла архива. Он хранит количество записей в центральном каталоге, его размер и смещение, а также поле комментария. Для архивов, разделенных на несколько файлов, он также содержит информацию о том, как найти другие файлы архива.
Формат PKZ позволяет эффективно осуществлять произвольный доступ к отдельным файлам в архиве без необходимости распаковывать весь архив. Это делается путем чтения центрального каталога, поиска нужной записи файла, а затем чтения и распаковки конкретного локального блока файла из его смещения. Несколько файлов также можно открыть и распаковать одновременно.
Чтобы создать архив PKZ, файлы сначала фильтруются и сжимаются по отдельности в локальные блоки файлов. Записи центрального каталога генерируются из локальных заголовков и метаданных файла. Затем центральный каталог при необходимости подписывается цифровым образом. Наконец, записывается запись конца центрального каталога, указывающая на центральный каталог.
Извлечение архива PKZ начинается с чтения конца центрального каталога для поиска записей центрального каталога. Находятся записи нужных файло в, и каждый из них распаковывается путем чтения его локального заголовка и сжатых данных из указанных смещений. Любое шифрование удаляется, а фильтры предварительной обработки отменяются для получения исходного содержимого файла.
Некоторые другие функции формата PKZ включают: разделение архивов на несколько файлов, томов или сегментов; поддержка имен файлов Unicode; разрешения и атрибуты файловой системы NTFS; интегрированная функция обновления/исправления; и расширяемые метаданные, такие как цифровые подписи, дайджесты хэшей и данные, зависящие от приложения.
В целом, формат PKZ — это эффективный и гибкий формат архива для сжатия и упаковки файлов. Его способность сжимать файлы по отдельности, применять фильтры предварительной обработки и быстро извлекать определенные файлы без обработки всего архива делает его хорошо подходящим для упаковки программных установщиков, обновлений прошивки, документов и многого другого. Поддержка шифрования, проверки целостности данных и цифровых подписей также позволяет ему обеспечивать высокий уровень безопасности при необходимости.
Сжатие файлов уменьшает избыточность, чтобы те же данные занимали меньше бит. Верхняя граница задаётся теорией информации: для без потерь пределом является энтропия источника (см. теорему кодирования источника Шеннона source coding theorem и его оригинальную статью 1948 года «A Mathematical Theory of Communication»). Для сжатия с потерями компромисс между битрейтом и качеством описывает теория rate–distortion.
Большинство компрессоров работают в два этапа. Сначала модель предсказывает или выявляет структуру данных. Затем кодер превращает эти предсказания в почти оптимальные шаблоны битов. Классическая семья моделей — Lempel–Ziv LZ77 (1977) и LZ78 (1978) находят повторяющиеся подстроки и излучают ссылки вместо сырых байтов. На стороне кодирования кодирование Хаффмана (см. статью 1952 года) назначает более короткие коды вероятным символам. Арифметическое кодирование и range coding ещё точнее приближаются к пределу энтропии, а современные Asymmetric Numeral Systems (ANS) дают схожие коэффициенты при табличных реализациях.
DEFLATE (используют gzip, zlib, ZIP) сочетает LZ77 и Хаффмана. Спецификации открыты: DEFLATE RFC 1951, оболочка zlib RFC 1950и формат gzip RFC 1952. Gzip ориентирован на потоковую передачу и явно не обеспечивает произвольный доступ. PNG закрепляет DEFLATE как единственный мет од (окно до 32 КиБ) согласно спецификации «Compression method 0…» и W3C/ISO PNG 2nd Edition.
Zstandard (zstd): современный универсальный компрессор с высокими коэффициентами и очень быстрой декомпрессией. Формат описан в RFC 8878 (и HTML-зеркале) и в референс-спеке на GitHub. Как и gzip, базовый фрейм не предполагает произвольного доступа. Главное преимущество zstd — словари: маленькие образцы корпуса, резко улучшающие сжатие множества крошечных или похожих файлов (см.документацию словарей python-zstandard и пример Nigela Tao). Реализации принимают «unstructured» и «structured» словари (обсуждение).
Brotli: оптимизирован для веб-контента (WOFF2, HTTP). Совмещает статический словарь и DEFLATE-подобное ядро LZ+энтропия. Спецификация — RFC 7932, где указано окно 2WBITS−16 с WBITS в [10, 24] и то, что формат не предоставляет произвольный доступ. Brotli часто превосходит gzip на веб-тексте и быстро декодируется.
Контейнер ZIP: ZIP — файловый архив, поддерживающий разные методы (deflate, store, zstd и др.). Де-факто стандарт — APPNOTE PKWARE (см.портал APPNOTE, размещённую копиюи обзоры LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ориентирован на максимальную скорость при умеренных коэффициентах. См. страницу проекта и формат фреймов. Подходит для кэшей в памяти, телеметрии и горячих путей, где декомпрессия должна быть почти со скоростью RAM.
XZ / LZMA гнётся за плотностью (высоким коэффициентом), но компрессует медленнее. XZ — контейнер; основную работу делают LZMA/LZMA2 (моделирование наподобие LZ77 + range coding). См.формат .xz, спецификацию LZMA (Павлов)и заметки ядра Linux про XZ Embedded. XZ обычно сжимает лучше gzip и соперничает с современными кодеками высокой плотности, но кодирует дольше.
bzip2 использует преобразование Бэрроуза–Уилера (BWT), move-to-front, RLE и Хаффмана. Обычно даёт файлы меньше, чем gzip, но медленнее; см.официальный мануал и man-страницу (Linux).
Важен размер окна. Ссылки DEFLATE смотрят максимум на 32 КиБ назад (RFC 1951) и ограничение PNG 32 КиБ здесь. Brotli поддерживает окна от ~1 КиБ до 16 МиБ (RFC 7932). Zstd настраивает окно и глубину поиска уровнями (RFC 8878). Базовые потоки gzip/zstd/brotli спроектированы для последовательного чтения; сами форматы не гарантируют произвольный доступ, хотя контейнеры (индексы tar, блочное фреймирование, форматные индексы) могут его добавить.
Форматы выше — lossless: можно восстановить те же байты. Медиа-кодеки часто lossy: они отбрасывают незаметные детали ради меньших битрейтов. Для изображений классический JPEG (DCT, квантование, энтропийное кодирование) стандартизован в ITU-T T.81 / ISO/IEC 10918-1. В аудио MP3 (MPEG-1 Layer III) и AAC (MPEG-2/4) используют перцепционные модели и MDCT (см.ISO/IEC 11172-3, ISO/IEC 13818-7и обзор MDCT здесь). Lossy и lossless могут сосуществовать (PNG для UI, веб-кодеки для изображений/видео/аудио).
Теория Shannon 1948 · Rate–distortion · Кодирование Huffman 1952 · Арифметическое кодирование · Range coding · ANS. Форматы DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · XZ format. Стек BWT Burrows–Wheeler (1994) · руководство bzip2. Медиа JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Итог: подбирайте компрессор под свои данные и ограничения, измеряйте на реальных входах и не забывайте о выгоде словарей и умного фрейминга. С удачной парой получите меньшие файлы, быстрые передачи и отзывчивые приложения без ущерба корректности и переносимости.
Сжатие файлов - это процесс, который уменьшает размер файла или файлов, обычно для экономии места на диске или ускорения передачи по сети.
Сжатие файлов работает путем идентификации и удаления избыточности в данных. Оно использует алгоритмы для кодирования исходных данных в более маленьком пространстве.
Два основных типа сжатия файлов: без потерь и с потерями. Сжатие без потерь позволяет восстановить исходный файл целиком, в то время как сжатие с потерями обеспечивает более значительное уменьшение размера за счет неболь шой потери в качестве данных.
Популярным примером инструмента для сжатия файлов является WinZip, который поддерживает несколько форматов сжатия, включая ZIP и RAR.
При сжатии без потерь качество остается неизменным. Однако при сжатии с потерями может быть заметное снижение качества, поскольку оно удаляет менее важные данные для более значительного уменьшения размера файла.
Да, сжатие файлов безопасно с точки зрения целостности данных, особенно при сжатии без потерь. Однако, как и любые файлы, сжатые файлы могут стать целью для вредоносного ПО или вирусов, поэтому всегда важно иметь надежное программное обеспечение безопасности.
Почти все типы файлов можно сжимать, включая текстовые файлы, изображения, аудио, видео и программные файлы. Однако уровень достижимого сжатия может значительно варьироваться в зависимости от типа файла.
ZIP-файл - это тип формата файла, который использует сжатие без потерь для уменьшения размера одного или нескольких файлов. Несколько файлов в ZIP-файле фактически объединяются в один файл, что также упрощает обмен данными.
Технически, да, хотя дополнительное уменьшение размера может быть минимальным или даже противопродуктивным. Сжатие уже сжатого файла иногда может увеличить его размер из-за метаданных, добавленных алгоритмом сжатия.
Чтобы распаковать файл, обычно вам нужен инструмент для распаковки или разархивации, такой как WinZip или 7-Zip. Эти инструменты могут извлечь исходные файлы из сжатого формата.