Формат архива POSIX, также известный как формат «ar», представляет собой формат файла, используемый для создания и управления архивными библиотеками в операционных системах типа Unix. Этот формат был стандартизирован IEEE в спецификации POSIX.1-1988 и с тех пор широко используется на различных платформах. Формат ar позволяет объединять несколько файлов в один файл для более удобного хранения, распространения и управления.
Структура архива POSIX состоит из глобального заголовка, за которым следует ряд элементов архива. Каждый элемент представляет файл, который был добавлен в архив. Глобальный заголовок — это простая строка ASCII, которая идентифицирует файл как архив ar. Он состоит из символов «!<arch>\n», где «\n» представляет символ новой строки. Этот заголовок всегда присутствует в начале архивного файла.
После глобального заголовка архив содержит ряд элементов файла. Каждый элемент состоит из заголовка файла и самих данных файла. Заголовок файла — это структура фиксированного размера, которая содержит метаданные о файле, такие как его имя, временная метка изменения, идентификаторы владельца и группы, режим файла и размер. Заголовок дополняется пробелами для поддержания фиксированного размера в 60 байт.
Заголовок файла начинается с имени файла, которое хранится как завершающаяся нулем строка ASCII. Имя файла ограничено 16 символами, и если фактическое имя файла длиннее, оно усекается. Если имя файла короче 16 символов, оно дополняется пробелами. После имени файла заголовок содержит временную метку изменения файла, которая хранится как десятичная строка ASCII. Временная метка представляет собой количество секунд с момента начала эпохи Unix (1 января 1970 года).
Далее в заголовке файла указываются идентификаторы владельца и группы файла, которые хранятся как десятичные строки ASCII. Эти идентификаторы используются для управления разрешениями и правами собственности на файлы. Режим файла также хранится в заголовке как восьмеричная строка ASCII, представляющая разрешения и тип файла. Режим указывает, является ли файл обычным файлом, каталогом, символической ссылкой или имеет какие-либо специальные разрешения.
Размер файла хранится в заголовке как десятичная строка ASCII, указывающая количество байтов в данных файла, следующих за заголовком. Если размер файла не является четным числом, к данным файла добавляется дополнительный байт заполнения для обеспечения правильного выравнивания.
После заголовка файла в архиве хранятся фактические данные файла. Данные записываются как есть, без дополнительного форматирования или сжатия. Если размер файла нечетный, добавляется дополнительный байт заполнения для поддержания выравнивания.
Процесс создания архива ar включает объединение заголовков файлов и данных каждого файла-члена в один архивный файл. Утилита ar, которая обычно встречается в системах типа Unix, используется для создания, изменения и извлечения файлов из архивов ar. При создании архива утилита ar добавляет глобальный заголовок, за которым следуют заголовки файлов и данные каждого файла-члена.
Извлечение файлов из архива ar включает чтение глобального заголовка для проверки формата архива, а затем сканирование архива для поиска нужных файлов-членов. Утилита ar считывает заголовки файлов, чтобы определить имена файлов, размеры и смещения в архиве. Затем он извлекает данные файла на основе информации о размере и местоположении, хранящейся в заголовках.
Одним из основных вариантов использования формата ar является создание статических архивных библиотек. Статические библиотеки представляют собой коллекции объектных файлов, которые напрямую связываются с исполняемым файлом во время компиляции. Формат ar позволяет объединять несколько объектных файлов в один файл библиотеки, который затем можно связать с другими объектами. файлы или библиотеки для создания окончательного исполняемого файла.
Формат ar также поддерживает создание тонких архивов, которые представляют собой архивы, содержащие только ссылки на внешние файлы, а не сами данные файла. Тонкие архивы полезны для уменьшения размера архивного файла и обеспечения более эффективного хранения и распространения больших коллекций файлов.
Хотя формат ar широко используется и поддерживается, у него есть некоторые ограничения. Заголовок файла фиксированного размера ограничивает длину имен файлов и максимальный размер файла, который может храниться в архиве. Кроме того, формат ar не обеспечивает встроенного сжатия или шифрования, что может быть необходимо для определенных вариантов использования.
Несмотря на свои ограничения, формат архива POSIX остается простым и эффективным методом объединения и управления коллекциями файлов в системах типа Unix. Его стандартизация и широкое распространение делают его надежным выбором для создания статических библиотек, распространения программных пакетов и архивирования данных.
Подводя итог, формат архива POSIX — это формат файла, используемый для создания и управления архивными библиотеками в операционных системах типа Unix. Он состоит из глобального заголовка, за которым следует ряд элементов файла, каждый из которых содержит заголовок файла и данные файла. Утилита ar используется для создания, изменения и извлечения файлов из архивов ar, и этот формат обычно используется для создания статических архивных библиотек и объединения коллекций файлов. Несмотря на некоторые ограничения, формат ar остается простым и широко поддерживаемым методом управления файлами в системах типа Unix.
Сжатие файлов уменьшает избыточность, чтобы те же данные занимали меньше бит. Верхняя граница задаётся теорией информации: для без потерь пределом является энтропия источника (см. теорему кодирования источника Шеннона source coding theorem и его оригинальную статью 1948 года «A Mathematical Theory of Communication»). Для сжатия с потерями компромисс между битрейтом и качеством описывает теория rate–distortion.
Большинство компрессоров работают в два этапа. Сначала модель предсказывает или выявляет структуру данных. Затем кодер превращает эти предсказания в почти оптимальные шаблоны битов. Классическая семья моделей — Lempel–Ziv LZ77 (1977) и LZ78 (1978) находят повторяющиеся подстроки и излучают ссылки вместо сырых байтов. На стороне кодирования кодирование Хаффмана (см. статью 1952 года) назначает более короткие коды вероятным символам. Арифметическое кодирование и range coding ещё точнее приближаются к пределу энтропии, а современные Asymmetric Numeral Systems (ANS) дают схожие коэффициенты при табличных реализациях.
DEFLATE (используют gzip, zlib, ZIP) сочетает LZ77 и Хаффмана. Спецификации открыты: DEFLATE RFC 1951, оболочка zlib RFC 1950и формат gzip RFC 1952. Gzip ориентирован на потоковую передачу и явно не обеспечивает произвольный доступ. PNG закрепляет DEFLATE как единственный метод (окно до 32 КиБ) согласно спецификации «Compression method 0…» и W3C/ISO PNG 2nd Edition.
Zstandard (zstd): современный универсальный компрессор с высокими коэффициентами и очень быстрой декомпрессией. Формат описан в RFC 8878 (и HTML-зеркале) и в референс-спеке на GitHub. Как и gzip, базовый фрейм не предполагает произвольного доступа. Главное преимущество zstd — словари: маленькие образцы корпуса, резко улучшающие сжатие множества крошечных или похожих файлов (см.документацию словарей python-zstandard и пример Nigela Tao). Реализации принимают «unstructured» и «structured» словари (обсуждение).
Brotli: оптимизирован для веб-контента (WOFF2, HTTP). Совмещает статический словарь и DEFLATE-подобное ядро LZ+энтропия. Спецификация — RFC 7932, где указано окно 2WBITS−16 с WBITS в [10, 24] и то, что формат не предоставляет произвольный доступ. Brotli часто превосходит gzip на веб-тексте и быстро декодируется.
Контейнер ZIP: ZIP — файловый архив, поддерживающий разные методы (deflate, store, zstd и др.). Де-факто стандарт — APPNOTE PKWARE (см.портал APPNOTE, размещённую копиюи обзоры LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ориентирован на максимальную скорость при умеренных коэффициентах. См. страницу проекта и формат фреймов. Подходит для кэшей в памяти, телеметрии и горячих путей, где декомпрессия должна быть почти со скоростью RAM.
XZ / LZMA гнётся за плотностью (высоким коэффициентом), но компрессует медленнее. XZ — контейнер; основную работу делают LZMA/LZMA2 (моделирование наподобие LZ77 + range coding). См.формат .xz, спецификацию LZMA (Павлов)и заметки ядра Linux про XZ Embedded. XZ обычно сжимает лучше gzip и соперничает с современными кодеками высокой плотности, но кодирует дольше.
bzip2 использует преобразование Бэрроуза–Уилера (BWT), move-to-front, RLE и Хаффмана. Обычно даёт файлы меньше, чем gzip, но медленнее; см.официальный мануал и man-страницу (Linux).
Важен размер окна. Ссылки DEFLATE смотрят максимум на 32 КиБ назад (RFC 1951) и ограничение PNG 32 КиБ здесь. Brotli поддерживает окна от ~1 КиБ до 16 МиБ (RFC 7932). Zstd настраивает окно и глубину поиска уровнями (RFC 8878). Базовые потоки gzip/zstd/brotli спроектированы для последовательного чтения; сами форматы не гарантируют произвольный доступ, хотя контейнеры (индексы tar, блочное фреймирование, форматные индексы) могут его добавить.
Форматы выше — lossless: можно восстановить те же байты. Медиа-кодеки часто lossy: они отбрасывают незаметные детали ради меньших битрейтов. Для изображений классический JPEG (DCT, квантование, энтропийное кодирование) стандартизован в ITU-T T.81 / ISO/IEC 10918-1. В аудио MP3 (MPEG-1 Layer III) и AAC (MPEG-2/4) используют перцепционные модели и MDCT (см.ISO/IEC 11172-3, ISO/IEC 13818-7и обзор MDCT здесь). Lossy и lossless могут сосуществовать (PNG для UI, веб-кодеки для изображений/видео/аудио).
Теория Shannon 1948 · Rate–distortion · Кодирование Huffman 1952 · Арифметическое кодирование · Range coding · ANS. Форматы DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · XZ format. Стек BWT Burrows–Wheeler (1994) · руководство bzip2. Медиа JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Итог: подбирайте компрессор под свои данные и ограничения, измеряйте на реальных входах и не забывайте о выгоде словарей и умного фрейминга. С удачной парой получите меньшие файлы, быстрые передачи и отзывчивые приложения без ущерба корректности и переносимости.
Сжатие файлов - это процесс, который уменьшает размер файла или файлов, обычно для экономии места на диске или ускорения передачи по сети.
Сжатие файлов работает путем идентификации и удаления избыточности в данных. Оно использует алгоритмы для кодирования исходных данных в более маленьком пространстве.
Два основных типа сжатия файлов: без потерь и с потерями. Сжатие без потерь позволяет восстановить исходный файл целиком, в то время как сжатие с потерями обеспечивает более значительное уменьшение размера за счет небольшой потери в качестве данных.
Популярным примером инструмента для сжатия файлов является WinZip, который поддерживает несколько форматов сжатия, включая ZIP и RAR.
При сжатии без потерь качество остается неизменным. Однако при сжатии с потерями может быть заметное снижение качества, поскольку оно удаляет менее важные данные для более значительного уменьшения размера файла.
Да, сжатие файлов безопасно с точки зрения целостности данных, особенно при сжатии без потерь. Однако, как и любые файлы, сжатые файлы могут стать целью для вредоносного ПО или вирусов, поэтому всегда важно иметь надежное программное обеспечение безопасности.
Почти все типы файлов можно сжимать, включая текстовые файлы, изображения, аудио, видео и программные файлы. Однако уровень достижимого сжатия может значительно варьироваться в зависимости от типа файла.
ZIP-файл - это тип формата файла, который использует сжатие без потерь для уменьшения размера одного или нескольких файлов. Несколько файлов в ZIP-файле фактически объединяются в один файл, что также упрощает обмен данными.
Технически, да, хотя дополнительное уменьшение размера может быть минимальным или даже противопродуктивным. Сжатие уже сжатого файла иногда может увеличить его размер из-за метаданных, добавленных алгоритмом сжатия.
Чтобы распаковать файл, обычно вам нужен инструмент для распаковки или разархивации, такой как WinZip или 7-Zip. Эти инструменты могут извлечь исходные файлы из сжатого формата.