Формат ar (архиватор) — это формат файла, используемый для создания и обработки архивных файлов, которые хранят несколько файлов в одном файле. Он возник в системах Unix и обычно используется в операционных системах на базе BSD. Формат ar — это простой и эффективный способ объединения нескольких файлов для хранения или распространения.
Архивный файл ar состоит из глобального заголовка, за которым следует ряд архивных элементов. Каждый архивный элемент представляет файл, который был сохранен в архиве. Глобальный заголовок — это простой текстовый заголовок, который идентифицирует файл как архив ar и предоставляет основную информацию о версии формата архива.
Глобальный заголовок архива ar начинается со строки подписи "!<arch>\n". За этой подписью следует символ новой строки, который служит для идентификации файла как архива ar. Затем за подписью следует ряд элементов файла, каждый из которых представляет файл, хранящийся в архиве.
Каждый элемент файла в архиве ar состоит из заголовка файла и самих данных файла. Заголовок файла содержит метаданные о файле, такие как его имя, временная метка изменения, идентификаторы владельца и группы, режим файла и размер. Заголовок файла имеет фиксированный размер 60 байт и структурирован следующим образом:
- Имя файла (16 байт): завершающаяся нулем строка, представляющая имя файла. Если имя файла длиннее 15 символов, оно обрезается, и используется специальный символ "/", чтобы указать, что полное имя файла хранится в отдельном элементе файла.
- Временная метка изменения файла (12 байт): десятичное целое число, представляющее временную метку изменения файла в секундах с 1 января 1970 года (эпоха Unix).
- Идентификатор владельца (6 байт): десятичное целое число, представляющее идентификатор пользователя владельца файла.
- Идентификатор группы (6 байт): десятичное целое число, представляющее идентификатор группы группы файла.
- Режим файла (8 байт): восьмеричное целое число, представляющее режим и разрешения файла.
- Размер файла (10 байт): десятичное целое число, представляющее размер файла в байтах.
- Завершающие символ ы (2 байта): два специальных символа, "`\n`" (обратный апостроф, за которым следует новая строка), указывающие на конец заголовка файла.
После заголовка файла хранятся сами данные файла. Размер данных файла определяется размером файла, указанным в заголовке. Если размер файла нечетный, добавляется дополнительный байт заполнения, чтобы обеспечить правильное выравнивание для следующего элемента файла.
Одним из специальных элементов файла в архиве ar является таблица символов, которая имеет имя "/ ". Таблица символов используется для хранения длинных имен файлов, которые превышают ограничение в 15 символов в заголовке файла. Когда имя файла слишком длинное, оно обрезается в заголовке файла, а полное имя хранится в таблице символов. Таблица символов — это специальный элемент файла, который содержит список завершающихся нулем строк, представляющих длинные имена файлов.
Другим специальным элементом файла является элемент длинного имени файла, который имеет имя "/[0-9]+". Этот элемент файла используется вместе с таблицей символов. Когда имя файла слишком длинное, чтобы поместиться в заголовке файла, в таблице символов создается специальная запись в формате "/[смещение]/[длина]", где "смещение" — это смещение байта в элементе длинного имени файла, где хранится полное имя файла, а "длина" — это длина полного имени файла.
Формат ar также поддерживает различные параметры и флаги, которые можно использовать при создании или обработке архивных файлов. Некоторые распространенные параметры включают: - "r": вставить файлы в существующий архив, заменяя любые существующие файлы с тем же именем. - "c": создать новый архивный файл, перезаписав любой существующий файл с тем же именем. - "u": обновить файлы в существующем архиве, добавив новые файлы или заменив более старые версии файлов. - "d": удалить файлы из существующего архива. - "t": перечислить содержимое архива.
Одним из ограничений формата ar является то, что он не поддерживает сжатие. Файлы, хранящиеся в архиве ar, не сжаты и хранятся в исходном формате. Однако архивы ar можно использовать в сочетании с утилитами сжатия, такими как gzip или bzip2, для создания сжатых архивов.
Несмотря на свою простоту, формат ar широ ко используется на протяжении десятилетий и остается стандартным форматом для создания и распространения файлов библиотек в системах Unix и BSD. Многие распространенные утилиты Unix, такие как сама команда "ar", команда "ranlib" для создания таблиц символов и команда "nm" для перечисления символов в объектных файлах, работают с архивами ar.
Подводя итог, формат ar (архиватор) — это простой и эффективный формат файла, используемый для создания и обработки архивных файлов в системах Unix и BSD. Он состоит из глобального заголовка, идентифицирующего архив, за которым следует ряд элементов файла, представляющих файлы, хранящиеся в архиве. Формат ar поддерживает длинные имена файлов с помощью таблицы символов и специальных элементов файла. Хотя он не обеспечивает встроенного сжатия, архивы ar можно комбинировать с утилитами сжатия для создания сжатых архивов. Формат ar широко используется на протяжении десятилетий и остается стандартным форматом для упаковки и распространения файлов в системах Unix и BSD.
Сжатие файлов уменьшает избыточность, чтобы те же данные зан имали меньше бит. Верхняя граница задаётся теорией информации: для без потерь пределом является энтропия источника (см. теорему кодирования источника Шеннона source coding theorem и его оригинальную статью 1948 года «A Mathematical Theory of Communication»). Для сжатия с потерями компромисс между битрейтом и качеством описывает теория rate–distortion.
Большинство компрессоров работают в два этапа. Сначала модель предсказывает или выявляет структуру данных. Затем кодер превращает эти предсказания в почти оптимальные шаблоны битов. Классическая семья моделей — Lempel–Ziv LZ77 (1977) и LZ78 (1978) находят повторяющиеся подстроки и излучают ссылки вместо сырых байтов. На стороне кодирования кодирование Хаффмана (см. статью 1952 года) назначает более короткие коды вероятным символам. Арифметическое кодирование и range coding ещё точнее приближаются к пределу энтропии, а современные Asymmetric Numeral Systems (ANS) дают схожие коэффициенты при табличных реализациях.
DEFLATE (используют gzip, zlib, ZIP) сочетает LZ77 и Хаффмана. Спецификации открыты: DEFLATE RFC 1951, оболочка zlib RFC 1950и формат gzip RFC 1952. Gzip ориентирован на потоковую передачу и явно не обеспечивает произвольный доступ. PNG закрепляет DEFLATE как единственный метод (окно до 32 КиБ) согласно спецификации «Compression method 0…» и W3C/ISO PNG 2nd Edition.
Zstandard (zstd): современный универсальный компрессор с высокими коэффициентами и очень быстрой декомпрессией. Формат описан в RFC 8878 (и HTML-зеркале) и в референс-спеке на GitHub. Как и gzip, базовый фрейм не предполагает произвольного доступа. Главное преимущество zstd — словари: маленькие образцы корпуса, резко улучшающие сжатие множества крошечных или похожих файлов (см.документацию словарей python-zstandard и пример Nigela Tao). Реализации принимают «unstructured» и «structured» словари (обсуждение).
Brotli: оптимизирован для веб-контента (WOFF2, HTTP). Совмещает статический словарь и DEFLATE-подобное ядро LZ+энтропия. Спецификация — RFC 7932, где указано окно 2WBITS−16 с WBITS в [10, 24] и то, что формат не предоставляет произвольный доступ. Brotli часто превосходит gzip на веб-тексте и быстро декодируется.
Контейнер ZIP: ZIP — файловый архив, поддерживающий разные методы (deflate, store, zstd и др.). Де-факто стандарт — APPNOTE PKWARE (см.портал APPNOTE, размещённую копиюи обзоры LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ориентирован на максимальную скорость при умеренных коэффициентах. См. страницу проекта и формат фреймов. П одходит для кэшей в памяти, телеметрии и горячих путей, где декомпрессия должна быть почти со скоростью RAM.
XZ / LZMA гнётся за плотностью (высоким коэффициентом), но компрессует медленнее. XZ — контейнер; основную работу делают LZMA/LZMA2 (моделирование наподобие LZ77 + range coding). См.формат .xz, спецификацию LZMA (Павлов)и заметки ядра Linux про XZ Embedded. XZ обычно сжимает лучше gzip и соперничает с современными кодеками высокой плотности, но кодирует дольше.
bzip2 использует преобразование Бэрроуза–Уилера (BWT), move-to-front, RLE и Хаффмана. Обычно даёт файлы меньше, чем gzip, но медленнее; см.официальный мануал и man-страницу (Linux).
Важен размер окна. Ссылки DEFLATE смотрят максимум на 32 КиБ назад (RFC 1951) и ограничение PNG 32 КиБ здесь. Brotli поддерживает окна от ~1 КиБ до 16 МиБ (RFC 7932). Zstd настраивает окно и глубину поиска уровнями (RFC 8878). Базовые потоки gzip/zstd/brotli спроектированы для последовательного чтения; сами форматы не гарантируют произвольный доступ, хотя контейнеры (индексы tar, блочное фреймирование, форматные индексы) могут его добавить.
Форматы выше — lossless: можно восстановить те же байты. Медиа-кодеки часто lossy: они отбрасывают незаметные детали ради меньших битрейтов. Для изображений классический JPEG (DCT, квантование, энтропийное кодирование) стандартизован в ITU-T T.81 / ISO/IEC 10918-1. В аудио MP3 (MPEG-1 Layer III) и AAC (MPEG-2/4) используют перцепционные модели и MDCT (см.ISO/IEC 11172-3, ISO/IEC 13818-7и обзор MDCT здесь). Lossy и lossless могут сосуществовать (PNG для UI, веб-кодеки для изображений/видео/аудио).
Теория Shannon 1948 · Rate–distortion · Кодирование Huffman 1952 · Арифметическое кодирование · Range coding · ANS. Форматы DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · XZ format. Стек BWT Burrows–Wheeler (1994) · руководство bzip2. Медиа JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Итог: подбирайте компрессор под свои данные и ограничения, измеряйте на реальных входах и не забывайте о выгоде словарей и умного фрейминга. С удачной парой получите меньшие файлы, быстрые передачи и отзывчивые приложения без ущерба корректности и переносимости.
Сжатие файлов - это процесс, который уменьшает размер файла или файлов, обычно для экономии места на диске или ускорения передачи по сети.
Сжатие файлов работает путем идентификации и удаления избыточности в данных. Оно использует алгоритмы для кодирования исходных данных в более маленьком пространстве.
Два основных типа сжатия файлов: без потерь и с потерями. Сжатие без потерь позволяет восстановить исходный файл целиком, в то время как сжатие с потерями обеспечивает более значительное уменьшение размера за счет небольшой потери в качестве данных.
Популярным примером инструмента для сжатия файлов является WinZip, который поддерживает несколько форматов сжатия, включая ZIP и RAR.
При сжатии без потерь качество остается неизменным. Однако при сжатии с потерями может быть заметное снижение качества, поскольку оно удаляет менее важные данные для более значительного уменьшения размера файла.
Да, сжатие файлов безопасно с точки зрения целостности данных, особенно при сжатии без потерь. Однако, как и любые файлы, сжатые файлы могут стать целью для вредоносного ПО или вирусов, поэтому всегда важно иметь надежное программное обеспечение безопасности.
Почти все типы файлов можно сжимать, включая текстовые файлы, изображения, аудио, видео и программные файлы. Однако уровень достижимого сжатия может значительно варьироваться в зависимости от типа файла.
ZIP-файл - это тип формата файла, который использует сжатие без потерь для уменьшения размера одного или нескольких файлов. Несколько файлов в ZIP-файле фактически объединяются в один файл, что также упрощает обмен данными.
Технически, да, хотя дополнительное уменьшение размера может быть минимальным или даже противопродуктивным. Сжатие уже сжатого файла иногда может увеличить его размер из-за метаданных, добавленных алгоритмом сжатия.
Чтобы распаковать файл, обычно вам нужен инструмент для распаковки или разархивации, такой как WinZip или 7-Zip. Эти инструменты могут извлечь исходные файлы из сжатого формата.