O formato de arquivo POSIX, também conhecido como formato 'ar', é um formato de arquivo usado para criar e gerenciar arquivos de biblioteca em sistemas operacionais do tipo Unix. Este formato foi padronizado pelo IEEE na especificação POSIX.1-1988 e, desde então, foi amplamente adotado em várias plataformas. O formato ar permite o agrupamento de vários arquivos em um único arquivo para facilitar o armazenamento, a distribuição e o gerenciamento.
A estrutura de um arquivo POSIX consiste em um cabeçalho global seguido por uma série de membros de arquivo. Cada membro representa um arquivo que foi adicionado ao arquivo. O cabeçalho global é uma string ASCII simples que identifica o arquivo como um arquivo ar. Ele consiste nos caracteres '`!<arch> `', onde '` `' representa um caractere de nova linha. Este cabeçalho está sempre presente no início do arquivo.
Seguindo o cabeçalho global, o arquivo contém uma série de membros de arquivo. Cada membro é composto por um cabeçalho de arquivo e os próprios dados do arquivo. O cabeçalho do arquivo é uma estrutura de tamanho fixo que contém metadados sobre o arquivo, como seu nome, carimbo de data/hora de modificação, IDs de proprietário e grupo, modo de arquivo e tamanho. O cabeçalho é preenchido com espaços para manter um tamanho fixo de 60 bytes.
O cabeçalho do arquivo começa com o nome do arquivo, que é armazenado como uma string ASCII terminada em nulo. O nome do arquivo é limitado a 16 caracteres e, se o nome do arquivo real for maior, ele será truncado. Se o nome do arquivo tiver menos de 16 caracteres, ele será preenchido com espaços. Após o nome do arquivo, o cabeçalho contém o carimbo de data/hora de modificação do arquivo, que é armazenado como uma string ASCII decimal. O carimbo de data/hora representa o número de segundos desde a época do Unix (1º de janeiro de 1970).
Em seguida, o cabeçalho do arquivo inclui os IDs de proprietário e grupo do arquivo, armazenados como strings ASCII decimais. Esses IDs são usados para permissões de arquivo e gerenciamento de propriedade. O modo de arquivo também é armazenado no cabe çalho como uma string ASCII octal, representando as permissões e o tipo do arquivo. O modo indica se o arquivo é um arquivo regular, diretório, link simbólico ou tem alguma permissão especial.
O tamanho do arquivo é armazenado no cabeçalho como uma string ASCII decimal, indicando o número de bytes nos dados do arquivo que seguem o cabeçalho. Se o tamanho do arquivo não for um número par, um byte extra de preenchimento será adicionado aos dados do arquivo para garantir o alinhamento adequado.
Após o cabeçalho do arquivo, os dados reais do arquivo são armazenados no arquivo. Os dados são gravados como estão, sem qualquer formatação ou compactação adicional. Se o tamanho do arquivo for ímpar, um byte extra de preenchimento será adicionado para manter o alinhamento.
O processo de criação de um arquivo ar envolve a concatenação dos cabeçalhos de arquivo e dados de cada arquivo membro em um único arquivo. O utilitário ar, que é comumente encontrado em sistemas do tipo Unix, é usado para criar, modificar e extrair arquivos de arquivos ar. Ao criar um arquivo, o utilitário ar adiciona o cabeçalho global, seguido pelos cabeçalhos de arquivo e dados de cada arquivo membro.
Extrair arquivos de um arquivo ar envolve ler o cabeçalho global para verificar o formato do arquivo e, em seguida, escanear o arquivo para localizar os membros de arquivo desejados. O utilitário ar lê os cabeçalhos de arquivo para determinar os nomes de arquivo, tamanhos e deslocamentos dentro do arquivo. Em seguida, ele extrai os dados do arquivo com base nas informações de tamanho e local armazenadas nos cabeçalhos.
Um dos principais casos de uso para o formato ar é a criação de arquivos de biblioteca estática. Bibliotecas estáticas são coleções de arquivos de objeto que são vinculados diretamente a um executável no momento da compilação. O formato ar permite o agrupamento de vários arquivos de objeto em um único arquivo de biblioteca, que pode então ser vinculado a outros arquivos de objeto ou bibliotecas para criar o executável final.
O formato ar também suporta a criação de arquivos finos, que são arquivos que contêm apenas referências a arquivos externos em vez dos próprios dados do arquivo. Arquivos finos são úteis para reduzir o tamanho do arquivo e permitir um armazenamento e distribuição mais eficientes de grandes coleções de arquivos.
Embora o formato ar seja amplamente usado e suportado, ele tem algumas limitações. O cabeçalho de arquivo de tamanho fixo limita o comprimento dos nomes de arquivo e o tamanho máximo do arquivo que pode ser armazenado no arquivo. Além disso, o formato ar não fornece nenhuma compactação ou criptografia interna, o que pode ser necessário para certos casos de uso.
Apesar de suas limitações, o formato de arquivo POSIX continua sendo um método simples e eficiente para agrupar e gerenciar coleções de arquivos em sistemas do tipo Unix. Sua padronização e ampla adoção o tornam uma escolha confiável para criar bibliotecas estáticas, distribuir pacotes de software e arquivar dados.
Em resumo, o formato de arquivo POSIX é um formato de arquivo usado para criar e gerenciar arquivos de biblioteca em sistemas operacionais do tipo Unix. Ele consiste em um cabeçalho global seguido por uma série de membros de arquivo, cada um contendo um cabeçalho de arquivo e os dados do arquivo. O utilitário ar é usado para criar, modificar e extrair arquivos de arquivos ar, e o formato é comumente usado para criar arquivos de biblioteca estática e agrupar coleções de arquivos. Embora tenha algumas limitações, o formato ar continua sendo um método simples e amplamente suportado para gerenciar arquivos em sistemas do tipo Unix.
A compactação de arquivos reduz redundâncias para que as mesmas informações ocupem menos bits. O limite superior é definido pela teoria da informação: em compactação sem perdas, a fronteira é a entropia da fonte (veja o teorema de codificação de fonte de Shannon teorema de codificação de fonte e seu artigo original de 1948 “A Mathematical Theory of Communication”). Para compactação com perdas, o trade-off entre taxa e qualidade é capturado pela teoria taxa-distorção.
A maioria dos compressores tem duas etapas. Primeiro, um modelo prevê ou expõe estrutura nos dados. Depois, um codificador transforma essas previsões em padrões de bits quase ótimos. Uma família clássica é Lempel–Ziv LZ77 (1977) e LZ78 (1978) detectam substrings repetidas e emitem referências em vez de bytes brutos. Do lado da codificação Huffman (veja o artigo de 1952) dá códigos menores a símbolos mais prováveis. Codificação aritmética e codificação por intervalos chegam ainda mais perto do limite de entropia, enquanto Asymmetric Numeral Systems (ANS) modernos atingem taxas similares com implementações rápidas baseadas em tabelas.
DEFLATE (usado por gzip, zlib e ZIP) combina LZ77 com Huffman. As especificações são públicas: DEFLATE RFC 1951, wrapper zlib RFC 1950e formato gzip RFC 1952. O gzip é moldado para streaming e não tenta fornecer acesso aleatório. PNG padroniza DEFLATE como único método de compressão (janela máxima de 32 KiB) segundo “Compression method 0… deflate/inflate… at most 32768 bytes” e o W3C/ISO PNG 2nd Edition.
Zstandard (zstd): um compressor moderno de uso geral pensado para altas taxas e decompactação muito rápida. O formato está em RFC 8878 (e no espelho HTML) além da especificação de referência no GitHub. Assim como gzip, o frame básico não mira acesso aleatório. Um superpoder do zstd são dicionários: pequenas amostras do seu corpus que reduzem drasticamente muitos arquivos pequenos ou parecidos (consulte a documentação de dicionários do python-zstandard e o exemplo de Nigel Tao). Implementações aceitam dicionários “unstructured” e “structured” (discussão).
Brotli: otimizado para conteúdo web (ex.: fontes WOFF2, HTTP). Mistura um dicionário estático com um núcleo LZ+entropia parecido com DEFLATE. Sua especificação é RFC 7932, que também descreve uma janela 2WBITS−16 com WBITS em [10, 24] (1 KiB−16 B até 16 MiB−16 B) e diz que não fornece acesso aleatório. Brotli costuma superar gzip em texto web e ainda decodifica rápido.
Contêiner ZIP: ZIP é um arquivo que pode armazenar entradas com diversos métodos (deflate, store, zstd etc.). O padrão de fato é o APPNOTE da PKWARE (veja o portal APPNOTE, uma cópia hospedadae os resumos da LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 mira velocidade bruta com razões modestas. Consulte a página do projeto (“extremely fast compression”) e o formato de frame. Ideal para caches em memória, telemetria ou pipelines quentes que exigem decompactação quase na velocidade da RAM.
XZ / LZMA busca densidade (ótimas taxas) com compressão relativamente lenta. XZ é um contêiner; quem faz o serviço pesado é normalmente LZMA/LZMA2 (modelagem tipo LZ77 + range coding). Veja o formato .xz, a especificação LZMA (Pavlov)e notas do kernel Linux sobre XZ Embedded. XZ costuma comprimir melhor que gzip e rivaliza com codecs modernos de alta taxa, porém com tempos de codificação mais longos.
bzip2 usa Transformada de Burrows–Wheeler (BWT), move-to-front, RLE e Huffman. Geralmente gera arquivos menores que gzip, porém mais devagar; veja o manual oficial e as páginas man (Linux).
O “tamanho da janela” importa. Referências DEFLATE olham no máximo 32 KiB para trás (RFC 1951) e o limite de 32 KiB do PNG documentado aqui. Brotli cobre janelas de ~1 KiB a 16 MiB (RFC 7932). Zstd ajusta janela e profundidade de busca pelos níveis (RFC 8878). Streams básicos de gzip/zstd/brotli foram feitos para decodificação sequencial; os formatos não prometem acesso aleatório, embora contêineres (tar com índice, framing em blocos ou índices específicos) possam adicioná-lo.
Os formatos acima são sem perdas: recuperam exatamente os mesmos bytes. Codecs de mídia costumam ser com perdas: descartam detalhes imperceptíveis para atingir taxas mais baixas. Em imagens, o JPEG clássico (DCT, quantização, codificação entropia) é padronizado em ITU-T T.81 / ISO/IEC 10918-1. Em áudio, MP3 (MPEG-1 Layer III) e AAC (MPEG-2/4) usam modelos perceptuais e transformadas MDCT (veja ISO/IEC 11172-3, ISO/IEC 13818-7e a visão geral de MDCT aqui). As abordagens com e sem perdas podem coexistir (ex.: PNG para ativos de UI; codecs web para imagem/vídeo/áudio).
Teoria Shannon 1948 · Rate–distortion · Codificação Huffman 1952 · Codificação aritmética · Range coding · ANS. Formatos DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · Formato XZ. Pilha BWT Burrows–Wheeler (1994) · manual do bzip2. Mídia JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Em resumo: escolha um compressor que combine com seus dados e restrições, meça em entradas reais e não esqueça os ganhos de dicionários e framing inteligente. Com o par certo você obtém arquivos menores, transferências mais rápidas e apps mais responsivos sem sacrificar correção ou portabilidade.
A compressão de arquivos é um processo que reduz o tamanho de um arquivo ou arquivos, normalmente para economizar espaço de armazenamento ou acelerar a transmissão em uma rede.
A compressão de arquivos funciona identificando e removendo redundâncias nos dados. Ela usa algoritmos para codificar os dados originais em um espaço menor.
Os dois principais tipos de compressão de arquivos são a compressão sem perdas e a compressão com perdas. A compressão sem perdas permite que o arquivo original seja perfeitamente restaurado, enquanto a compressão com perdas permite uma redução de tamanho mais significativa com alguma perda de qualidade dos dados.
Um exemplo popular de uma ferramenta de compressão de arquivos é o WinZip, que suporta vários formatos de compressão, incluindo ZIP e RAR.
Com compressão sem perdas, a qualidade permanece inalterada. No entanto, com compressão com perdas, pode haver uma diminuição perceptível na qualidade, pois elimina dados menos importantes para reduzir significativamente o tamanho do arquivo.
Sim, a compressão de arquivos é segura em termos de integridade dos dados, especialmente com compressão sem perdas. No entanto, como qualquer arquivo, os arquivos comprimidos podem ser alvo de malware ou vírus, por isso, é sempre importante ter um software de segurança de boa reputação.
Quase todos os tipos de arquivos podem ser comprimidos, incluindo arquivos de texto, imagens, áudio, vídeo e arquivos de software. No entanto, o nível de compressão alcançável pode variar significativamente entre os tipos de arquivo.
Um arquivo ZIP é um tipo de formato de arquivo que usa compressão sem perdas para reduzir o tamanho de um ou mais arquivos. Vários arquivos em um arquivo ZIP são efetivamente agrupados em um único arquivo, o que também facilita o compartilhamento.
Tecnicamente, sim, embora a redução de tamanho adicional possa ser mínima ou até contraproducente. Comprimir um arquivo já comprimido pode às vezes aumentar seu tamanho devido aos metadados adicionados pelo algoritmo de compressão.
Para descomprimir um arquivo, geralmente você precisa de uma ferramenta de descompressão ou descompactação, como WinZip ou 7-Zip. Essas ferramentas podem extrair os arquivos originais do formato comprimido.