O ZSTD, abreviação de Zstandard, é um algoritmo de compressão sem perdas rápido e eficiente e um formato de arquivo desenvolvido por Yann Collet no Facebook. Ele foi projetado para fornecer altas taxas de compressão, mantendo velocidades rápidas de compressão e descompressão, tornando-o adequado para cenários de compressão em tempo real e compressão de grandes conjuntos de dados.
O formato ZSTD é baseado em uma combinação de um estágio de entropia rápido e um estágio de compressão sem perdas poderoso. O estágio de entropia usa codificação de entropia de estado finito (FSE) e Huffman, enquanto o estágio de compressão sem perdas emprega uma variante do algoritmo LZ77 chamada Compressão de Dicionário Zstandard (ZDIC).
Um dos principais recursos do ZSTD é sua capacidade de criar e utilizar um dicionário durante a compressão. O dicionário é um conjunto de dados pré-compartilhados que tanto o compressor quanto o descompactador usam para melhorar as taxas de compressão. O ZSTD suporta dois tipos de dicionários: dicionários definidos por conteúdo e dicionários fornecidos pelo usuário.
Os dicionários definidos por conteúdo são gerados automaticamente pelo compressor ZSTD com base nos dados de entrada. O compressor analisa os dados para identificar padrões recorrentes e constrói um dicionário que representa esses padrões. O dicionário é então usado durante a compressão para substituir os padrões recorrentes por referências ao dicionário, resultando em taxas de compressão mais altas.
Os dicionários fornecidos pelo usuário, por outro lado, são criados pelo usuário e podem ser compartilhados entre vários arquivos compactados. Esses dicionários são úteis ao compactar dados semelhantes ou relacionados, pois permitem que o compressor aproveite o conhecimento pré-existente dos padrões de dados. Os dicionários fornecidos pelo usuário podem melhorar significativamente as taxas de compressão, especialmente para arquivos pequenos ou arquivos com estruturas de dados comuns.
O ZSTD suporta vários níveis de compressão, variando de 1 a 22, com níveis mais altos oferecendo melhores taxas de compressão ao custo de uma velocidade de compressão mais lenta. O nível de compressão padrão é 3, que fornece um bom equilíbrio entre taxa de compressão e velocidade. O ZSTD também inclui um nível de compressão especial chamado "ultra", que oferece a maior taxa de compressão, mas com um aumento significativo no tempo de compressão.
O formato ZSTD consiste em um cabeçalho seguido por um ou mais quadros compactados. O cabeçalho contém metadados sobre os dados compactados, como o ID do dicionário, o tamanho da janela e a contagem de quadros. Cada quadro compactado é independente e pode ser descompactado separadamente, permitindo a descompactação paralela e acesso aleatório aos dados compactados.
Os quadros compactados no ZSTD usam uma combinação de blocos literais e blocos de sequência. Os blocos literais contêm dados brutos e descompactados, enquanto os blocos de sequência contêm referências ao dicionário ou dados vistos anteriormente. Os blocos de sequência são codificados usando codificação FSE ou Huffman para minimizar o tamanho das referências.
O ZSTD emprega várias técnicas para melhorar a eficiência e a velocidade da compressão. Uma dessas técnicas é o uso de uma tabela hash para localizar rapidamente sequências correspondentes no dicionário ou dados vistos anteriormente. A tabela hash é continuamente atualizada à medida que o compressor processa os dados de entrada, permitindo uma pesquisa eficiente de correspondências potenciais.
Outra técnica de otimização usada pelo ZSTD é a estratégia de correspondência lenta. Em vez de codificar imediatamente uma correspondência, o compressor continua procurando por correspondências mais longas. Se uma correspondência mais longa for encontrada, o compressor pode optar por codificar a correspondência mais longa, resultando em melhores taxas de compressão.
O ZSTD também inclui um modo rápido chamado "correspondência de longa distância" (LDM), que permite a detecção de correspondências de longa distância. O LDM usa uma tabela hash secundária para armazenar correspondências que estão muito distantes nos dados de entrada. Ao considerar essas correspondências de longa distância, o ZSTD pode melhorar as taxas de compressão para certos tipos de dados, como dados altamente repetitivos ou periódicos.
Além de seus recursos de compressão, o ZSTD também fornece detecção e correção de erros por meio do uso de somas de verificação. Cada quadro compactado inclui uma soma de verificação dos dados descompactados, permitindo que o descompactador verifique a integridade dos dados durante a descompactação. Se um erro for detectado, o ZSTD pode tentar se recuperar dele descartando o quadro corrompido e continuando com o próximo quadro.
O ZSTD ganhou ampla adoção devido ao seu desempenho e flexibilidade impressionantes. Ele é usado em vários aplicativos, incluindo sistemas de armazenamento de dados, mecanismos de banco de dados, soluções de backup e protocolos de transferência de dados. Muitos formatos de arquivo populares, como Zstandard Archive (ZSTD), Zstandard Seekable Format (ZST) e Zstandard Dictionary Format (ZDICT), são baseados na compressão ZSTD.
Uma das vantagens do ZSTD é sua compatibilidade com uma ampla gama de plataformas e linguagens de programação. A implementação de referência do ZSTD é escrita em C e é altamente portátil, permitindo que seja usada em vários sistemas operacionais e arquiteturas. Além disso, existem várias ligações e portas do ZSTD disponíveis para diferentes linguagens de programação, tornando fácil integrar a compressão ZSTD em aplicativos existentes.
O ZSTD também fornece uma ferramenta de interface de linha de comando (CLI) que permite aos usuários compactar e descompactar arquivos usando ZSTD. A ferramenta CLI suporta várias opções e parâmetros, como definir o nível de compressão, especificar o dicionário e ajustar o uso de memória. A ferramenta CLI é particularmente útil para compactar e descompactar arquivos em lote ou ambientes com script.
Em resumo, o ZSTD é um algoritmo de compressão e formato de arquivo altamente eficiente e versátil que oferece velocidades rápidas de compressão e descompressão, altas taxas de compressão e a capacidade de utilizar dicionários para melhorar o desempenho. Sua combinação de velocidade e eficiência de compressão o torna adequado para uma ampla gama de aplicativos, desde compressão em tempo real até compressão de grandes conjuntos de dados. Com seu amplo conjunto de recursos, compatibilidade de plataforma e adoção crescente, o ZSTD se tornou uma escolha popular para compressão de dados em vários domínios.
A compactação de arquivos reduz redundâncias para que as mesmas informações ocupem menos bits. O limite superior é definido pela teoria da informação: em compactação sem perdas, a fronteira é a entropia da fonte (veja o teorema de codificação de fonte de Shannon teorema de codificação de fonte e seu artigo original de 1948 “A Mathematical Theory of Communication”). Para compactação com perdas, o trade-off entre taxa e qualidade é capturado pela teoria taxa-distorção.
A maioria dos compressores tem duas etapas. Primeiro, um modelo prevê ou expõe estrutura nos dados. Depois, um codificador transforma essas previsões em padrões de bits quase ótimos. Uma família clássica é Lempel–Ziv LZ77 (1977) e LZ78 (1978) detectam substrings repetidas e emitem referências em vez de bytes brutos. Do lado da codificação Huffman (veja o artigo de 1952) dá códigos menores a símbolos mais prováveis. Codificação aritmética e codificação por intervalos chegam ainda mais perto do limite de entropia, enquanto Asymmetric Numeral Systems (ANS) modernos atingem taxas similares com implementações rápidas baseadas em tabelas.
DEFLATE (usado por gzip, zlib e ZIP) combina LZ77 com Huffman. As especificações são públicas: DEFLATE RFC 1951, wrapper zlib RFC 1950e formato gzip RFC 1952. O gzip é moldado para streaming e não tenta fornecer acesso aleatório. PNG padroniza DEFLATE como único método de compressão (janela máxima de 32 KiB) segundo “Compression method 0… deflate/inflate… at most 32768 bytes” e o W3C/ISO PNG 2nd Edition.
Zstandard (zstd): um compressor moderno de uso geral pensado para altas taxas e decompactação muito rápida. O formato está em RFC 8878 (e no espelho HTML) além da especificação de referência no GitHub. Assim como gzip, o frame básico não mira acesso aleatório. Um superpoder do zstd são dicionários: pequenas amostras do seu corpus que reduzem drasticamente muitos arquivos pequenos ou parecidos (consulte a documentação de dicionários do python-zstandard e o exemplo de Nigel Tao). Implementações aceitam dicionários “unstructured” e “structured” (discussão).
Brotli: otimizado para conteúdo web (ex.: fontes WOFF2, HTTP). Mistura um dicionário estático com um núcleo LZ+entropia parecido com DEFLATE. Sua especificação é RFC 7932, que também descreve uma janela 2WBITS−16 com WBITS em [10, 24] (1 KiB−16 B até 16 MiB−16 B) e diz que não fornece acesso aleatório. Brotli costuma superar gzip em texto web e ainda decodifica rápido.
Contêiner ZIP: ZIP é um arquivo que pode armazenar entradas com diversos métodos (deflate, store, zstd etc.). O padrão de fato é o APPNOTE da PKWARE (veja o portal APPNOTE, uma cópia hospedadae os resumos da LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 mira velocidade bruta com razões modestas. Consulte a página do projeto (“extremely fast compression”) e o formato de frame. Ideal para caches em memória, telemetria ou pipelines quentes que exigem decompactação quase na velocidade da RAM.
XZ / LZMA busca densidade (ótimas taxas) com compressão relativamente lenta. XZ é um contêiner; quem faz o serviço pesado é normalmente LZMA/LZMA2 (modelagem tipo LZ77 + range coding). Veja o formato .xz, a especificação LZMA (Pavlov)e notas do kernel Linux sobre XZ Embedded. XZ costuma comprimir melhor que gzip e rivaliza com codecs modernos de alta taxa, porém com tempos de codificação mais longos.
bzip2 usa Transformada de Burrows–Wheeler (BWT), move-to-front, RLE e Huffman. Geralmente gera arquivos menores que gzip, porém mais devagar; veja o manual oficial e as páginas man (Linux).
O “tamanho da janela” importa. Referências DEFLATE olham no máximo 32 KiB para trás (RFC 1951) e o limite de 32 KiB do PNG documentado aqui. Brotli cobre janelas de ~1 KiB a 16 MiB (RFC 7932). Zstd ajusta janela e profundidade de busca pelos níveis (RFC 8878). Streams básicos de gzip/zstd/brotli foram feitos para decodificação sequencial; os formatos não prometem acesso aleatório, embora cont êineres (tar com índice, framing em blocos ou índices específicos) possam adicioná-lo.
Os formatos acima são sem perdas: recuperam exatamente os mesmos bytes. Codecs de mídia costumam ser com perdas: descartam detalhes imperceptíveis para atingir taxas mais baixas. Em imagens, o JPEG clássico (DCT, quantização, codificação entropia) é padronizado em ITU-T T.81 / ISO/IEC 10918-1. Em áudio, MP3 (MPEG-1 Layer III) e AAC (MPEG-2/4) usam modelos perceptuais e transformadas MDCT (veja ISO/IEC 11172-3, ISO/IEC 13818-7e a visão geral de MDCT aqui). As abordagens com e sem perdas podem coexistir (ex.: PNG para ativos de UI; codecs web para imagem/vídeo/áudio).
Teoria Shannon 1948 · Rate–distortion · Codificação Huffman 1952 · Codificação aritmética · Range coding · ANS. Formatos DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · Formato XZ. Pilha BWT Burrows–Wheeler (1994) · manual do bzip2. Mídia JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Em resumo: escolha um compressor que combine com seus dados e restrições, meça em entradas reais e não esqueça os ganhos de dicionários e framing inteligente. Com o par certo você obtém arquivos menores, transferências mais rápidas e apps mais responsivos sem sacrificar correção ou portabilidade.
A compressão de arquivos é um processo que reduz o tamanho de um arquivo ou arquivos, normalmente para economizar espaço de armazenamento ou acelerar a transmissão em uma rede.
A compressão de arquivos funciona identificando e removendo redundâncias nos dados. Ela usa algoritmos para codificar os dados originais em um espaço menor.
Os dois principais tipos de compressão de arquivos são a compressão sem perdas e a compressão com perdas. A compressão sem perdas permite que o arquivo original seja perfeitamente restaurado, enquanto a compressão com perdas permite uma redução de tamanho mais significativa com alguma perda de qualidade dos dados.
Um exemplo popular de uma ferramenta de compressão de arquivos é o WinZip, que suporta vários formatos de compressão, incluindo ZIP e RAR.
Com compressão sem perdas, a qualidade permanece inalterada. No entanto, com compressão com perdas, pode haver uma diminuição perceptível na qualidade, pois elimina dados menos importantes para reduzir significativamente o tamanho do arquivo.
Sim, a compressão de arquivos é segura em termos de integridade dos dados, especialmente com compressão sem perdas. No entanto, como qualquer arquivo, os arquivos comprimidos podem ser alvo de malware ou vírus, por isso, é sempre importante ter um software de segurança de boa reputação.
Quase todos os tipos de arquivos podem ser comprimidos, incluindo arquivos de texto, imagens, áudio, vídeo e arquivos de software. No entanto, o nível de compressão alcançável pode variar significativamente entre os tipos de arquivo.
Um arquivo ZIP é um tipo de formato de arquivo que usa compressão sem perdas para reduzir o tamanho de um ou mais arquivos. Vários arquivos em um arquivo ZIP são efetivamente agrupados em um único arquivo, o que também facilita o compartilhamento.
Tecnicamente, sim, embora a redução de tamanho adicional possa ser mínima ou até contraproducente. Comprimir um arquivo já comprimido pode às vezes aumentar seu tamanho devido aos metadados adicionados pelo algoritmo de compressão.
Para descomprimir um arquivo, geralmente você precisa de uma ferramenta de descompressão ou descompactação, como WinZip ou 7-Zip. Essas ferramentas podem extrair os arquivos originais do formato comprimido.