ZSTD, abréviation de Zstandard, est un algorithme de compression sans perte rapide et efficace et un format de fichier développé par Yann Collet chez Facebook. Il est conçu pour fournir des taux de compression élevés tout en maintenant des vitesses de compression et de décompression rapides, ce qui le rend adapté aux scénarios de compression en temps réel et à la compression de grands ensembles de données.
Le format ZSTD est basé sur une combinaison d'une étape d'entropie rapide et d'une étape de compression sans perte puissante. L'étape d'entropie utilise le codage d'entropie à états finis (FSE) et le codage de Huffman, tandis que l'étape de compression sans perte utilise une variante de l'algorithme LZ77 appelée compression de dictionnaire Zstandard (ZDIC).
L'une des principales caractéristiques de ZSTD est sa capacité à créer et à utiliser un dictionnaire pendant la compression. Le dictionnaire est un ensemble de données pré-partagé que le compresseur et le décompresseur utilisent pour améliorer les taux de compression. ZSTD prend en charge deux types de dictionnaires : les dictionnaires définis par le contenu et les dictionnaires fournis par l'utilisateur.
Les dictionnaires définis par le contenu sont automatiquement générés par le compresseur ZSTD en fonction des données d'entrée. Le compresseur analyse les données pour identifier les motifs récurrents et construit un dictionnaire qui représente ces motifs. Le dictionnaire est ensuite utilisé pendant la compression pour remplacer les motifs récurrents par des références au dictionnaire, ce qui entraîne des taux de compression plus élevés.
Les dictionnaires fournis par l'utilisateur, en revanche, sont créés par l'utilisateur et peuvent être partagés entre plusieurs fichiers compressés. Ces dictionnaires sont utiles lors de la compression de données similaires ou liées, car ils permettent au compresseur d'exploiter les connaissances préexistantes des modèles de données. Les dictionnaires fournis par l'utilisateur peuvent améliorer considérablement les taux de compression, en particulier pour les petits fichiers ou les fichiers avec des structures de données communes.
ZSTD prend en charge plusieurs niveaux de compression, allant de 1 à 22, les niveaux plus élevés offrant de meilleurs taux de compression au prix d'une vitesse de compression plus lente. Le niveau de compression par défaut est 3, qui offre un bon équilibre entre le taux de compression et la vitesse. ZSTD inclut également un niveau de compression spécial appelé « ultra », qui offre le taux de compression le plus élevé mais avec une augmentation significative du temps de compression.
Le format ZSTD se compose d'un en-tête suivi d'une ou plusieurs trames compressées. L'en-tête contient des métadonnées sur les données compressées, telles que l'ID du dictionnaire, la taille de la fenêtre et le nombre de trames. Chaque trame compressée est indépendante et peut être décompressée séparément, ce qui permet une décompression parallèle et un accès aléatoire aux données compressées.
Les trames compressées dans ZSTD utilisent une combinaison de blocs littéraux et de blocs de séquence. Les blocs littéraux contiennent des données brutes non compressées, tandis que les blocs de séquence contiennent des références au dictionnaire ou à des données précédemment vues. Les blocs de séquence sont encodés à l'aide du codage FSE ou Huffman pour minimiser la taille des références.
ZSTD utilise plusieurs techniques pour améliorer l'efficacité et la vitesse de compression. L'une de ces techniques est l'utilisation d'une table de hachage pour localiser rapidement les séquences correspondantes dans le dictionnaire ou les données précédemment vues. La table de hachage est continuellement mise à jour lorsque le compresseur traite les données d'entrée, ce qui permet une recherche efficace des correspondances potentielles.
Une autre technique d'optimisation utilisée par ZSTD est la stratégie de correspondance paresseuse. Au lieu d'encoder immédiatement une correspondance, le compresseur continue à rechercher des correspondances plus longues. Si une correspondance plus longue est trouvée, le compresseur peut choisir d'encoder la correspondance plus longue à la place, ce qui entraîne de meilleurs taux de compression.
ZSTD inclut également un mode rapide appelé « appariement longue distance » (LDM), qui permet la détection d'appariements longue distance. LDM utilise une table de hachage secondaire pour stocker les correspondances qui sont très éloignées dans les données d'entrée. En tenant compte de ces correspondances longue distance, ZSTD peut améliorer les taux de compression pour certains types de données, telles que les données très répétitives ou périodiques.
En plus de ses capacités de compression, ZSTD fournit également la détection et la correction d'erreurs grâce à l'utilisation de sommes de contrôle. Chaque trame compressée inclut une somme de contrôle des données non compressées, permettant au décompresseur de vérifier l'intégrité des données pendant la décompression. Si une erreur est détectée, ZSTD peut tenter de la récupérer en supprimant la trame corrompue et en continuant avec la trame suivante.
ZSTD a été largement adopté en raison de ses performances et de sa flexibilité impressionnantes. Il est utilisé dans diverses applications, notamment les systèmes de stockage de données, les moteurs de base de données, les solutions de sauvegarde et les protocoles de transfert de données. De nombreux formats de fichiers populaires, tels que Zstandard Archive (ZSTD), Zstandard Seekable Format (ZST) et Zstandard Dictionary Format (ZDICT), sont basés sur la compression ZSTD.
L'un des avantages de ZSTD est sa compatibilité avec une large gamme de plates-formes et de langages de programmation. L'implémentation de référence de ZSTD est écrite en C et est hautement portable, ce qui lui permet d'être utilisée sur divers systèmes d'exploitation et architectures. De plus, de nombreuses liaisons et ports de ZSTD sont disponibles pour différents langages de programmation, ce qui facilite l'intégration de la compression ZSTD dans les applications existantes.
ZSTD fournit également un outil d'interface de ligne de commande (CLI) qui permet aux utilisateurs de compresser et de décompresser des fichiers à l'aide de ZSTD. L'outil CLI prend en charge diverses options et paramètres, tels que la définition du niveau de compression, la spécification du dictionnaire et l'ajustement de l'utilisation de la mémoire. L'outil CLI est particulièrement utile pour compresser et décompresser des fichiers en batch ou dans des environnements scriptés.
En résumé, ZSTD est un algorithme de compression et un format de fichier très efficaces et polyvalents qui offrent des vitesses de compression et de décompression rapides, des taux de compression élevés et la possibilité d'utiliser des dictionnaires pour améliorer les performances. Sa combinaison de vitesse et d'efficacité de compression le rend adapté à une large gamme d'applications, de la compression en temps réel à la compression de grands ensembles de données. Avec son ensemble de fonctionnalités étendu, sa compatibilité avec les plates-formes et son adoption croissante, ZSTD est devenu un choix populaire pour la compression de données dans divers domaines.
La compression de fichiers réduit la redondance afin que la même information prenne moins de bits. La limite supérieure de ce que vous pouvez faire est régie par la théorie de l'information : pour la compression sans perte, la limite est l'entropie de la source (voir le théorème de codage de source et son article original de 1948 « Une théorie mathématique de la communication »). Pour la compression avec perte, le compromis entre le débit et la qualité est capturé par la théorie du débit-distorsion.
La plupart des compresseurs ont deux étapes. Premièrement, un modèle prédit ou expose la structure des données. Deuxièmement, un codeur transforme ces prédictions en modèles de bits quasi optimaux. Une famille de modélisation classique est Lempel-Ziv : LZ77 (1977) et LZ78 (1978) détectent les sous-chaînes répétées et émettent des références au lieu d'octets bruts. Du côté du codage, le codage de Huffman (voir l'article original de 1952) attribue des codes plus courts aux symboles les plus probables. Le codage arithmétique et le codage par plage sont des alternatives plus fines qui se rapprochent de la limite de l'entropie, tandis que les systèmes de numération asymétriques (ANS) modernes permettent une compression similaire avec des implémentations rapides basées sur des tables.
DEFLATE (utilisé par gzip, zlib et ZIP) combine LZ77 avec le codage de Huffman. Ses spécifications sont publiques : DEFLATE RFC 1951, wrapper zlib RFC 1950, et format de fichier gzip RFC 1952. Gzip est conçu pour le streaming et explicitement ne tente pas de fournir un accès aléatoire. Les images PNG normalisent DEFLATE comme leur seule méthode de compression (avec une fenêtre maximale de 32 Kio), conformément à la spécification PNG « Méthode de compression 0… dégonfler/gonfler… au plus 32768 octets » et W3C/ISO PNG 2e édition.
Zstandard (zstd) : un compresseur polyvalent plus récent conçu pour des taux de compression élevés avec une décompression très rapide. Le format est documenté dans la RFC 8878 (également miroir HTML) et la spécification de référence sur GitHub. Comme gzip, la trame de base ne vise pas l'accès aléatoire. L'un des superpouvoirs de zstd réside dans les dictionnaires : de petits échantillons de votre corpus qui améliorent considérablement la compression sur de nombreux fichiers minuscules ou similaires (voir la documentation du dictionnaire python-zstandard et l'exemple pratique de Nigel Tao). Les implémentations acceptent à la fois les dictionnaires « non structurés » et « structurés » (discussion).
Brotli : optimisé pour le contenu Web (par exemple, les polices WOFF2, HTTP). Il mélange un dictionnaire statique avec un noyau d'entropie+LZ de type DEFLATE. La spécification est la RFC 7932, qui note également une fenêtre glissante de 2WBITS−16 avec WBITS dans [10, 24] (1 Kio−16 B jusqu'à 16 Mio−16 B) et qu'il ne tente pas d'accès aléatoire. Brotli surpasse souvent gzip sur le texte Web tout en décodant rapidement.
Conteneur ZIP : ZIP est une archive de fichiers qui peut stocker des entrées avec diverses méthodes de compression (deflate, store, zstd, etc.). La norme de facto est l'APPNOTE de PKWARE (voir le portail APPNOTE, une copie hébergée, et les aperçus de la LC Format de fichier ZIP (PKWARE) / ZIP 6.3.3).
LZ4 vise la vitesse brute avec des ratios modestes. Voir sa page de projet (« compression extrêmement rapide ») et son format de trame. Il est idéal pour les caches en mémoire, la télémétrie ou les chemins d'accès très sollicités où la décompression doit être proche de la vitesse de la RAM.
XZ / LZMA visent la densité (excellents ratios) avec une compression relativement lente. XZ est un conteneur ; le gros du travail est généralement effectué par LZMA/LZMA2 (modélisation de type LZ77 + codage par plage). Voir le format de fichier .xz, la spécification LZMA (Pavlov), et les notes du noyau Linux sur XZ Embedded. XZ surcompresse généralement gzip et rivalise souvent avec les codecs modernes à haut ratio, mais avec des temps d'encodage plus lents.
bzip2 applique la transformée de Burrows-Wheeler (BWT), move-to-front, RLE et le codage de Huffman. Il est généralement plus petit que gzip mais plus lent ; voir le manuel officiel et les pages de manuel (Linux).
La « taille de la fenêtre » est importante. Les références DEFLATE ne peuvent remonter que de 32 Kio (RFC 1951 et la limite de 32 Kio de PNG notée ici). La fenêtre de Brotli va d'environ 1 Kio à 16 Mio (RFC 7932). Zstd ajuste la fenêtre et la profondeur de recherche par niveau (RFC 8878). Les flux de base gzip/zstd/brotli sont conçus pour un décodage séquentiel ; les formats de base ne promettent pas d'accès aléatoire, bien que des conteneurs (par exemple, des index tar, un tramage en morceaux ou des index spécifiques au format) puissent l'ajouter.
Les formats ci-dessus sont sans perte : vous pouvez reconstruire les octets exacts. Les codecs multimédias sont souvent avec perte : ils suppriment les détails imperceptibles pour atteindre des débits binaires inférieurs. Dans les images, le JPEG classique (DCT, quantification, codage entropique) est normalisé dans ITU-T T.81 / ISO/IEC 10918-1. En audio, MP3 (MPEG-1 Layer III) et AAC (MPEG-2/4) reposent sur des modèles perceptuels et des transformées MDCT (voir ISO/IEC 11172-3, ISO/IEC 13818-7, et un aperçu de la MDCT ici). Avec et sans perte peuvent coexister (par exemple, PNG pour les ressources de l'interface utilisateur ; codecs Web pour les images/vidéo/audio).
Théorie : Shannon 1948 · Débit-distorsion · Codage : Huffman 1952 · Codage arithmétique · Codage par plage · ANS. Formats : DEFLATE · zlib · gzip · Zstandard · Brotli · Trame LZ4 · Format XZ. Pile BWT : Burrows–Wheeler (1994) · manuel bzip2. Médias : JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Conclusion : choisissez un compresseur qui correspond à vos données et à vos contraintes, mesurez sur des entrées réelles et n'oubliez pas les gains des dictionnaires et du tramage intelligent. Avec la bonne combinaison, vous pouvez obtenir des fichiers plus petits, des transferts plus rapides et des applications plus réactives, sans sacrifier la correction ou la portabilité.
La compression de fichiers est un processus qui réduit la taille d'un fichier ou de fichiers, généralement pour économiser de l'espace de stockage ou accélérer la transmission sur un réseau.
La compression de fichiers fonctionne en identifiant et en supprimant les redondances dans les données. Elle utilise des algorithmes pour encoder les données originales dans un espace plus petit.
Les deux types principaux de compression de fichiers sont la compression sans perte et la compression avec pertes. La compression sans perte permet de restaurer parfaitement le fichier original, tandis que la compression avec pertes permet une réduction de taille plus significative au détriment de la perte de qualité des données.
Un exemple populaire d'un outil de compression de fichiers est WinZip, qui prend en charge de multiples formats de compression dont ZIP et RAR.
Avec la compression sans perte, la qualité reste inchangée. Cependant, avec la compression avec pertes, il peut y avoir une diminution notable de la qualité car elle élimine les données moins importantes pour réduire de manière plus significative la taille du fichier.
Oui, la compression de fichiers est sûre en termes d'intégrité des données, surtout avec la compression sans perte. Cependant, comme tout fichier, les fichiers compressés peuvent être ciblés par des logiciels malveillants ou des virus, il est donc toujours important d'avoir un logiciel de sécurité de confiance en place.
Presque tous les types de fichiers peuvent être compressés, y compris les fichiers texte, images, audio, vidéo, et les fichiers logiciels. Cependant, le niveau de compression réalisable peut varier considérablement selon les types de fichiers.
Un fichier ZIP est un type de format de fichier qui utilise la compression sans perte pour réduire la taille d'un ou de plusieurs fichiers. Plusieurs fichiers dans un fichier ZIP sont effectivement regroupés en un seul fichier, ce qui facilite également le partage.
Techniquement, oui, bien que la réduction de taille supplémentaire puisse être minime voire contre-productive. Compresser un fichier déjà compressé peut parfois augmenter sa taille en raison des métadonnées ajoutées par l'algorithme de compression.
Pour décompresser un fichier, il vous faut généralement un outil de décompression ou de dézippage, comme WinZip ou 7-Zip. Ces outils peuvent extraire les fichiers originaux à partir du format compressé.