XAR (eXtensible ARchive) est un format de fichier développé par Apple Inc. pour regrouper et distribuer des logiciels sur macOS. Il remplace les anciens formats tels que .pkg et .dmg, offrant plusieurs avantages tels qu'une sécurité améliorée, des tailles de fichiers plus petites et de meilleures performances. Les fichiers XAR utilisent l'extension de fichier .xar et peuvent être créés et extraits à l'aide de l'utilitaire de ligne de commande xar inclus avec macOS.
Le format XAR est basé sur la norme XML (eXtensible Markup Language). Une archive XAR se compose de trois composants principaux : une table des matières (TOC) au format XML décrivant le contenu de l'archive, les fichiers et répertoires réels stockés dans l'archive et des signatures numériques pour la sécurité. La table des matières agit comme un index, spécifiant le chemin, la taille et d'autres métadonnées pour chaque fichier de l'archive. Cette structure basée sur XML permet l'extensibilité, car Apple ou des tiers peuvent ajouter des balises personnalisées pour prendre en charge de nouvelles fonctionnalités.
Un aspect clé du format XAR est son utilisation de la compression. Par défaut, XAR utilise la compression zlib pour réduire la taille des fichiers archivés. La table des matières elle-même est également compressée. Cela se traduit par des tailles d'archive plus petites par rapport aux anciens formats tels que .pkg, qui stockent les fichiers non compressés. Cependant, XAR prend également en charge le stockage de fichiers non compressés si vous le souhaitez. La compression appliquée à chaque fichier peut être spécifiée individuellement dans la table des matières.
Pour garantir l'intégrité et l'authenticité des archives XAR, le format intègre des signatures numériques. Chaque fichier XAR comprend une ou plusieurs signatures qui couvrent l'intégralité de la table des matières. Ces signatures sont créées à l'aide de la cryptographie à clé publique, généralement avec les algorithmes RSA ou DSA. Les signatures permettent aux destinataires de vérifier que l'archive n'a pas été altérée et qu'elle provient d'une source fiable. Apple utilise les signatures XAR pour distribuer des mises à jour logicielles et des applications sur le Mac App Store.
Lorsqu'une archive XAR est ouverte, la table des matières est d'abord décompressée et analysée. La table des matières fournit une structure de répertoire et des métadonnées de fichier, similaires au format « tar » utilisé sur les systèmes Unix. Les données du fichier réel sont stockées après la table des matières dans l'archive. Les données de chaque fichier peuvent être compressées ou non compressées, comme indiqué par l'entrée correspondante dans la table des matières. Pour extraire un fichier, ses données sont localisées à l'aide des informations de décalage et de taille de la table des matières.
Le format XAR prend en charge plusieurs fonctionnalités avancées au-delà de l'archivage de base. L'une de ces fonctionnalités est la possibilité d'inclure plusieurs tables des matières dans une seule archive. Cela permet de créer des mises à jour incrémentielles où seuls les fichiers modifiés doivent être inclus dans l'archive de mise à jour. Les tables des matières multiples peuvent décrire l'état de l'archive dans différentes versions du logiciel. Les mécanismes de mise à jour intelligents peuvent utiliser ces informations pour appliquer efficacement des correctifs incrémentiels.
De plus, les archives XAR peuvent stocker des attributs étendus et des listes de contrôle d'accès (ACL) associés aux fichiers archivés. Les attributs étendus sont des paires clé-valeur qui peuvent stocker des métadonnées spécifiques à l'application. Les ACL définissent des autorisations granulaires pour accéder aux fichiers. En préservant ces informations dans l'archive, XAR garantit que les attributs de fichier d'origine sont restaurés lors de l'extraction sur le système cible.
Le format XAR inclut également des dispositions pour la signature de code. En plus des signatures au niveau de l'archive couvrant la table des matières, les fichiers individuels au sein de l'archive peuvent avoir leurs propres signatures. Ceci est utile pour distribuer des composants logiciels qui doivent être vérifiés indépendamment. Par exemple, une architecture de plugin peut utiliser la signature de code pour garantir que seuls les plugins de confiance sont chargés par une application.
Une autre caractéristique de XAR est sa capacité à stocker des liens physiques. Les liens physiques permettent à plusieurs entrées de répertoire de référencer les mêmes données de fichier sur le disque. Dans la table des matières XAR, les liens physiques sont représentés à l'aide d'éléments XML spéciaux qui pointent vers l'entrée de fichier d'origine. Lorsque l'archive est extraite, les liens physiques sont recréés, préservant l'espace disque et maintenant la structure de répertoire d'origine.
Pour travailler avec les archives XAR par programmation, les développeurs peuvent utiliser l'outil de ligne de commande xar ou des bibliothèques comme libxar. L'outil xar fournit des commandes pour créer, extraire et manipuler des archives XAR. Il prend en charge diverses options de compression, de signature et de vérification. Libxar est une bibliothèque C qui implémente le format XAR et fournit une API pour lire et écrire des archives XAR. Elle permet aux développeurs d'intégrer la prise en charge XAR dans leurs propres applications.
En résumé, le format XAR offre une approche moderne et extensible du packaging et de la distribution de logiciels sur macOS. Son utilisation de XML pour la table des matières, la compression pour des tailles de fichiers plus petites, les signatures numériques pour la sécurité et la prise en charge de fonctionnalités avancées telles que les mises à jour incrémentielles et la signature de code en font un outil puissant pour les développeurs et les administrateurs système. Alors qu'Apple continue d'améliorer et de promouvoir le format, XAR est susceptible de devenir la norme pour la distribution de logiciels sur macOS.
La compression de fichiers réduit la redondance afin que la même information prenne moins de bits. La limite supérieure de ce que vous pouvez faire est régie par la théorie de l'information : pour la compression sans perte, la limite est l'entropie de la source (voir le théorème de codage de source et son article original de 1948 « Une théorie mathématique de la communication »). Pour la compression avec perte, le compromis entre le débit et la qualité est capturé par la théorie du débit-distorsion.
La plupart des compresseurs ont deux étapes. Premièrement, un modèle prédit ou expose la structure des données. Deuxièmement, un codeur transforme ces prédictions en modèles de bits quasi optimaux. Une famille de modélisation classique est Lempel-Ziv : LZ77 (1977) et LZ78 (1978) détectent les sous-chaînes répétées et émettent des références au lieu d'octets bruts. Du côté du codage, le codage de Huffman (voir l'article original de 1952) attribue des codes plus courts aux symboles les plus probables. Le codage arithmétique et le codage par plage sont des alternatives plus fines qui se rapprochent de la limite de l'entropie, tandis que les systèmes de numération asymétriques (ANS) modernes permettent une compression similaire avec des implémentations rapides basées sur des tables.
DEFLATE (utilisé par gzip, zlib et ZIP) combine LZ77 avec le codage de Huffman. Ses spécifications sont publiques : DEFLATE RFC 1951, wrapper zlib RFC 1950, et format de fichier gzip RFC 1952. Gzip est conçu pour le streaming et explicitement ne tente pas de fournir un accès aléatoire. Les images PNG normalisent DEFLATE comme leur seule méthode de compression (avec une fenêtre maximale de 32 Kio), conformément à la spécification PNG « Méthode de compression 0… dégonfler/gonfler… au plus 32768 octets » et W3C/ISO PNG 2e édition.
Zstandard (zstd) : un compresseur polyvalent plus récent conçu pour des taux de compression élevés avec une décompression très rapide. Le format est documenté dans la RFC 8878 (également miroir HTML) et la spécification de référence sur GitHub. Comme gzip, la trame de base ne vise pas l'accès aléatoire. L'un des superpouvoirs de zstd réside dans les dictionnaires : de petits échantillons de votre corpus qui améliorent considérablement la compression sur de nombreux fichiers minuscules ou similaires (voir la documentation du dictionnaire python-zstandard et l'exemple pratique de Nigel Tao). Les implémentations acceptent à la fois les dictionnaires « non structurés » et « structurés » (discussion).
Brotli : optimisé pour le contenu Web (par exemple, les polices WOFF2, HTTP). Il mélange un dictionnaire statique avec un noyau d'entropie+LZ de type DEFLATE. La spécification est la RFC 7932, qui note également une fenêtre glissante de 2WBITS−16 avec WBITS dans [10, 24] (1 Kio−16 B jusqu'à 16 Mio−16 B) et qu'il ne tente pas d'accès aléatoire. Brotli surpasse souvent gzip sur le texte Web tout en décodant rapidement.
Conteneur ZIP : ZIP est une archive de fichiers qui peut stocker des entrées avec diverses méthodes de compression (deflate, store, zstd, etc.). La norme de facto est l'APPNOTE de PKWARE (voir le portail APPNOTE, une copie hébergée, et les aperçus de la LC Format de fichier ZIP (PKWARE) / ZIP 6.3.3).
LZ4 vise la vitesse brute avec des ratios modestes. Voir sa page de projet (« compression extrêmement rapide ») et son format de trame. Il est idéal pour les caches en mémoire, la télémétrie ou les chemins d'accès très sollicités où la décompression doit être proche de la vitesse de la RAM.
XZ / LZMA visent la densité (excellents ratios) avec une compression relativement lente. XZ est un conteneur ; le gros du travail est généralement effectué par LZMA/LZMA2 (modélisation de type LZ77 + codage par plage). Voir le format de fichier .xz, la spécification LZMA (Pavlov), et les notes du noyau Linux sur XZ Embedded. XZ surcompresse généralement gzip et rivalise souvent avec les codecs modernes à haut ratio, mais avec des temps d'encodage plus lents.
bzip2 applique la transformée de Burrows-Wheeler (BWT), move-to-front, RLE et le codage de Huffman. Il est généralement plus petit que gzip mais plus lent ; voir le manuel officiel et les pages de manuel (Linux).
La « taille de la fenêtre » est importante. Les références DEFLATE ne peuvent remonter que de 32 Kio (RFC 1951 et la limite de 32 Kio de PNG notée ici). La fenêtre de Brotli va d'environ 1 Kio à 16 Mio (RFC 7932). Zstd ajuste la fenêtre et la profondeur de recherche par niveau (RFC 8878). Les flux de base gzip/zstd/brotli sont conçus pour un décodage séquentiel ; les formats de base ne promettent pas d'accès aléatoire, bien que des conteneurs (par exemple, des index tar, un tramage en morceaux ou des index spécifiques au format) puissent l'ajouter.
Les formats ci-dessus sont sans perte : vous pouvez reconstruire les octets exacts. Les codecs multimédias sont souvent avec perte : ils suppriment les détails imperceptibles pour atteindre des débits binaires inférieurs. Dans les images, le JPEG classique (DCT, quantification, codage entropique) est normalisé dans ITU-T T.81 / ISO/IEC 10918-1. En audio, MP3 (MPEG-1 Layer III) et AAC (MPEG-2/4) reposent sur des modèles perceptuels et des transformées MDCT (voir ISO/IEC 11172-3, ISO/IEC 13818-7, et un aperçu de la MDCT ici). Avec et sans perte peuvent coexister (par exemple, PNG pour les ressources de l'interface utilisateur ; codecs Web pour les images/vidéo/audio).
Théorie : Shannon 1948 · Débit-distorsion · Codage : Huffman 1952 · Codage arithmétique · Codage par plage · ANS. Formats : DEFLATE · zlib · gzip · Zstandard · Brotli · Trame LZ4 · Format XZ. Pile BWT : Burrows–Wheeler (1994) · manuel bzip2. Médias : JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Conclusion : choisissez un compresseur qui correspond à vos données et à vos contraintes, mesurez sur des entrées réelles et n'oubliez pas les gains des dictionnaires et du tramage intelligent. Avec la bonne combinaison, vous pouvez obtenir des fichiers plus petits, des transferts plus rapides et des applications plus réactives, sans sacrifier la correction ou la portabilité.
La compression de fichiers est un processus qui réduit la taille d'un fichier ou de fichiers, généralement pour économiser de l'espace de stockage ou accélérer la transmission sur un réseau.
La compression de fichiers fonctionne en identifiant et en supprimant les redondances dans les données. Elle utilise des algorithmes pour encoder les données originales dans un espace plus petit.
Les deux types principaux de compression de fichiers sont la compression sans perte et la compression avec pertes. La compression sans perte permet de restaurer parfaitement le fichier original, tandis que la compression avec pertes permet une réduction de taille plus significative au détriment de la perte de qualité des données.
Un exemple populaire d'un outil de compression de fichiers est WinZip, qui prend en charge de multiples formats de compression dont ZIP et RAR.
Avec la compression sans perte, la qualité reste inchangée. Cependant, avec la compression avec pertes, il peut y avoir une diminution notable de la qualité car elle élimine les données moins importantes pour réduire de manière plus significative la taille du fichier.
Oui, la compression de fichiers est sûre en termes d'intégrité des données, surtout avec la compression sans perte. Cependant, comme tout fichier, les fichiers compressés peuvent être ciblés par des logiciels malveillants ou des virus, il est donc toujours important d'avoir un logiciel de sécurité de confiance en place.
Presque tous les types de fichiers peuvent être compressés, y compris les fichiers texte, images, audio, vidéo, et les fichiers logiciels. Cependant, le niveau de compression réalisable peut varier considérablement selon les types de fichiers.
Un fichier ZIP est un type de format de fichier qui utilise la compression sans perte pour réduire la taille d'un ou de plusieurs fichiers. Plusieurs fichiers dans un fichier ZIP sont effectivement regroupés en un seul fichier, ce qui facilite également le partage.
Techniquement, oui, bien que la réduction de taille supplémentaire puisse être minime voire contre-productive. Compresser un fichier déjà compressé peut parfois augmenter sa taille en raison des métadonnées ajoutées par l'algorithme de compression.
Pour décompresser un fichier, il vous faut généralement un outil de décompression ou de dézippage, comme WinZip ou 7-Zip. Ces outils peuvent extraire les fichiers originaux à partir du format compressé.