Il formato di archivio POSIX, noto anche come formato "ar", è un formato di file utilizzato per creare e gestire archivi di librerie su sistemi operativi di tipo Unix. Questo formato è stato standardizzato dall'IEEE nella specifica POSIX.1-1988 e da allora è stato ampiamente adottato su varie piattaforme. Il formato ar consente il raggruppamento di più file in un unico file per semplificare l'archiviazione, la distribuzione e la gestione.
La struttura di un archivio POSIX è costituita da un'intestazione globale seguita da una serie di membri dell'archivio. Ogni membro rappresenta un file che è stato aggiunto all'archivio. L'intestazione globale è una semplice stringa ASCII che identifica il file come un archivio ar. È costituita dai caratteri "`!<arch> `", dove "` `' rappresenta un carattere di nuova riga. Questa intestazione è sempre presente all'inizio del file di archivio.
Dopo l'intestazione globale, l'archivio contiene una serie di membri del file. Ogni membro è composto da un'intestazione del file e dai dati del file stesso. L'intestazione del file è una struttura di dimensioni fisse che contiene metadati sul file, come nome, timestamp di modifica, ID proprietario e gruppo, modalità file e dimensione. L'intestazione è riempita con spazi per mantenere una dimensione fissa di 60 byte.
L'intestazione del file inizia con il nome del file, che viene memorizzato come una stringa ASCII terminata da null. Il nome del file è limitato a 16 caratteri e, se il nome del file effettivo è più lungo, viene troncato. Se il nome del file è più breve di 16 caratteri, viene riempito con spazi. Dopo il nome del file, l'intestazione contiene il timestamp di modifica del file, che viene memorizzato come una stringa ASCII decimale. Il timestamp rappresenta il numero di secondi trascorsi dall'epoca Unix (1 gennaio 1970).
Successivamente, l'intestazione del file include gli ID proprietario e gruppo del file, memorizzati come stringhe ASCII decimali. Questi ID vengono utilizzati per le autorizzazioni dei file e la gestione della proprietà. Anche la modalità file viene memorizzata nell'intestazione come una stringa ASCII ottale, che rappresenta le autorizzazioni e il tipo del file. La modalità indica se il file è un file normale, una directory, un collegamento simbolico o ha autorizzazioni speciali.
La dimensione del file viene memorizzata nell'intestazione come una stringa ASCII decimale, che indica il numero di byte nei dati del file che seguono l'intestazione. Se la dimensione del file non è un numero pari, viene aggiunto un byte aggiuntivo di riempimento ai dati del file per garantire un corretto allineamento.
Dopo l'intestazione del file, i dati del file effettivi vengono memorizzati nell'archivio. I dati vengono scritti così come sono, senza alcuna formattazione o compressione aggiuntiva. Se la dimensione del file è dispari, viene aggiunto un byte aggiuntivo di riempimento per mantenere l'allineamento.
Il processo di creazione di un archivio ar prevede la concatenazione delle intestazioni dei file e dei dati di ciascun file membro in un unico file di archivio. L'utilità ar, che si trova comunemente sui sistemi di tipo Unix, viene utilizzata per creare, modificare ed estrarre file dagli archivi ar. Durante la creazione di un archivio, l'utilità ar aggiunge l'intestazione globale, seguita dalle intestazioni dei file e dai dati di ciascun file membro.
L'estrazione di file da un archivio ar prevede la lettura dell'intestazione globale per verificare il formato dell'archivio, quindi la scansione dell'archivio per individuare i membri del file desiderati. L'utilità ar legge le intestazioni dei file per determinare i nomi dei file, le dimensioni e gli offset all'interno dell'archivio. Quindi estrae i dati del file in base alle informazioni sulla dimensione e sulla posizione memorizzate nelle intestazioni.
Uno dei principali casi d'uso per il formato ar è la creazione di archivi di librerie statiche. Le librerie statiche sono raccolte di file oggetto che vengono collegati direttamente a un eseguibile in fase di compilazione. Il formato ar consente il raggruppamento di più file oggetto in un unico file di libreria, che può quindi essere collegato ad altri file oggetto o librerie per creare l'eseguibile finale.
Il formato ar supporta anche la creazione di archivi sottili, che sono archivi che contengono solo riferimenti a file esterni anziché ai dati del file stesso. Gli archivi sottili sono utili per ridurre le dimensioni del file di archivio e consentire un'archiviazione e una distribuzione più efficienti di grandi raccolte di file.
Sebbene il formato ar sia ampiamente utilizzato e supportato, presenta alcune limitazioni. L'intestazione del file di dimensioni fisse limita la lunghezza dei nomi dei file e la dimensione massima del file che può essere memorizzata nell'archivio. Inoltre, il formato ar non fornisce alcuna compressione o crittografia integrata, che potrebbe essere necessaria per alcuni casi d'uso.
Nonostante le sue limitazioni, il formato di archivio POSIX rimane un metodo semplice ed efficiente per raggruppare e gestire raccolte di file su sistemi di tipo Unix. La sua standardizzazione e la sua ampia adozione lo rendono una scelta affidabile per la creazione di librerie statiche, la distribuzione di pacchetti software e l'archiviazione dei dati.
In sintesi, il formato di archivio POSIX è un formato di file utilizzato per creare e gestire archivi di librerie su sistemi operativi di tipo Unix. È costituito da un'intestazione globale seguita da una serie di membri del file, ognuno contenente un'intestazione del file e i dati del file. L'utilità ar viene utilizzata per creare, modificare ed estrarre file dagli archivi ar e il formato viene comunemente utilizzato per creare archivi di librerie statiche e raggruppare raccolte di file. Sebbene presenti alcune limitazioni, il formato ar rimane un metodo semplice e ampiamente supportato per la gestione dei file su sistemi di tipo Unix.
La compressione dei file riduce la ridondanza in modo che le stesse informazioni occupino meno bit. Il limite superiore di quanto si può andare è governato dalla teoria dell'informazione: per la compressione senza perdita, il limite è l'entropia della fonte (vedi il teorema della codifica di sorgente di Shannon e il suo articolo originale del 1948 “Una teoria matematica della comunicazione”). Per la compressione con perdita, il compromesso tra velocità e qualità è catturato dalla teoria tasso-distorsione.
La maggior parte dei compressori ha due fasi. In primo luogo, un modello predice o espone la struttura nei dati. In secondo luogo, un codificatore trasforma tali previsioni in modelli di bit quasi ottimali. Una famiglia di modellazione classica è Lempel-Ziv: LZ77 (1977) e LZ78 (1978) rilevano sottostringhe ripetute ed emettono riferimenti invece di byte grezzi. Sul lato della codifica, la codifica di Huffman (vedi l'articolo originale del 1952) assegna codici più brevi a simboli più probabili. La codifica aritmetica e la codifica a intervalli sono alternative a grana più fine che si avvicinano al limite dell'entropia, mentre i moderni Sistemi Numerici Asimmetrici (ANS) ottengono una compressione simile con implementazioni veloci basate su tabelle.
DEFLATE (usato da gzip, zlib e ZIP) combina LZ77 con la codifica di Huffman. Le sue specifiche sono pubbliche: DEFLATE RFC 1951, wrapper zlib RFC 1950, e formato file gzip RFC 1952. Gzip è strutturato per lo streaming ed esplicitamente non tenta di fornire accesso casuale. Le immagini PNG standardizzano DEFLATE come unico metodo di compressione (con una finestra massima di 32 KiB), secondo le specifiche PNG “Metodo di compressione 0… deflate/inflate… al massimo 32768 byte” e W3C/ISO PNG 2a Edizione.
Zstandard (zstd): un compressore generico più recente progettato per rapporti elevati con decompressione molto veloce. Il formato è documentato in RFC 8878 (anche mirror HTML) e nelle specifiche di riferimento su GitHub. Come gzip, il frame di base non mira all'accesso casuale. Uno dei superpoteri di zstd sono i dizionari: piccoli campioni dal tuo corpus che migliorano drasticamente la compressione su molti file piccoli o simili (vedi documenti del dizionario python-zstandard e l'esempio funzionante di Nigel Tao). Le implementazioni accettano dizionari sia “non strutturati” che “strutturati” (discussione).
Brotli: ottimizzato per i contenuti web (ad es. font WOFF2, HTTP). Mescola un dizionario statico con un core di entropia LZ+ simile a DEFLATE. La specifica è RFC 7932, che nota anche una finestra scorrevole di 2WBITS−16 con WBITS in [10, 24] (da 1 KiB−16 B a 16 MiB−16 B) e che non tenta l'accesso casuale. Brotli spesso batte gzip sul testo web decodificando rapidamente.
Contenitore ZIP: ZIP è un archivio di file che può memorizzare voci con vari metodi di compressione (deflate, store, zstd, ecc.). Lo standard de facto è l'APPNOTE di PKWARE (vedi portale APPNOTE, una copia ospitata, e panoramiche LC Formato file ZIP (PKWARE) / ZIP 6.3.3).
LZ4 punta alla velocità grezza con rapporti modesti. Vedi la sua pagina del progetto (“compressione estremamente veloce”) e il formato del frame. È ideale per cache in memoria, telemetria o percorsi caldi in cui la decompressione deve essere quasi alla velocità della RAM.
XZ / LZMA spingono per la densità (ottimi rapporti) con una compressione relativamente lenta. XZ è un contenitore; il lavoro pesante è tipicamente svolto da LZMA/LZMA2 (modellazione simile a LZ77 + codifica a intervalli). Vedi formato file .xz, la specifica LZMA (Pavlov), e le note del kernel Linux su XZ Embedded. XZ di solito comprime meglio di gzip e spesso compete con i moderni codec ad alto rapporto, ma con tempi di codifica più lenti.
bzip2 applica la Trasformata di Burrows-Wheeler (BWT), move-to-front, RLE e la codifica di Huffman. È tipicamente più piccolo di gzip ma più lento; vedi il manuale ufficiale e le pagine man (Linux).
La “dimensione della finestra” è importante. I riferimenti DEFLATE possono guardare indietro solo di 32 KiB (RFC 1951 e il limite di 32 KiB di PNG notato qui). La finestra di Brotli varia da circa 1 KiB a 16 MiB (RFC 7932). Zstd regola la finestra e la profondità di ricerca per livello (RFC 8878). I flussi di base gzip/zstd/brotli sono progettati per la decodifica sequenziale; i formati di base non promettono l'accesso casuale, sebbene i contenitori (ad es. indici tar, framing a blocchi o indici specifici del formato) possano stratificarlo.
I formati di cui sopra sono senza perdita: è possibile ricostruire i byte esatti. I codec multimediali sono spesso con perdita: scartano dettagli impercettibili per raggiungere bitrate più bassi. Nelle immagini, il JPEG classico (DCT, quantizzazione, codifica entropica) è standardizzato in ITU-T T.81 / ISO/IEC 10918-1. Nell'audio, MP3 (MPEG-1 Layer III) e AAC (MPEG-2/4) si basano su modelli percettivi e trasformate MDCT (vedi ISO/IEC 11172-3, ISO/IEC 13818-7, e una panoramica MDCT qui). Con perdita e senza perdita possono coesistere (ad es. PNG per le risorse dell'interfaccia utente; codec Web per immagini/video/audio).
Teoria: Shannon 1948 · Velocità-distorsione · Codifica: Huffman 1952 · Codifica aritmetica · Codifica a intervalli · ANS. Formati: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · Formato XZ. Stack BWT: Burrows–Wheeler (1994) · manuale bzip2. Media: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
In conclusione: scegli un compressore che si adatti ai tuoi dati e ai tuoi vincoli, misura su input reali e non dimenticare i vantaggi derivanti dai dizionari e dal framing intelligente. Con la giusta accoppiata, puoi ottenere file più piccoli, trasferimenti più veloci e app più scattanti, senza sacrificare la correttezza o la portabilità.
La compressione dei file è un processo che riduce le dimensioni di un file o di più file, tipicamente per risparmiare spazio di archiviazione o accelerare la trasmissione su una rete.
La compressione dei file funziona identificando e rimuovendo la ridondanza nei dati. Utilizza algoritmi per codificare i dati originali in uno spazio minore.
I due principali tipi di compressione dei file sono la compressione senza perdita e la compressione con perdita. La compressione senza perdita permette di ripristinare perfettamente il file originale, mentre la compressione con perdita consente una riduzione di dimensioni più significativa a costo di una certa perdita nella qualità dei dati.
Un esempio popolare di uno strumento di compressione dei file è WinZip, che supporta più formati di compressione tra cui ZIP e RAR.
Con la compressione senza perdita, la qualità rimane inalterata. Tuttavia, con la compressione con perdita, può esserci una diminuzione notevole della qualità perché elimina dati meno importanti per ridurre pi ù significativamente la dimensione del file.
Sì, la compressione dei file è sicura in termini di integrità dei dati, specialmente con la compressione senza perdita. Tuttavia, come qualsiasi file, i file compressi possono essere presi di mira da malware o virus, quindi è sempre importante avere in atto un software di sicurezza affidabile.
Quasi tutti i tipi di file possono essere compressi, inclusi file di testo, immagini, audio, video e software. Tuttavia, il livello di compressione ottenibile può variare significativamente tra i tipi di file.
Un file ZIP è un tipo di formato di file che utilizza la compressione senza perdita per ridurre le dimensioni di uno o più file. Più file in un file ZIP sono effettivamente raggruppati insieme in un unico file, il che facilita anche la condivisione.
Tecnicamente, sì, anche se la riduzione aggiuntiva delle dimensioni potrebbe essere minima o addirittura controproducente. Comprimere un file già compresso potrebbe a volte aumentare le sue dimensioni a causa dei metadati aggiunti dall'algoritmo di compressione.
Per decomprimere un file, di solito ti serve uno strumento di decompressione o di estrazione, come WinZip o 7-Zip. Questi strumenti possono estrarre i file originali dal formato compresso.