Il formato di archivio V7 è un formato di file utilizzato per l'archiviazione e la compressione dei dati. È stato introdotto nel 1999 come miglioramento rispetto al precedente formato V6. Gli archivi V7 forniscono una compressione efficiente, un rapido accesso casuale ai file e il supporto per file e archivi di grandi dimensioni.
Un archivio V7 è costituito da una serie di blocchi. Ogni blocco contiene dati di file o metadati di archivio. I blocchi sono di dimensioni variabili, con una dimensione massima di 4 GB. L'archivio inizia con un blocco di intestazione che contiene informazioni sulla versione del formato di archivio, il numero di blocchi e una directory dei file archiviati.
Dopo l'intestazione ci sono uno o più blocchi di dati di file. Ogni file è memorizzato in una serie contigua di blocchi di dati. I file possono essere compressi utilizzando vari algoritmi di compressione, come LZMA, BZip2 o PPMd. Il metodo di compressione specifico utilizzato per ciascun file è specificato nei metadati del file.
Intercalati tra i blocchi di dati dei file ci sono blocchi di metadati che contengono informazioni sui file archiviati. Ciò include il nome del file, gli attributi, le timestamp, il metodo di compressione e la posizione dei blocchi di dati del file all'interno dell'archivio. I metadati vengono memorizzati in un formato binario ottimizzato per un rapido accesso casuale.
Una caratteristica chiave del formato V7 è la sua capacità di gestire in modo efficiente archivi e file di grandi dimensioni. Utilizza uno schema di indirizzamento a 64 bit, che gli consente di supportare archivi e file fino a 16 exabyte di dimensione. La struttura a blocchi di dimensioni variabili consente inoltre un accesso casuale efficiente ai singoli file senza dover decomprimere l'intero archivio.
Gli archivi V7 supportano più metodi di compressione su base per file. Ciò consente flessibilità nel bilanciamento del rapporto di compressione e della velocità. Gli algoritmi di compressione disponibili includono:
- LZMA: un algoritmo di compressione elevata che fornisce eccellenti rapporti di compressione ma è relativamente lento. Più adatto per l'archiviazione di dati a cui non si accede frequentemente.
- BZip2: un algoritmo di compressione generico con un buon equilibrio tra velocità e rapporto di compressione. Si comprime più lentamente rispetto a LZMA ma si decomprime più velocemente.
- PPMd: un algoritmo di compressione statistica adattiva che può raggiungere rapporti di compressione molto elevati per determinati tipi di dati, in particolare il testo. Tuttavia, ha un elevato utilizzo della memoria e velocità di compressione più lente.
- Deflate: un algoritmo di compressione ampiamente utilizzato che fornisce velocità di compressione e decompressione elevate con rapporti di compressione ragionevoli. Si basa sulla codifica LZ77 e Huffman.
- Nessuna compressione: i file possono anche essere memorizzati non compressi, se lo si desidera.
Gli archivi V7 includono anche controlli di integrità per rilevare il danneggiamento dei dati. Ogni blocco include un checksum CRC-32 che viene verificato durante la lettura del blocco. Inoltre, l'intestazione dell'archivio include un hash SHA-256 dell'intero contenuto dell'archivio per la verifica dell'integrità dell'intero archivio.
Per la resilienza agli errori, gli archivi V7 possono facoltativamente includere record di ripristino. Questi sono blocchi speciali intervallati nell'archivio che contengono copie ridondanti dei metadati dell'archivio. Se un blocco di metadati viene danneggiato, può essere ricostruito da un record di ripristino nelle vicinanze, impedendo che l'intero archivio diventi illeggibile a causa di un errore localizzato.
Il formato V7 supporta anche la crittografia a livello di archivio. L'intero archivio può essere crittografato utilizzando AES-256 in modalità CBC. La chiave di crittografia viene derivata da una passphrase fornita dall'utente utilizzando una funzione di derivazione della chiave (KDF). Durante la crittografia, viene generato un salt casuale a 256 bit e memorizzato nell'intestazione dell'archivio per l'uso nella KDF.
L'accesso a un archivio V7 crittografato richiede la fornitura della passphrase corretta. La passphrase viene eseguita attraverso la KDF insieme al salt dall'intestazione dell'archivio per ri-derivare la chiave di crittografia. Questa chiave viene quindi utilizzata per decrittografare il contenuto dell'archivio al volo, secondo necessità.
Gli archivi V7 possono essere aggiornati in modo efficiente modificando solo le parti pertinenti del file. L'aggiunta, la rimozione o l'aggiornamento di file in un archivio comporta la riscrittura dei blocchi di dati interessati e l'aggiornamento dei metadati e dei record di ripristino, se necessario. Il resto dell'archivio rimane invariato, rendendo gli aggiornamenti relativamente rapidi.
Il formato V7 supporta anche l'archiviazione solida. Con l'archiviazione solida, più file vengono compressi insieme come un singolo blocco continuo, consentendo migliori rapporti di compressione sfruttando le somiglianze tra i file. Tuttavia, ciò può influire sulle prestazioni di accesso casuale e sulla possibilità di aggiornare singoli file.
Diversi strumenti di archiviazione popolari supportano il formato V7, tra cui WinRAR, PowerArchiver e 7-Zip. Questi strumenti forniscono interfacce grafiche per la creazione, l'estrazione e la gestione degli archivi V7. Molti linguaggi di programmazione hanno anche librerie disponibili per lavorare con gli archivi V7 a livello di programmazione.
In sintesi, il formato di archivio V7 è una scelta potente e flessibile per l'archiviazione e la compressione dei dati. Le sue caratteristiche principali includono compressione efficiente, rapido accesso casuale, supporto per file e archivi di grandi dimensioni, più algoritmi di compressione, controllo dell'integrità, resilienza agli errori e crittografia. Queste funzionalità rendono V7 adatto a un'ampia gamma di esigenze di archiviazione.
La compressione dei file riduce la ridondanza in modo che le stesse informazioni occupino meno bit. Il limite superiore di quanto si può andare è governato dalla teoria dell'informazione: per la compressione senza perdita, il limite è l'entropia della fonte (vedi il teorema della codifica di sorgente di Shannon e il suo articolo originale del 1948 “Una teoria matematica della comunicazione”). Per la compressione con perdita, il compromesso tra velocità e qualità è catturato dalla teoria tasso-distorsione.
La maggior parte dei compressori ha due fasi. In primo luogo, un modello predice o espone la struttura nei dati. In secondo luogo, un codificatore trasforma tali previsioni in modelli di bit quasi ottimali. Una famiglia di modellazione classica è Lempel-Ziv: LZ77 (1977) e LZ78 (1978) rilevano sottostringhe ripetute ed emettono riferimenti invece di byte grezzi. Sul lato della codifica, la codifica di Huffman (vedi l'articolo originale del 1952) assegna codici più brevi a simboli più probabili. La codifica aritmetica e la codifica a intervalli sono alternative a grana più fine che si avvicinano al limite dell'entropia, mentre i moderni Sistemi Numerici Asimmetrici (ANS) ottengono una compressione simile con implementazioni veloci basate su tabelle.
DEFLATE (usato da gzip, zlib e ZIP) combina LZ77 con la codifica di Huffman. Le sue specifiche sono pubbliche: DEFLATE RFC 1951, wrapper zlib RFC 1950, e formato file gzip RFC 1952. Gzip è strutturato per lo streaming ed esplicitamente non tenta di fornire accesso casuale. Le immagini PNG standardizzano DEFLATE come unico metodo di compressione (con una finestra massima di 32 KiB), secondo le specifiche PNG “Metodo di compressione 0… deflate/inflate… al massimo 32768 byte” e W3C/ISO PNG 2a Edizione.
Zstandard (zstd): un compressore generico più recente progettato per rapporti elevati con decompressione molto veloce. Il formato è documentato in RFC 8878 (anche mirror HTML) e nelle specifiche di riferimento su GitHub. Come gzip, il frame di base non mira all'accesso casuale. Uno dei superpoteri di zstd sono i dizionari: piccoli campioni dal tuo corpus che migliorano drasticamente la compressione su molti file piccoli o simili (vedi documenti del dizionario python-zstandard e l'esempio funzionante di Nigel Tao). Le implementazioni accettano dizionari sia “non strutturati” che “strutturati” (discussione).
Brotli: ottimizzato per i contenuti web (ad es. font WOFF2, HTTP). Mescola un dizionario statico con un core di entropia LZ+ simile a DEFLATE. La specifica è RFC 7932, che nota anche una finestra scorrevole di 2WBITS−16 con WBITS in [10, 24] (da 1 KiB−16 B a 16 MiB−16 B) e che non tenta l'accesso casuale. Brotli spesso batte gzip sul testo web decodificando rapidamente.
Contenitore ZIP: ZIP è un archivio di file che può memorizzare voci con vari metodi di compressione (deflate, store, zstd, ecc.). Lo standard de facto è l'APPNOTE di PKWARE (vedi portale APPNOTE, una copia ospitata, e panoramiche LC Formato file ZIP (PKWARE) / ZIP 6.3.3).
LZ4 punta alla velocità grezza con rapporti modesti. Vedi la sua pagina del progetto (“compressione estremamente veloce”) e il formato del frame. È ideale per cache in memoria, telemetria o percorsi caldi in cui la decompressione deve essere quasi alla velocità della RAM.
XZ / LZMA spingono per la densità (ottimi rapporti) con una compressione relativamente lenta. XZ è un contenitore; il lavoro pesante è tipicamente svolto da LZMA/LZMA2 (modellazione simile a LZ77 + codifica a intervalli). Vedi formato file .xz, la specifica LZMA (Pavlov), e le note del kernel Linux su XZ Embedded. XZ di solito comprime meglio di gzip e spesso compete con i moderni codec ad alto rapporto, ma con tempi di codifica più lenti.
bzip2 applica la Trasformata di Burrows-Wheeler (BWT), move-to-front, RLE e la codifica di Huffman. È tipicamente più piccolo di gzip ma più lento; vedi il manuale ufficiale e le pagine man (Linux).
La “dimensione della finestra” è importante. I riferimenti DEFLATE possono guardare indietro solo di 32 KiB (RFC 1951 e il limite di 32 KiB di PNG notato qui). La finestra di Brotli varia da circa 1 KiB a 16 MiB (RFC 7932). Zstd regola la finestra e la profondità di ricerca per livello (RFC 8878). I flussi di base gzip/zstd/brotli sono progettati per la decodifica sequenziale; i formati di base non promettono l'accesso casuale, sebbene i contenitori (ad es. indici tar, framing a blocchi o indici specifici del formato) possano stratificarlo.
I formati di cui sopra sono senza perdita: è possibile ricostruire i byte esatti. I codec multimediali sono spesso con perdita: scartano dettagli impercettibili per raggiungere bitrate più bassi. Nelle immagini, il JPEG classico (DCT, quantizzazione, codifica entropica) è standardizzato in ITU-T T.81 / ISO/IEC 10918-1. Nell'audio, MP3 (MPEG-1 Layer III) e AAC (MPEG-2/4) si basano su modelli percettivi e trasformate MDCT (vedi ISO/IEC 11172-3, ISO/IEC 13818-7, e una panoramica MDCT qui). Con perdita e senza perdita possono coesistere (ad es. PNG per le risorse dell'interfaccia utente; codec Web per immagini/video/audio).
Teoria: Shannon 1948 · Velocità-distorsione · Codifica: Huffman 1952 · Codifica aritmetica · Codifica a intervalli · ANS. Formati: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · Formato XZ. Stack BWT: Burrows–Wheeler (1994) · manuale bzip2. Media: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
In conclusione: scegli un compressore che si adatti ai tuoi dati e ai tuoi vincoli, misura su input reali e non dimenticare i vantaggi derivanti dai dizionari e dal framing intelligente. Con la giusta accoppiata, puoi ottenere file più piccoli, trasferimenti più veloci e app più scattanti, senza sacrificare la correttezza o la portabilità.
La compressione dei file è un processo che riduce le dimensioni di un file o di più file, tipicamente per risparmiare spazio di archiviazione o accelerare la trasmissione su una rete.
La compressione dei file funziona identificando e rimuovendo la ridondanza nei dati. Utilizza algoritmi per codificare i dati originali in uno spazio minore.
I due principali tipi di compressione dei file sono la compressione senza perdita e la compressione con perdita. La compressione senza perdita permette di ripristinare perfettamente il file originale, mentre la compressione con perdita consente una riduzione di dimensioni più significativa a costo di una certa perdita nella qualità dei dati.
Un esempio popolare di uno strumento di compressione dei file è WinZip, che supporta più formati di compressione tra cui ZIP e RAR.
Con la compressione senza perdita, la qualità rimane inalterata. Tuttavia, con la compressione con perdita, può esserci una diminuzione notevole della qualità perché elimina dati meno importanti per ridurre più significativamente la dimensione del file.
Sì, la compressione dei file è sicura in termini di integrità dei dati, specialmente con la compressione senza perdita. Tuttavia, come qualsiasi file, i file compressi possono essere presi di mira da malware o virus, quindi è sempre importante avere in atto un software di sicurezza affidabile.
Quasi tutti i tipi di file possono essere compressi, inclusi file di testo, immagini, audio, video e software. Tuttavia, il livello di compressione ottenibile può variare significativamente tra i tipi di file.
Un file ZIP è un tipo di formato di file che utilizza la compressione senza perdita per ridurre le dimensioni di uno o più file. Più file in un file ZIP sono effettivamente raggruppati insieme in un unico file, il che facilita anche la condivisione.
Tecnicamente, sì, anche se la riduzione aggiuntiva delle dimensioni potrebbe essere minima o addirittura controproducente. Comprimere un file già compresso potrebbe a volte aumentare le sue dimensioni a causa dei metadati aggiunti dall'algoritmo di compressione.
Per decomprimere un file, di solito ti serve uno strumento di decompressione o di estrazione, come WinZip o 7-Zip. Questi strumenti possono estrarre i file originali dal formato compresso.