Estrai file TARXZ
Trascina e rilascia o clicca per selezionare
Privato e sicuro
Tutto accade nel tuo browser. I tuoi file non toccano mai i nostri server.
Velocissimo
Nessun caricamento, nessuna attesa. Converti nel momento in cui rilasci un file.
Realmente gratuito
Nessun account richiesto. Nessun costo nascosto. Nessun trucco sulle dimensioni dei file.
Qual è il formato TARXZ?
TAR XZ
Il formato Web ARChive (WARC) è un formato di file standard utilizzato per l'archiviazione dei dati di scansione web. È stato sviluppato dall'International Internet Preservation Consortium (IIPC) come miglioramento rispetto al precedente formato Internet Archive ARC. I file WARC contengono una sequenza concatenata di blocchi di contenuto, ciascuno costituito da un'intestazione di testo normale e dati di contenuto binari, rendendolo più adatto alla conservazione a lungo termine e all'accesso alle risorse basate sul web.
I file WARC sono progettati per archiviare sia il contenuto del payload che le informazioni di controllo dai principali protocolli di livello applicazione Internet, come HTTP, DNS e FTP. Ogni file WARC è un archivio autonomo, che gli consente di archiviare più risorse discrete in un singolo file. Ciò lo rende un formato efficiente e conveniente per i crawler web per archiviare ed elaborare grandi quantità di dati web.
La specifica del formato WARC definisce diversi tipi di record, ognuno dei quali ha uno scopo specifico nel processo di archiviazione: - `warcinfo`: contiene metadati sul file WARC stesso, come il software utilizzato per crearlo, la data di creazione e qualsiasi informazione aggiuntiva sulla scansione. - `response`: archivia il messaggio di risposta HTTP, comprese le intestazioni e il corpo, come restituito dal server web. - `request`: archivia il messaggio di richiesta HTTP inviato dal crawler al server web. - `metadata`: contiene informazioni aggiuntive su una risorsa, come il risultato della scansione antivirus o il testo estratto da una pagina HTML. - `revisit`: indica che il contenuto di una risorsa non è cambiato da una precedente acquisizione, consentendo un archiviazione e una riproduzione più efficienti degli archivi web. - `conversion`: archivia il risultato della conversione di una risorsa da un formato a un altro, come la conversione di una pagina HTML in testo normale.
Ogni record WARC è costituito da un'intestazione di testo normale e un blocco di contenuto binario. L'intestazione contiene coppie chiave-valore che forniscono metadati sul record, come il tipo di record WARC, l'URI della risorsa, la data e l'ora dell'acquisizione e la lunghezza del contenuto. Il blocco di contenuto binario archivia i dati effettivi della risorsa, come il corpo della risposta HTTP o il payload di un trasferimento FTP.
Uno dei principali vantaggi del formato WARC è la sua capacità di archiviare più risorse in un singolo file mantenendo l'integrità e il contesto di ciascuna risorsa. Ciò si ottiene tramite l'uso di uno schema di denominazione gerarchico per i record all'interno di un file WARC. A ciascun record viene assegnato un identificatore univoco, che consiste in un nome file obbligatorio e un ID record facoltativo. Ciò consente un facile recupero e gestione delle singole risorse all'interno di un file WARC.
I file WARC supportano anche la compressione, che aiuta a ridurre i requisiti di archiviazione e a migliorare le velocità di trasferimento. Gli algoritmi di compressione più comuni utilizzati con i file WARC sono gzip e bzip2. I file WARC compressi in genere hanno rispettivamente le estensioni `.warc.gz` o `.warc.bz2`.
Per facilitare l'elaborazione e l'analisi dei file WARC, sono stati sviluppati vari strumenti software e librerie. Questi includono crawler web come Heritrix, che possono generare direttamente file WARC, e strumenti come OpenWayback, che possono riprodurre pagine web archiviate da file WARC. Le librerie di programmazione, come Java Web Archive Toolkit (JWAT) e la libreria Python WarcIO, forniscono API per la lettura, la scrittura e la manipolazione dei file WARC.
Il formato WARC è diventato lo standard de facto per l'archiviazione web, grazie alla sua robustezza, flessibilità e ampia adozione da parte di istituzioni e organizzazioni coinvolte nella conservazione del web. Ha consentito la creazione di archivi web su larga scala, come la Wayback Machine di Internet Archive, che contiene oltre 475 miliardi di pagine web acquisite dal 1996.
In sintesi, il formato WARC è uno strumento cruciale per preservare e accedere alle informazioni basate sul web per le generazioni future. La sua struttura standardizzata, il supporto per più tipi di record e la capacità di archiviare sia il contenuto che i metadati lo rendono un formato ideale per l'archiviazione del web in continua crescita ed evoluzione. Poiché Internet continua a svolgere un ruolo sempre più importante nelle nostre vite, il formato WARC rimarrà senza dubbio una componente vitale degli sforzi di conservazione del web.
La compressione dei file riduce la ridondanza in modo che le stesse informazioni occupino meno bit. Il limite superiore di quanto si può andare è governato dalla teoria dell'informazione: per la compressione senza perdita, il limite è l'entropia della fonte (vedi il teorema della codifica di sorgente di Shannon e il suo articolo originale del 1948 “Una teoria matematica della comunicazione”). Per la compressione con perdita, il compromesso tra velocità e qualità è catturato dalla teoria tasso-distorsione.
Due pilastri: modellazione e codifica
La maggior parte dei compressori ha due fasi. In primo luogo, un modello predice o espone la struttura nei dati. In secondo luogo, un codificatore trasforma tali previsioni in modelli di bit quasi ottimali. Una famiglia di modellazione classica è Lempel-Ziv: LZ77 (1977) e LZ78 (1978) rilevano sottostringhe ripetute ed emettono riferimenti invece di byte grezzi. Sul lato della codifica, la codifica di Huffman (vedi l'articolo originale del 1952) assegna codici più brevi a simboli più probabili. La codifica aritmetica e la codifica a intervalli sono alternative a grana più fine che si avvicinano al limite dell'entropia, mentre i moderni Sistemi Numerici Asimmetrici (ANS) ottengono una compressione simile con implementazioni veloci basate su tabelle.
Cosa fanno effettivamente i formati comuni
DEFLATE (usato da gzip, zlib e ZIP) combina LZ77 con la codifica di Huffman. Le sue specifiche sono pubbliche: DEFLATE RFC 1951, wrapper zlib RFC 1950, e formato file gzip RFC 1952. Gzip è strutturato per lo streaming ed esplicitamente non tenta di fornire accesso casuale. Le immagini PNG standardizzano DEFLATE come unico metodo di compressione (con una finestra massima di 32 KiB), secondo le specifiche PNG “Metodo di compressione 0… deflate/inflate… al massimo 32768 byte” e W3C/ISO PNG 2a Edizione.
Zstandard (zstd): un compressore generico più recente progettato per rapporti elevati con decompressione molto veloce. Il formato è documentato in RFC 8878 (anche mirror HTML) e nelle specifiche di riferimento su GitHub. Come gzip, il frame di base non mira all'accesso casuale. Uno dei superpoteri di zstd sono i dizionari: piccoli campioni dal tuo corpus che migliorano drasticamente la compressione su molti file piccoli o simili (vedi documenti del dizionario python-zstandard e l'esempio funzionante di Nigel Tao). Le implementazioni accettano dizionari sia “non strutturati” che “strutturati” (discussione).
Brotli: ottimizzato per i contenuti web (ad es. font WOFF2, HTTP). Mescola un dizionario statico con un core di entropia LZ+ simile a DEFLATE. La specifica è RFC 7932, che nota anche una finestra scorrevole di 2WBITS−16 con WBITS in [10, 24] (da 1 KiB−16 B a 16 MiB−16 B) e che non tenta l'accesso casuale. Brotli spesso batte gzip sul testo web decodificando rapidamente.
Contenitore ZIP: ZIP è un archivio di file che può memorizzare voci con vari metodi di compressione (deflate, store, zstd, ecc.). Lo standard de facto è l'APPNOTE di PKWARE (vedi portale APPNOTE, una copia ospitata, e panoramiche LC Formato file ZIP (PKWARE) / ZIP 6.3.3).
Velocità vs. rapporto: dove si posizionano i formati
LZ4 punta alla velocità grezza con rapporti modesti. Vedi la sua pagina del progetto (“compressione estremamente veloce”) e il formato del frame. È ideale per cache in memoria, telemetria o percorsi caldi in cui la decompressione deve essere quasi alla velocità della RAM.
XZ / LZMA spingono per la densità (ottimi rapporti) con una compressione relativamente lenta. XZ è un contenitore; il lavoro pesante è tipicamente svolto da LZMA/LZMA2 (modellazione simile a LZ77 + codifica a intervalli). Vedi formato file .xz, la specifica LZMA (Pavlov), e le note del kernel Linux su XZ Embedded. XZ di solito comprime meglio di gzip e spesso compete con i moderni codec ad alto rapporto, ma con tempi di codifica più lenti.
bzip2 applica la Trasformata di Burrows-Wheeler (BWT), move-to-front, RLE e la codifica di Huffman. È tipicamente più piccolo di gzip ma più lento; vedi il manuale ufficiale e le pagine man (Linux).
Finestre, blocchi e accesso casuale
La “dimensione della finestra” è importante. I riferimenti DEFLATE possono guardare indietro solo di 32 KiB (RFC 1951 e il limite di 32 KiB di PNG notato qui). La finestra di Brotli varia da circa 1 KiB a 16 MiB (RFC 7932). Zstd regola la finestra e la profondità di ricerca per livello (RFC 8878). I flussi di base gzip/zstd/brotli sono progettati per la decodifica sequenziale; i formati di base non promettono l'accesso casuale, sebbene i contenitori (ad es. indici tar, framing a blocchi o indici specifici del formato) possano stratificarlo.
Senza perdita vs. con perdita
I formati di cui sopra sono senza perdita: è possibile ricostruire i byte esatti. I codec multimediali sono spesso con perdita: scartano dettagli impercettibili per raggiungere bitrate più bassi. Nelle immagini, il JPEG classico (DCT, quantizzazione, codifica entropica) è standardizzato in ITU-T T.81 / ISO/IEC 10918-1. Nell'audio, MP3 (MPEG-1 Layer III) e AAC (MPEG-2/4) si basano su modelli percettivi e trasformate MDCT (vedi ISO/IEC 11172-3, ISO/IEC 13818-7, e una panoramica MDCT qui). Con perdita e senza perdita possono coesistere (ad es. PNG per le risorse dell'interfaccia utente; codec Web per immagini/video/audio).
Consigli pratici
- Scegli per il lavoro. Testo web e font: brotli. File generici e backup: zstd (ottima velocità di decompressione e livelli per scambiare tempo con rapporto). Pipe e telemetria ultraveloci: lz4. Massima densità per archivi a lungo termine in cui il tempo di codifica è accettabile: xz/LZMA.
- File piccoli? Addestra e distribuisci dizionari con zstd (documenti) / (esempio). Possono ridurre drasticamente decine di oggetti piccoli e simili.
- Interoperabilità. Quando si scambiano più file, preferire un contenitore (ZIP, tar) più un compressore. L'APPNOTE di ZIP definisce gli ID dei metodi e le funzionalità; vedi PKWARE APPNOTE e panoramiche LC qui.
- Misura sui tuoi dati. I rapporti e le velocità variano a seconda del corpus. Molti repository pubblicano benchmark (ad es. il README di LZ4 cita il corpus Silesia qui), ma convalida sempre localmente.
Riferimenti chiave (approfondimenti)
Teoria: Shannon 1948 · Velocità-distorsione · Codifica: Huffman 1952 · Codifica aritmetica · Codifica a intervalli · ANS. Formati: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · Formato XZ. Stack BWT: Burrows–Wheeler (1994) · manuale bzip2. Media: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
In conclusione: scegli un compressore che si adatti ai tuoi dati e ai tuoi vincoli, misura su input reali e non dimenticare i vantaggi derivanti dai dizionari e dal framing intelligente. Con la giusta accoppiata, puoi ottenere file più piccoli, trasferimenti più veloci e app più scattanti, senza sacrificare la correttezza o la portabilità.
Domande Frequenti
Cos'è la compressione dei file?
La compressione dei file è un processo che riduce le dimensioni di un file o di più file, tipicamente per risparmiare spazio di archiviazione o accelerare la trasmissione su una rete.
Come funziona la compressione dei file?
La compressione dei file funziona identificando e rimuovendo la ridondanza nei dati. Utilizza algoritmi per codificare i dati originali in uno spazio minore.
Quali sono i diversi tipi di compressione dei file?
I due principali tipi di compressione dei file sono la compressione senza perdita e la compressione con perdita. La compressione senza perdita permette di ripristinare perfettamente il file originale, mentre la compressione con perdita consente una riduzione di dimensioni pi ù significativa a costo di una certa perdita nella qualità dei dati.
Qual è un esempio di uno strumento di compressione dei file?
Un esempio popolare di uno strumento di compressione dei file è WinZip, che supporta più formati di compressione tra cui ZIP e RAR.
La compressione dei file influisce sulla qualità dei file?
Con la compressione senza perdita, la qualità rimane inalterata. Tuttavia, con la compressione con perdita, può esserci una diminuzione notevole della qualità perché elimina dati meno importanti per ridurre più significativamente la dimensione del file.
La compressione dei file è sicura?
Sì, la compressione dei file è sicura in termini di integrità dei dati, specialmente con la compressione senza perdita. Tuttavia, come qualsiasi file, i file compressi possono essere presi di mira da malware o virus, quindi è sempre importante avere in atto un software di sicurezza affidabile.
Quali tipi di file possono essere compressi?
Quasi tutti i tipi di file possono essere compressi, inclusi file di testo, immagini, audio, video e software. Tuttavia, il livello di compressione ottenibile può variare significativamente tra i tipi di file.
Cosa si intende per un file ZIP?
Un file ZIP è un tipo di formato di file che utilizza la compressione senza perdita per ridurre le dimensioni di uno o più file. Più file in un file ZIP sono effettivamente raggruppati insieme in un unico file, il che facilita anche la condivisione.
Posso comprimere un file già compresso?
Tecnicamente, sì, anche se la riduzione aggiuntiva delle dimensioni potrebbe essere minima o addirittura controproducente. Comprimere un file già compresso potrebbe a volte aumentare le sue dimensioni a causa dei metadati aggiunti dall'algoritmo di compressione.
Come posso decomprimere un file?
Per decomprimere un file, di solito ti serve uno strumento di decompressione o di estrazione, come WinZip o 7-Zip. Questi strumenti possono estrarre i file originali dal formato compresso.