Web ARChive (WARC) 格式是一種標準檔案格式，用於封存網路爬取資料。它是由國際網路保存聯盟 (IIPC) 開發的，作為舊版網路檔案 ARC 格式的改良版本。WARC 檔案包含連接的內容區塊序列，每個區塊都包含純文字標頭和二進位內容資料，使其更適合長期保存和存取網路資源。
WARC 檔案設計用於儲存主流網路應用層協定的有效負載內容和控制資訊，例如 HTTP、DNS 和 FTP。每個 WARC 檔案都是一個獨立的封存檔，允許它在單一檔案中儲存多個離散資源。這使其成為網路爬蟲儲存和處理大量網路資料的有效且便利的格式。
WARC 格式規範定義了幾種類型的記錄，每個記錄在封存過程中都有特定的用途： - `warcinfo`：包含 WARC 檔案本身的元資料，例如用於建立它的軟體、建立日期和任何關於爬取的額外資訊。 - `response`：儲存 HTTP 回應訊息，包括標頭和主體，由網路伺服器傳回。 - `request`：儲存網路爬蟲傳送給網路伺服器的 HTTP 請求訊息。 - `metadata`：包含關於資源的額外資訊，例如病毒掃描的結果或從 HTML 頁面萃取的文字。 - `revisit`：表示資源的內容自上次擷取以來沒有變更，允許更有效率地儲存和重播網路封存檔。 - `conversion`：儲存將資源從一種格式轉換成另一種格式的結果，例如將 HTML 頁面轉換成純文字。
每個 WARC 記錄都包含一個純文字標頭和一個二進位內容區塊。標頭包含提供關於記錄的元資料的鍵值對，例如 WARC 記錄類型、資源的 URI、擷取日期和時間，以及內容長度。二進位內容區塊儲存資源的實際資料，例如 HTTP 回應主體或 FTP 傳輸的有效負載。
WARC 格式的主要優點之一是它能夠在單一檔案中儲存多個資源，同時維護每個資源的完整性和內容。這是透過在 WARC 檔案中的記錄中使用階層式命名方案來實現的。每個記錄都指定一個唯一的識別碼，它包含一個強制性的檔案名稱和一個可選的記錄 ID。這允許在 WARC 檔案中輕鬆擷取和管理個別資源。
WARC 檔案也支援壓縮，這有助於減少儲存需求並改善傳輸速度。與 WARC 檔案一起使用的最常見壓縮演算法是 gzip 和 bzip2。壓縮的 WARC 檔案通常分別具有副檔名 `.warc.gz` 或 `.warc.bz2`。
為了促進 WARC 檔案的處理和分析，已經開發了各種軟體工具和函式庫。這些包括像 Heritrix 這樣的網路爬蟲，它可以直接輸出 WARC 檔案，以及像 OpenWayback 這樣的工具，它可以從 WARC 檔案重播封存的網頁。程式設計函式庫，例如 Java Web Archive Toolkit (JWAT) 和 Python WarcIO 函式庫，提供用於讀取、寫入和處理 WARC 檔案的 API。
WARC 格式已成為網路封存的事實標準，這要歸功於它的健壯性、靈活性，以及參與網路保存的機構和組織的廣泛採用。它已經促成了大規模網路封存檔的建立，例如網際網路檔案館的 Wayback Machine，它包含自 1996 年以來擷取的超過 4750 億個網頁。
總之，WARC 格式是為後代保存和存取網路資訊的關鍵工具。它的標準化結構、對多種記錄類型的支援，以及儲存內容和元資料的能力使其成為封存不斷成長和演進的網路的理想格式。隨著網路在我們的生活中扮演越來越重要的角色，WARC 格式無疑將繼續成為網路保存工作的重要組成部分。
檔案壓縮透過減少冗餘，讓相同的資訊佔用更少的位元。可壓縮的上限受資訊理論約束：對於無失真壓縮，上界是信源熵（參見香農的信源編碼定理以及他於 1948 年發表的《通信的數學理論》）。對於有失真壓縮，碼率與感知品質之間的權衡由率失真理論描述。
多數壓縮器分兩個階段。首先，模型會預測或揭露資料中的結構。接著，編碼器把這些預測轉成近乎最優的位元型態。經典的建模家族是 Lempel–Ziv：LZ77 (1977)及 LZ78 (1978) 會偵測重複子字串並輸出參照而非原始位元組。編碼面則由霍夫曼編碼（見原始論文1952）為較常出現的符號分配更短的碼字。算術編碼與範圍編碼再進一步逼近熵極限，而現代的非對稱數值系統（ANS）則用查表方式取得相似壓縮率。
DEFLATE（被 gzip、zlib 與 ZIP 採用）把 LZ77 和霍夫曼編碼結合。其規格完全公開：DEFLATERFC 1951、zlib 封裝RFC 1950以及 gzip 檔案格式RFC 1952。Gzip 針對串流設計並明確不 提供隨機存取。PNG 影像則把 DEFLATE 規範為唯一的壓縮方式（視窗最多 32 KiB），詳見 PNG 規格「Compression method 0… deflate/inflate… at most 32768 bytes」與W3C/ISO PNG 第二版。
Zstandard (zstd)： 針對高壓縮率與極快解壓而設計的通用壓縮器。格式記載於RFC 8878（以及HTML 鏡像）和 GitHub 上的參考規格文件。與 gzip 類似，基本框架並不追求隨機存取。zstd 的絕招是字典：從語料擷取的小樣本能大幅改善許多小型或相似檔案的壓縮（參閱python-zstandard 字典文件與Nigel Tao 的示例）。各實作同時支援「非結構化」與「結構化」字典（討論）。
Brotli： 為網頁內容（如 WOFF2 字體、HTTP）優化，結合靜態字典與類 DEFLATE 的 LZ+熵編碼核心。規格載於RFC 7932，文件同時指出滑動視窗為 2WBITS-16，WBITS 介於 [10, 24]（1 KiB-16 B 至 16 MiB-16 B），並且不嘗試隨機存取。Brotli 常在網頁文字上優於 gzip，解碼也相當快速。
ZIP 容器： ZIP 是一種檔案封存格式，可存放使用多種壓縮法（deflate、store、zstd 等）的項目。權威規格是 PKWARE 的 APPNOTE（參見APPNOTE 入口、托管副本以及美國國會圖書館的概覽ZIP File Format (PKWARE)/ZIP 6.3.3）。
檔案壓縮是一個減少檔案或檔案群大小的過程，通常用於節省儲存空間或加速網路傳輸。
檔案壓縮運作原理，透過識別並移除數據中的冗餘資訊。它使用演算法將原始數據編碼在較小的空間裡。
兩種主要的檔案壓縮類型是無失真及有失真壓縮。無失真壓縮可以完美地恢復原始檔案，然而有失真壓縮在一些資料品質的損 失下能得到更大的壓縮程度。
一個常見的檔案壓縮工具範例是WinZip，它支援多種壓縮格式包括ZIP與RAR。
在無失真壓縮中，質量保持不變。然而，在有失真壓縮中，可能會有顯著的質量下降，因為它刪除了一些較不重要的數據以便更大程度地減少檔案大小。
是的，相對於資料的完整性來說，檔案壓縮是安全的，尤其是無失真壓縮。然而，如同所有檔案，被壓縮的檔案也可能受到惡意軟體或病毒的攻擊，所以總是需要有專業的安全軟體以保護。
幾乎所有種類的檔案都可以被壓縮，包括文字檔案、圖像、音訊、視頻和軟體檔案。然而，壓縮程度可以因檔案類型而有顯著的不同。
ZIP檔是一種使用無失真壓縮以減少一個或多個檔案大小的檔案格式。在ZIP檔中的多個檔案被有效地打包為單一的檔案，這也讓分享變得更加容易。
技術上可行，儘管額外的大小減少可能非常小或甚至適得其反。壓縮一個已經壓縮過的檔案有時可能會增加其大小，原因在於壓縮演算法所增加的metadata。
解壓壓縮的檔案，通常需要一個解壓縮或解zip的工具，像是WinZip或7-Zip。這些工具可以从壓縮格式中提取原始檔案。