PAX (Packed Archive Format) là định dạng tệp được sử dụng để lưu trữ và nén tệp và thư mục. Định dạng này ban đầu được Google phát triển và dựa trên sự kết hợp các kỹ thuật từ định dạng ZIP và tar. PAX nhằm mục đích cung cấp khả năng nén hiệu quả, truy cập ngẫu nhiên nhanh vào các tệp và khả năng mở rộng cho siêu dữ liệu tùy chỉnh.
Về cơ bản, kho lưu trữ PAX bao gồm một thư mục trung tâm chứa siêu dữ liệu về các tệp được lưu trữ, theo sau là chính dữ liệu tệp đã nén. Thư mục trung tâm luôn nằm ở cuối kho lưu trữ để truy cập nhanh mà không cần phải quét toàn bộ tệp.
Mỗi mục nhập tệp trong thư mục trung tâm bao gồm thông tin như đường dẫn tệp, kích thước, dấu thời gian, tổng kiểm CRC32 và phương pháp nén được sử dụng. Đường dẫn tệp được lưu trữ dưới dạng chuỗi Unicode, cho phép hỗ trợ các tên tệp không phải ASCII. PAX sử dụng mã hóa UTF-8 cho các đường dẫn tệp.
Để nén, PAX hỗ trợ nhiều thuật toán bao gồm DEFLATE, Brotli và Zstandard (zstd). DEFLATE là phương pháp mặc định, đây cũng là thuật toán được sử dụng trong ZIP và gzip. Phương pháp này cung cấp sự cân bằng tốt giữa tỷ lệ nén và tốc độ. Brotli và Zstandard là các thuật toán mới hơn có thể cung cấp tỷ lệ nén tốt hơn, đặc biệt là đối với một số loại dữ liệu như tệp văn bản, nhưng tốc độ nén và giải nén chậm hơn.
Dữ liệu tệp đã nén trong PAX được lưu trữ theo từng khối, với mỗi khối có kích thước tối đa khi giải nén là 1 MB. Lưu trữ theo khối này cho phép truy cập ngẫu nhiên hiệu quả vào các tệp, vì chỉ cần xác định vị trí và giải nén các khối cần thiết để trích xuất một tệp cụ thể, thay vì xử lý toàn bộ kho lưu trữ.
Một trong những tính năng chính của PAX là hỗ trợ nén rắn. Với nén rắn, kho lưu trữ được coi là một luồng dữ liệu liên tục duy nhất, chứ không phải là một tập hợp các tệp riêng biệt. Điều này cho phép trình nén tìm ra các phần dư thừa và mẫu trên các ranh giới tệp, có khả năng dẫn đến tỷ lệ nén cao hơn. Tuy nhiên, nén rắn có thể ảnh hưởng đến khả năng truy cập nhanh vào các tệp riêng lẻ, vì có thể cần phải giải nén toàn bộ kho lưu trữ cho đến tệp mong muốn.
PAX cũng bao gồm các kiểm tra toàn vẹn để phát hiện lỗi dữ liệu. Mỗi mục nhập tệp trong thư mục trung tâm bao gồm tổng kiểm CRC32 của dữ liệu tệp chưa nén. Khi trích xuất các tệp, PAX sẽ tính tổng kiểm của dữ liệu đã giải nén và so sánh với tổng kiểm đã lưu trữ để xác minh tính toàn vẹn. Ngoài ra, kho lưu trữ PAX có thể bao gồm chữ ký số tùy chọn để cung cấp xác thực và phát hiện giả mạo.
Để cải thiện hiệu suất, PAX hỗ trợ nén và giải nén đa luồng. Các tệp có thể được nén và ghi vào kho lưu trữ song song, sử dụng nhiều lõi CPU. Tương tự, trong quá trình trích xuất, nhiều tệp có thể được giải nén đồng thời. Xử lý song song này có thể tăng tốc đáng kể các hoạt động lưu trữ và trích xuất trên các hệ thống đa lõi.
Kho lưu trữ PAX cũng có thể lưu trữ siêu dữ liệu bổ sung ngoài các thuộc tính tệp chuẩn. Siêu dữ liệu tùy chỉnh có thể được gán cho các tệp và thư mục bằng cách sử dụng các cặp khóa-giá trị. Siêu dữ liệu này được lưu trữ trong thư mục trung tâm cùng với các mục nhập tệp. Ví dụ về siêu dữ liệu tùy chỉnh có thể bao gồm thông tin tác giả, danh mục tệp hoặc dữ liệu cụ thể của ứng dụng.
Hỗ trợ phát trực tuyến là một tính năng khác của PAX. Kho lưu trữ có thể được tạo và trích xuất theo cách phát trực tuyến, mà không cần phải tải toàn bộ kho lưu trữ vào bộ nhớ. Điều này đặc biệt hữu ích khi xử lý các kho lưu trữ lớn hoặc khi làm việc với tài nguyên bộ nhớ hạn chế. Phát trực tuyến cho phép tạo kho lưu trữ ngay lập tức hoặc xử lý khi dữ liệu đang được nhận qua kết nối mạng.
Để tương thích ngược và khả năng tương tác, kho lưu trữ PAX có thể bao gồm một kho lưu trữ ZIP dự phòng. Kho lưu trữ ZIP được thêm vào cuối kho lưu trữ PAX và chứa các tệp tương tự ở định dạng ZIP truyền thống. Điều này cho phép các công cụ cũ hơn không hỗ trợ PAX vẫn có thể trích xuất các tệp từ phần ZIP của kho lưu trữ.
PAX đã trở nên phổ biến nhờ hiệu quả, tính linh hoạt và triển khai nguồn mở. Định dạng này được hỗ trợ bởi nhiều công cụ và thư viện lưu trữ trên các nền tảng khác nhau. Triển khai tham chiếu, được gọi là libpax, được viết bằng C và cung cấp API cấp thấp để tạo và trích xuất kho lưu trữ PAX.
Một trong những hạn chế của PAX là không hỗ trợ mã hóa gốc. Tuy nhiên, có thể mã hóa bằng cách kết hợp PAX với các kỹ thuật mã hóa khác hoặc bằng cách sử dụng các công cụ của bên thứ ba dựa trên định dạng PAX.
Tóm lại, PAX (Packed Archive Format) là một định dạng lưu trữ tệp linh hoạt và hiệu quả, cung cấp các tính năng như truy cập ngẫu nhiên nhanh, nén rắn, xử lý song song, siêu dữ liệu tùy chỉnh và hỗ trợ phát trực tuyến. Sự kết hợp giữa các thuật toán nén, lưu trữ theo khối và khả năng mở rộng khiến PAX trở thành lựa chọn hấp dẫn để lưu trữ và phân phối tệp.
Nén tệp giảm độ dư thừa để cùng một lượng thông tin sử dụng ít bit hơn. Giới hạn trên được quyết định bởi lý thuyết thông tin: với nén không mất dữ liệu, giới hạn là entropy của nguồn (xem định lý mã nguồn của Shannon source coding theorem và bài báo gốc năm 1948 “A Mathematical Theory of Communication”). Với nén mất dữ liệu, sự đánh đổi giữa bitrate và chất lượng được mô tả bởi lý thuyết rate–distortion.
Hầu hết bộ nén có hai giai đoạn. Đầu tiên một mô hình dự đoán hoặc lộ ra cấu trúc trong dữ liệu. Sau đó một bộ mã biến các dự đoán đó thành mẫu bit gần tối ưu. Gia đình kinh điển là Lempel–Ziv LZ77 (1977) và LZ78 (1978) phát hiện chuỗi lặp rồi phát các tham chiếu thay vì byte thô. Ở phía mã hóa mã Huffman (bài gốc 1952) gán mã ngắn hơn cho ký hiệu có xác suất cao. Mã hóa số học và range coding tiến gần hơn nữa tới giới hạn entropy, trong khi Asymmetric Numeral Systems (ANS) hiện đại đạt được tỷ lệ tương tự với các bảng tra cứu nhanh.
DEFLATE (dùng bởi gzip, zlib, ZIP) kết hợp LZ77 và Huffman. Đặc tả đều mở: DEFLATE RFC 1951, lớp bọc zlib RFC 1950và định dạng gzip RFC 1952. Gzip được thiết kế cho streaming và không cung cấp truy cập ngẫu nhiên. PNG chuẩn hóa DEFLATE là phương pháp duy nhất (cửa sổ tối đa 32 KiB) theo đặc tả “Compression method 0…” và W3C/ISO PNG 2nd Edition.
Zstandard (zstd): bộ nén đa dụng mới cung cấp tỷ lệ cao và giải nén cực nhanh. Định dạng có trong RFC 8878 (cùng bản HTML) và đặc tả tham chiếu trên GitHub. Như gzip, frame cơ bản không nhắm tới truy cập ngẫu nhiên. Siêu năng lực của zstd là từ điển: mẫu nhỏ từ tập dữ liệu giúp hàng loạt tệp nhỏ/giống nhau nén tốt hơn (xem tài liệu python-zstandard và ví dụ của Nigel Tao). Triển khai hỗ trợ cả từ điển “unstructured” lẫn “structured” (thảo luận).
Brotli: tối ưu cho nội dung web (font WOFF2, HTTP). Kết hợp từ điển tĩnh và lõi LZ+entropy giống DEFLATE. Đặc tả là RFC 7932, mô tả cửa sổ 2WBITS−16 với WBITS [10, 24] (1 KiB−16 B tới 16 MiB−16 B) và rằng nó không cung cấp truy cập ngẫu nhiên. Brotli thường vượt gzip trên văn bản web và giải nén nhanh.
Vỏ chứa ZIP: ZIP là kho tệp có thể lưu nhiều phương pháp nén (deflate, store, zstd...). Chuẩn thực tế là APPNOTE của PKWARE (xem cổng APPNOTE, bản lưu trữvà tóm tắt của LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ưu tiên tốc độ tuyệt đối với tỷ lệ vừa phải. Xem trang dự án và định dạng frame. Lý tưởng cho cache trong RAM, telemetri hoặc đường nóng cần giải nén gần tốc độ bộ nhớ.
XZ / LZMA hướng đến mật độ cao (tỷ lệ tốt) với thời gian nén chậm hơn. XZ là vỏ chứa; công việc chính do LZMA/LZMA2 (mô hình LZ77 + range coding) đảm nhiệm. Xem định dạng .xz, đặc tả LZMA (Pavlov)và ghi chú kernel Linux về XZ Embedded. XZ thường nén tốt hơn gzip và cạnh tranh với codec hiện đại, nhưng mã hóa lâu hơn.
bzip2 dùng Biến đổi Burrows–Wheeler (BWT), move-to-front, RLE và Huffman. Thường nhỏ hơn gzip nhưng chậm hơn; xem hướng dẫn chính thức và trang man (Linux).
Kích thước “cửa sổ” rất quan trọng. Tham chiếu DEFLATE chỉ nhìn lại 32 KiB (RFC 1951) và giới hạn 32 KiB của PNG đư ợc nêu ở đây. Brotli hỗ trợ cửa sổ từ ~1 KiB đến 16 MiB (RFC 7932). Zstd điều chỉnh cửa sổ và độ sâu tìm kiếm theo level (RFC 8878). Dòng cơ sở của gzip/zstd/brotli hướng tới giải nén tuần tự; bản thân định dạng không hứa truy cập ngẫu nhiên, nhưng các vỏ chứa (tar có chỉ mục, framing theo khối, chỉ mục chuyên biệt) có thể bổ sung.
Các định dạng trên là lossless: bạn khôi phục đúng byte ban đầu. Codec media thường lossy: loại bỏ chi tiết khó nhận biết để giảm bitrate. Với ảnh, JPEG cổ điển (DCT, lượng tử hóa, mã entropy) được chuẩn hóa trong ITU-T T.81 / ISO/IEC 10918-1. Với âm thanh, MP3 (MPEG-1 Layer III) và AAC (MPEG-2/4) dùng mô hình cảm nhận và biến đổi MDCT (xem ISO/IEC 11172-3, ISO/IEC 13818-7và tổng quan MDCT tại đây). Lossy và lossless có thể cùng tồn tại (ví dụ PNG cho UI, codec web cho ảnh/video/audio).
Lý thuyết Shannon 1948 · Rate–distortion · Mã hóa Huffman 1952 · Mã số học · Range coding · ANS. Định dạng DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · định dạng XZ. Chuỗi BWT Burrows–Wheeler (1994) · hướng dẫn bzip2. Media JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Tóm lại: hãy chọn bộ nén phù hợp dữ liệu và ràng buộc của bạn, đo trên dữ liệu thực và đừng quên lợi ích từ từ điển cùng cách đóng gói thông minh. Khi ghép đúng, bạn sẽ có tệp nhỏ hơn, truyền nhanh hơn và ứng dụng phản hồi hơn mà không hy sinh độ chính xác hay tính di động.
Nén file là quá trình giảm kích thước của một file hoặc các file, thường để tiết kiệm không gian lưu trữ hoặc tăng tốc độ truyền trên mạng.
Nén file hoạt động bằng cách xác định và loại bỏ sự trùng lặp trong dữ liệu. Nó sử dụng thuật toán để mã hóa dữ liệu gốc trong một không gian nhỏ hơn.
Hai loại chính của nén file là nén lossless và lossy. Nén lossless cho phép phục hồi hoàn toàn file gốc, trong khi nén lossy cho phép giảm kích thước đáng kể hơn nhưng có thể mất một phần chất lượng dữ liệu.
Một ví dụ phổ biến về công cụ nén file là WinZip, hỗ trợ nhiều định dạng nén bao gồm ZIP và RAR.
Với nén lossless, chất lượng không thay đổi. Tuy nhiên, với nén lossy, có thể có sự giảm chất lượng rõ rệt do nó loại bỏ dữ liệu ít quan trọng để giảm kích thước file đáng kể hơn.
Có, nén file an toàn về mặt tính toàn vẹn của dữ liệu, đặc biệt với nén lossless. Tuy nhiên, giống như bất kỳ file nào, file nén có thể bị mục tiêu bởi malware hoặc virus, vì vậy luôn quan trọng khi có phần mềm bảo mật uy tín.
Hầu như tất cả các loại file đều có thể được nén, bao gồm file văn bản, hình ảnh, audio, video và file phần mềm. Tuy nhiên, mức độ nén có thể thực hiện đáng kể có thể thay đổi giữa các loại file khác nhau.
ZIP file là một loại định dạng file sử dụng nén lossless để giảm kích thước của một hoặc nhiều file. Nhiều file trong một ZIP file effectively được gói lại thành một file duy nhất, điều này cũng giúp việc chia sẻ dễ dàng hơn.
Về mặt kỹ thuật, có, mặc dù việc giảm kích thước thêm có thể tối thiểu hoặc thậm chí phản tác dụng. Nén một file đã được nén đôi khi có thể tăng kích thước do metadata được thêm vào bởi thuật toán nén.
Để giải nén một file, bạn thường cần một công cụ giải nén hoặc giải nén, như WinZip hoặc 7-Zip. Những công cụ này có thể trích xuất các file gốc từ định dạng nén.