POSIX lưu trữ định dạng, còn được gọi là định dạng 'ar', là một định dạng tệp được sử dụng để tạo và quản lý lưu trữ thư viện trên các hệ điều hành giống Unix. Định dạng này đã được IEEE chuẩn hóa trong đặc tả POSIX.1-1988 và kể từ đó đã được áp dụng rộng rãi trên nhiều nền tảng khác nhau. Định dạng ar cho phép đóng gói nhiều tệp thành một tệp duy nhất để dễ lưu trữ, phân phối và quản lý hơn.
Cấu trúc của một lưu trữ POSIX bao gồm một tiêu đề toàn cục theo sau là một loạt các thành viên lưu trữ. Mỗi thành viên đại diện cho một tệp đã được thêm vào lưu trữ. Tiêu đề toàn cục là một chuỗi ASCII đơn giản xác định tệp là lưu trữ ar. Nó bao gồm các ký tự '`!<arch> `', trong đó '` `' biểu thị một ký tự dòng mới. Tiêu đề này luôn có mặt ở đầu tệp lưu trữ.
Theo sau tiêu đề toàn cục, lưu trữ chứa một loạt các thành viên tệp. Mỗi thành viên bao gồm một tiêu đề tệp và chính dữ liệu tệp. Tiêu đề tệp là một cấu trúc có kích thước cố định chứa siêu dữ liệu về tệp, chẳng hạn như tên, dấu thời gian sửa đổi, ID chủ sở hữu và nhóm, chế độ tệp và kích thước. Tiêu đề được đệm bằng các khoảng trắng để duy trì kích thước cố định là 60 byte.
Tiêu đề tệp bắt đầu bằng tên tệp, được lưu trữ dưới dạng chuỗi ASCII kết thúc bằng ký tự null. Tên tệp bị giới hạn ở 16 ký tự và nếu tên tệp thực tế dài hơn, nó sẽ bị cắt bớt. Nếu tên tệp ngắn hơn 16 ký tự, nó sẽ được đệm bằng các khoảng trắng. Theo sau tên tệp, tiêu đề chứa dấu thời gian sửa đổi tệp, được lưu trữ dưới dạng chuỗi ASCII thập phân. Dấu thời gian biểu thị số giây kể từ kỷ nguyên Unix (ngày 1 tháng 1 năm 1970).
Tiếp theo, tiêu đề tệp bao gồm ID chủ sở hữu và nhóm của tệp, được lưu trữ dưới dạng chuỗi ASCII thập phân. Các ID này được sử dụng để quản lý quyền và quyền sở hữu tệp. Chế độ tệp cũng được lưu trữ trong tiêu đề dưới dạng chuỗi ASCII bát phân, biểu thị quyền và loại tệp. Chế độ cho biết tệp có phải là tệp thông thường, thư mục, liên kết tượng trưng hay có bất kỳ quyền đặc biệt nào không.
Kích thước của tệp được lưu trữ trong tiêu đề dưới dạng chuỗi ASCII thập phân, biểu thị số byte trong dữ liệu tệp theo sau tiêu đề. Nếu kích thước tệp không phải là số chẵn, một byte đệm bổ sung sẽ được thêm vào dữ liệu tệp để đảm bảo căn chỉnh đúng.
Sau tiêu đề tệp, dữ liệu tệp thực tế được lưu trữ trong lưu trữ. Dữ liệu được ghi nguyên trạng, không có bất kỳ định dạng hoặc nén bổ sung nào. Nếu kích thước tệp là số lẻ, một byte đệm bổ sung sẽ được thêm vào để duy trì căn chỉnh.
Quá trình tạo lưu trữ ar liên quan đến việc nối các tiêu đề tệp và dữ liệu của từng tệp thành viên thành một tệp lưu trữ duy nhất. Tiện ích ar, thường được tìm thấy trên các hệ thống giống Unix, được sử dụng để tạo, sửa đổi và trích xuất các tệp từ lưu trữ ar. Khi tạo lưu trữ, tiện ích ar thêm tiêu đề toàn cục, theo sau là tiêu đề tệp và dữ liệu của từng tệp thành viên.
Việc trích xuất các tệp từ lưu trữ ar liên quan đến việc đọc tiêu đề toàn cục để xác minh định dạng lưu trữ, sau đó quét qua lưu trữ đ ể xác định vị trí các thành viên tệp mong muốn. Tiện ích ar đọc các tiêu đề tệp để xác định tên tệp, kích thước và vị trí bù trong lưu trữ. Sau đó, nó trích xuất dữ liệu tệp dựa trên thông tin về kích thước và vị trí được lưu trữ trong các tiêu đề.
Một trong những trường hợp sử dụng chính cho định dạng ar là tạo lưu trữ thư viện tĩnh. Thư viện tĩnh là tập hợp các tệp đối tượng được liên kết trực tiếp vào tệp thực thi tại thời điểm biên dịch. Định dạng ar cho phép đóng gói nhiều tệp đối tượng thành một tệp thư viện duy nhất, sau đó có thể được liên kết với các tệp đối tượng hoặc thư viện khác để tạo tệp thực thi cuối cùng.
Định dạng ar cũng hỗ trợ việc tạo các lưu trữ mỏng, là các lưu trữ chỉ chứa các tham chiếu đến các tệp bên ngoài chứ không phải chính dữ liệu tệp. Lưu trữ mỏng rất hữu ích để giảm kích thước tệp lưu trữ và cho phép lưu trữ và phân phối hiệu quả hơn các bộ sưu tập tệp lớn.
Mặc dù định dạng ar được sử dụng và hỗ trợ rộng rãi, nhưng nó có một số hạn chế. Tiêu đề tệp có kích thước cố định giới hạn độ dài của tên tệp và kích thước tệp tối đa có thể được lưu trữ trong lưu trữ. Ngoài ra, định dạng ar không cung cấp bất kỳ nén hoặc mã hóa tích hợp nào, điều này có thể cần thiết cho một số trường hợp sử dụng nhất định.
Bất chấp những hạn chế của nó, định dạng lưu trữ POSIX vẫn là một phương pháp đơn giản và hiệu quả để đóng gói và quản lý các bộ sưu tập tệp trên các hệ thống giống Unix. Việc chuẩn hóa và áp dụng rộng rãi của nó làm cho nó trở thành một lựa chọn đáng tin cậy để tạo các thư viện tĩnh, phân phối các gói phần mềm và lưu trữ dữ liệu.
Tóm lại, định dạng lưu trữ POSIX là một định dạng tệp được sử dụng để tạo và quản lý các lưu trữ thư viện trên các hệ điều hành giống Unix. Nó bao gồm một tiêu đề toàn cục theo sau là một loạt các thành viên tệp, mỗi thành viên chứa một tiêu đề tệp và dữ liệu tệp. Tiện ích ar được sử dụng để tạo, sửa đổi và trích xuất các tệp từ lưu trữ ar và định dạng này thường được sử dụng để tạo các lưu trữ thư viện tĩnh và đóng gói các bộ sưu tập tệp. Mặc dù có một số hạn chế, định dạng ar vẫn là một phương pháp đơn giản và được hỗ trợ rộng rãi để quản lý các tệp trên các hệ thống giống Unix.
Nén tệp giảm độ dư thừa để cùng một lượng thông tin sử dụng ít bit hơn. Giới hạn trên được quyết định bởi lý thuyết thông tin: với nén không mất dữ liệu, giới hạn là entropy của nguồn (xem định lý mã nguồn của Shannon source coding theorem và bài báo gốc năm 1948 “A Mathematical Theory of Communication”). Với nén mất dữ liệu, sự đánh đổi giữa bitrate và chất lượng được mô tả bởi lý thuyết rate–distortion.
Hầu hết bộ nén có hai giai đoạn. Đầu tiên một mô hình dự đoán hoặc lộ ra cấu trúc trong dữ liệu. Sau đó một bộ mã biến các dự đoán đó thành mẫu bit gần tối ưu. Gia đình kinh điển là Lempel–Ziv LZ77 (1977) và LZ78 (1978) phát hiện chuỗi lặp rồi phát các tham chiếu thay vì byte thô. Ở phía mã hóa mã Huffman (bài gốc 1952) gán mã ngắn hơn cho ký hiệu có xác suất cao. Mã hóa số học và range coding tiến gần hơn nữa tới giới hạn entropy, trong khi Asymmetric Numeral Systems (ANS) hiện đại đạt được tỷ lệ tương tự với các bảng tra cứu nhanh.
DEFLATE (dùng bởi gzip, zlib, ZIP) kết hợp LZ77 và Huffman. Đặc tả đều mở: DEFLATE RFC 1951, lớp bọc zlib RFC 1950và định dạng gzip RFC 1952. Gzip được thiết kế cho streaming và không cung cấp truy cập ngẫu nhiên. PNG chuẩn hóa DEFLATE là phương pháp duy nhất (cửa sổ tối đa 32 KiB) theo đặc tả “Compression method 0…” và W3C/ISO PNG 2nd Edition.
Zstandard (zstd): bộ nén đa dụng mới cung cấp tỷ lệ cao và giải nén cực nhanh. Định dạng có trong RFC 8878 (cùng bản HTML) và đặc tả tham chiếu trên GitHub. Như gzip, frame cơ bản không nhắm tới truy cập ngẫu nhiên. Siêu năng lực của zstd là từ điển: mẫu nhỏ từ tập dữ liệu giúp hàng loạt tệp nhỏ/giống nhau nén tốt hơn (xem tài liệu python-zstandard và ví dụ của Nigel Tao). Triển khai hỗ trợ cả từ điển “unstructured” lẫn “structured” (thảo luận).
Brotli: tối ưu cho nội dung web (font WOFF2, HTTP). Kết hợp từ điển tĩnh và lõi LZ+entropy giống DEFLATE. Đặc tả là RFC 7932, mô tả cửa sổ 2WBITS−16 với WBITS [10, 24] (1 KiB−16 B tới 16 MiB−16 B) và rằng nó không cung cấp truy cập ngẫu nhiên. Brotli thường vượt gzip trên văn bản web và giải nén nhanh.
Vỏ chứa ZIP: ZIP là kho tệp có thể lưu nhiều phương pháp nén (deflate, store, zstd...). Chuẩn thực tế là APPNOTE của PKWARE (xem cổng APPNOTE, bản lưu trữvà tóm tắt của LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ưu tiên tốc độ tuyệt đối với tỷ lệ vừa phải. Xem trang dự án và định dạng frame. Lý tưởng cho cache trong RAM, telemetri hoặc đường nóng cần giải nén gần tốc độ bộ nhớ.
XZ / LZMA hướng đến mật độ cao (tỷ lệ tốt) với thời gian nén chậm hơn. XZ là vỏ chứa; công việc chính do LZMA/LZMA2 (mô hình LZ77 + range coding) đảm nhiệm. Xem định dạng .xz, đặc tả LZMA (Pavlov)và ghi chú kernel Linux về XZ Embedded. XZ thường nén tốt hơn gzip và cạnh tranh với codec hiện đại, nhưng mã hóa lâu hơn.
bzip2 dùng Biến đổi Burrows–Wheeler (BWT), move-to-front, RLE và Huffman. Thường nhỏ hơn gzip nhưng chậm hơn; xem hướng dẫn chính thức và trang man (Linux).
Kích thước “cửa sổ” rất quan trọng. Tham chiếu DEFLATE chỉ nhìn lại 32 KiB (RFC 1951) và giới hạn 32 KiB của PNG được nêu ở đây. Brotli hỗ trợ cửa sổ từ ~1 KiB đến 16 MiB (RFC 7932). Zstd điều chỉnh cửa sổ và độ sâu tìm kiếm theo level (RFC 8878). Dòng cơ sở của gzip/zstd/brotli hướng tới giải nén tuần tự; bản thân định dạng không hứa truy cập ngẫu nhiên, nhưng các vỏ chứa (tar có chỉ mục, framing theo khối, chỉ mục chuyên biệt) có thể bổ sung.
Các định dạng trên là lossless: bạn khôi phục đúng byte ban đầu. Codec media thường lossy: loại bỏ chi tiết khó nhận biết để giảm bitrate. Với ảnh, JPEG cổ điển (DCT, lượng tử hóa, mã entropy) được chuẩn hóa trong ITU-T T.81 / ISO/IEC 10918-1. Với âm thanh, MP3 (MPEG-1 Layer III) và AAC (MPEG-2/4) dùng mô hình cảm nhận và biến đổi MDCT (xem ISO/IEC 11172-3, ISO/IEC 13818-7và tổng quan MDCT tại đây). Lossy và lossless có thể cùng tồn tại (ví dụ PNG cho UI, codec web cho ảnh/video/audio).
Lý thuyết Shannon 1948 · Rate–distortion · Mã hóa Huffman 1952 · Mã số học · Range coding · ANS. Định dạng DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · định dạng XZ. Chuỗi BWT Burrows–Wheeler (1994) · hướng dẫn bzip2. Media JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Tóm lại: hãy chọn bộ nén phù hợp dữ liệu và ràng buộc của bạn, đo trên dữ liệu thực và đừng quên lợi ích từ từ điển cùng cách đóng gói thông minh. Khi ghép đúng, bạn sẽ có tệp nhỏ hơn, truyền nhanh hơn và ứng dụng phản hồi hơn mà không hy sinh độ chính xác hay tính di động.
Nén file là quá trình giảm kích thước của một file hoặc các file, thường để tiết kiệm không gian lưu trữ hoặc tăng tốc độ truyền trên mạng.
Nén file hoạt động bằng cách xác định và loại bỏ sự trùng lặp trong dữ liệu. Nó sử dụng thuật toán để mã hóa dữ liệu gốc trong một không gian nhỏ hơn.
Hai loại chính của nén file là nén lossless và lossy. Nén lossless cho phép phục hồi hoàn toàn file gốc, trong khi nén lossy cho phép giảm kích thước đáng kể hơn nhưng có thể mất một phần chất lượng dữ liệu.
Một ví dụ phổ biến về công cụ nén file là WinZip, hỗ trợ nhiều định dạng nén bao gồm ZIP và RAR.
Với nén lossless, chất lượng không thay đổi. Tuy nhiên, với nén lossy, có thể có sự giảm chất lượng rõ rệt do nó loại bỏ dữ liệu ít quan trọng để giảm kích thước file đáng kể hơn.
Có, nén file an toàn về mặt tính toàn vẹn của dữ liệu, đặc biệt với nén lossless. Tuy nhiên, giống như bất kỳ file nào, file nén có thể bị mục tiêu bởi malware hoặc virus, vì vậy luôn quan trọng khi có phần mềm bảo mật uy tín.
Hầu như tất cả các loại file đều có thể được nén, bao gồm file văn bản, hình ảnh, audio, video và file phần mềm. Tuy nhiên, mức độ nén có thể thực hiện đáng kể có thể thay đổi giữa các loại file khác nhau.
ZIP file là một loại định dạng file sử dụng nén lossless để giảm kích thước của một hoặc nhiều file. Nhiều file trong một ZIP file effectively được gói lại thành một file duy nhất, điều này cũng giúp việc chia sẻ dễ dàng hơn.
Về mặt kỹ thuật, có, mặc dù việc giảm kích thước thêm có thể tối thiểu hoặc thậm chí phản tác dụng. Nén một file đã được nén đôi khi có thể tăng kích thước do metadata được thêm vào bởi thuật toán nén.
Để giải nén một file, bạn thường cần một công cụ giải nén hoặc giải nén, như WinZip hoặc 7-Zip. Những công cụ này có thể trích xuất các file gốc từ định dạng nén.