USTAR (Unix Standard Tape Archive) là định dạng tệp được sử dụng để lưu trữ và phân phối tệp trên Unix và các hệ điều hành giống Unix. Nó được giới thiệu vào những năm 1980 như một phương pháp chuẩn hóa để tạo kho lưu băng có thể dễ dàng trao đổi giữa các hệ thống Unix khác nhau. Định dạng USTAR kể từ đó đã trở thành một tiêu chuẩn được sử dụng rộng rãi để đóng gói và phân phối phần mềm, dữ liệu và các tệp khác trên nhiều nền tảng.
Định dạng USTAR là phần mở rộng của định dạng TAR (Tape Archive) trước đó, được sử dụng để tạo tệp lưu trữ trên băng từ. Định dạng TAR cho phép kết hợp nhiều tệp thành một tệp lưu trữ duy nhất, giúp dễ dàng lưu trữ và truyền các bộ sưu tập tệp lớn. Tuy nhiên, định dạng TAR ban đầu có những hạn chế, chẳng hạn như độ dài tên tệp tối đa là 99 ký tự và kích thước tệp tối đa là 8 GB.
Để giải quyết những hạn chế này, định dạng USTAR đã được phát triển như một cải tiến so với định dạng TAR ban đầu. Định dạng USTAR đã giới thiệu một số cải tiến, bao gồm hỗ trợ tên tệp dài hơn (tối đa 255 ký tự), kích thước tệp lớn hơn (tối đa 8 EB hoặc 8 exabyte) và các trường siêu dữ liệu bổ sung để lưu trữ các thuộc tính và quyền tệp.
Tệp lưu trữ USTAR bao gồm một loạt các bản ghi tệp, mỗi bản ghi đại diện cho một tệp hoặc thư mục được lưu trữ trong kho lưu trữ. Mỗi bản ghi tệp bao gồm một tiêu đề và dữ liệu tệp thực tế. Tiêu đề chứa siêu dữ liệu về tệp, chẳng hạn như tên, kích thước, quyền sở hữu, quyền và thời gian sửa đổi. Dữ liệu tệp theo sau tiêu đề và được lưu trữ dưới dạng một kh ối byte liền kề.
Tiêu đề USTAR có kích thước cố định là 512 byte và được chia thành nhiều trường. Một số trường quan trọng trong tiêu đề bao gồm:
1. Tên tệp: Chuỗi kết thúc bằng ký tự null chứa tên tệp hoặc thư mục, dài tới 255 ký tự.
2. Chế độ tệp: Số bát phân 12 ký tự biểu thị quyền và bit chế độ của tệp.
3. ID chủ sở hữu và nhóm: ID người dùng và nhóm số liên kết với tệp.
4. Kích thước tệp: Số bát phân 12 ký tự biểu thị kích thước tệp tính bằng byte.
5. Thời gian sửa đổi: Số bát phân 12 ký tự biểu thị thời gian sửa đổi cuối cùng của tệp dưới dạng số giây kể từ ngày 1 tháng 1 năm 1970.
6. Tổng kiểm tra tiêu đề: Số bát phân 8 ký tự được sử dụng để phát hiện lỗi.
Định dạng USTAR cũng bao gồm hỗ trợ cho các loại tệp đặc biệt, chẳng hạn như liên kết tượng trưng, liên kết cứng và tệp thiết bị. Các tệp đặc biệt này được biểu diễn bằng các trường tiêu đề cụ thể và được xử lý khác nhau trong quá trình trích xuất.
Khi tạo kho lưu trữ USTAR, tiện ích lưu trữ (chẳng hạn như lệnh `tar`) sẽ đọc các tệp và thư mục được chỉ định, tạo các tiêu đề thích hợp cho từng tệp và nối các tiêu đề và dữ liệu tệp thành một tệp lưu trữ duy nhất. Tệp lưu trữ kết quả có thể được nén bằng nhiều thuật toán nén khác nhau, chẳng hạn như gzip hoặc bzip2, để giảm kích thước của tệp.
Để trích xuất các tệp từ kho lưu trữ USTAR, tiện ích trích xuất sẽ đọc tệp lưu trữ theo tuần tự, phân tích cú pháp các tiêu đề để lấy thông tin về từng tệp. Sau đó, nó tạo các tệp và thư mục cần thiết dựa trên siêu dữ liệu được lưu trữ trong các tiêu đề và ghi dữ liệu tệp vào các vị trí thích hợp.
Định dạng USTAR đã được áp dụng rộng rãi và được hỗ trợ bởi nhiều công cụ lưu trữ và nén trên các hệ điều hành khác nhau. Nó cung cấp một cách tiêu chuẩn hóa và di động để đóng gói và phân phối các tệp, đảm bảo khả năng tương thích và dễ sử dụng.
Tuy nhiên, cần lưu ý rằng định dạng USTAR có một số hạn chế. Ví dụ, nó không hỗ trợ tên tệp dài hơn 255 ký tự hoặc kích thước tệp lớn hơn 8 EB. Ngoài ra, nó thiếu các tính năng mã hóa hoặc xác minh tính toàn vẹn tích hợp, có thể cần thiết để truyền và lưu trữ tệp an toàn.
Bất chấp những hạn chế này, định dạng USTAR vẫn là một lựa chọn phổ biến để lưu trữ và phân phối các tệp do tính đơn giản, được hỗ trợ rộng rãi và khả năng tương thích với nhiều hệ điều hành Unix và giống Unix.
Tóm lại, định dạng lưu trữ USTAR là phần mở rộng của định dạng TAR cung cấp một cách tiêu chuẩn hóa để đóng gói và phân phối các tệp trên các hệ thống Unix và giống Unix. Nó hỗ trợ tên tệp dài hơn, kích thước tệp lớn hơn và siêu dữ liệu bổ sung so với định dạng TAR ban đầu. Các kho lưu trữ USTAR bao gồm một loạt các bản ghi tệp, mỗi bản ghi chứa một tiêu đề với siêu dữ liệu tệp và dữ liệu tệp thực tế. Định dạng này được hỗ trợ rộng rãi bởi các công cụ lưu trữ và nén và thường được sử dụng để phân phối phần mềm và trao đổi dữ liệu.
Nén tệp giảm độ dư thừa để cùng một lượng thông tin sử dụng ít bit hơn. Giới hạn trên được quyết định bởi lý thuyết thông tin: với nén không mất dữ liệu, giới hạn là entropy của nguồn (xem định lý mã nguồn của Shannon source coding theorem và bài báo gốc năm 1948 “A Mathematical Theory of Communication”). Với nén mất dữ liệu, sự đánh đổi giữa bitrate và chất lượng được mô tả bởi lý thuyết rate–distortion.
Hầu hết bộ nén có hai giai đoạn. Đầu tiên một mô hình dự đoán hoặc lộ ra cấu trúc trong dữ liệu. Sau đó một bộ mã biến các dự đoán đó thành mẫu bit gần tối ưu. Gia đình kinh điển là Lempel–Ziv LZ77 (1977) và LZ78 (1978) phát hiện chuỗi lặp rồi phát các tham chiếu thay vì byte thô. Ở phía mã hóa mã Huffman (bài gốc 1952) gán mã ngắn hơn cho ký hiệu có xác suất cao. Mã hóa số học và range coding tiến gần hơn nữa tới giới hạn entropy, trong khi Asymmetric Numeral Systems (ANS) hiện đại đạt được tỷ lệ tương tự với các bảng tra cứu nhanh.
DEFLATE (dùng bởi gzip, zlib, ZIP) kết hợp LZ77 và Huffman. Đặc tả đều mở: DEFLATE RFC 1951, lớp bọc zlib RFC 1950và định dạng gzip RFC 1952. Gzip được thiết kế cho streaming và không cung cấp truy cập ngẫu nhiên. PNG chuẩn hóa DEFLATE là phương pháp duy nhất (cửa sổ tối đa 32 KiB) theo đặc tả “Compression method 0…” và W3C/ISO PNG 2nd Edition.
Zstandard (zstd): bộ nén đa dụng mới cung cấp tỷ lệ cao và giải nén cực nhanh. Định dạng có trong RFC 8878 (cùng bản HTML) và đặc tả tham chiếu trên GitHub. Như gzip, frame cơ bản không nhắm tới truy cập ngẫu nhiên. Siêu năng lực của zstd là từ điển: mẫu nhỏ từ tập dữ liệu giúp hàng loạt tệp nhỏ/giống nhau nén tốt hơn (xem tài liệu python-zstandard và ví dụ của Nigel Tao). Triển khai hỗ trợ cả từ điển “unstructured” lẫn “structured” (thảo luận).
Brotli: tối ưu cho nội dung web (font WOFF2, HTTP). Kết hợp từ điển tĩnh và lõi LZ+entropy giống DEFLATE. Đặc tả là RFC 7932, mô tả cửa sổ 2WBITS−16 với WBITS [10, 24] (1 KiB−16 B tới 16 MiB−16 B) và rằng nó không cung cấp truy cập ngẫu nhiên. Brotli thường vượt gzip trên văn bản web và giải nén nhanh.
Vỏ chứa ZIP: ZIP là kho tệp có thể lưu nhiều phương pháp nén (deflate, store, zstd...). Chuẩn thực tế là APPNOTE của PKWARE (xem cổng APPNOTE, bản lưu trữvà tóm tắt của LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ưu tiên tốc độ tuyệt đối với tỷ lệ vừa phải. Xem trang dự án và định dạng frame. Lý tưởng cho cache trong RAM, telemetri hoặc đường nóng cần giải nén gần tốc độ bộ nhớ.
XZ / LZMA hướng đến mật độ cao (tỷ lệ tốt) với thời gian nén chậm hơn. XZ là vỏ chứa; công việc chính do LZMA/LZMA2 (mô hình LZ77 + range coding) đảm nhiệm. Xem định dạng .xz, đặc tả LZMA (Pavlov)và ghi chú kernel Linux về XZ Embedded. XZ thường nén tốt hơn gzip và cạnh tranh với codec hiện đại, nhưng mã hóa lâu hơn.
bzip2 dùng Biến đổi Burrows–Wheeler (BWT), move-to-front, RLE và Huffman. Thường nhỏ hơn gzip nhưng chậm hơn; xem hướng dẫn chính thức và trang man (Linux).
Kích thước “cửa sổ” rất quan trọng. Tham chiếu DEFLATE chỉ nhìn lại 32 KiB (RFC 1951) và giới hạn 32 KiB của PNG được nêu ở đây. Brotli hỗ trợ cửa sổ từ ~1 KiB đến 16 MiB (RFC 7932). Zstd điều chỉnh cửa sổ và độ sâu tìm kiếm theo level (RFC 8878). Dòng cơ sở của gzip/zstd/brotli hướng tới giải nén tuần tự; bản thân định dạng không hứa truy cập ngẫu nhiên, nhưng các vỏ chứa (tar có chỉ mục, framing theo khối, chỉ mục chuyên biệt) có thể bổ sung.
Các định dạng trên là lossless: bạn khôi phục đúng byte ban đầu. Codec media thường lossy: loại bỏ chi tiết khó nhận biết để giảm bitrate. Với ảnh, JPEG cổ điển (DCT, lượng tử hóa, mã entropy) được chuẩn hóa trong ITU-T T.81 / ISO/IEC 10918-1. Với âm thanh, MP3 (MPEG-1 Layer III) và AAC (MPEG-2/4) dùng mô hình cảm nhận và biến đổi MDCT (xem ISO/IEC 11172-3, ISO/IEC 13818-7và tổng quan MDCT tại đây). Lossy và lossless có thể cùng tồn tại (ví dụ PNG cho UI, codec web cho ảnh/video/audio).
Lý thuyết Shannon 1948 · Rate–distortion · Mã hóa Huffman 1952 · Mã số học · Range coding · ANS. Định dạng DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · định dạng XZ. Chuỗi BWT Burrows–Wheeler (1994) · hướng dẫn bzip2. Media JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Tóm lại: hãy chọn bộ nén phù hợp dữ liệu và ràng buộc của bạn, đo trên dữ liệu thực và đừng quên lợi ích từ từ điển cùng cách đóng gói thông minh. Khi ghép đúng, bạn sẽ có tệp nhỏ hơn, truyền nhanh hơn và ứng dụng phản hồi hơn mà không hy sinh độ chính xác hay tính di động.
Nén file là quá trình giảm kích thước của một file hoặc các file, thường để tiết kiệm không gian lưu trữ hoặc tăng tốc độ truyền trên mạng.
Nén file hoạt động bằng cách xác định và loại bỏ sự trùng lặp trong dữ liệu. Nó sử dụng thuật toán để mã hóa dữ liệu gốc trong một không gian nhỏ hơn.
Hai loại chính của nén file là nén lossless và lossy. Nén lossless cho phép phục hồi hoàn toàn file gốc, trong khi nén lossy cho phép giảm kích thước đáng kể hơn nhưng có thể mất một phần chất lượng dữ liệu.
Một ví dụ phổ biến về công cụ nén file là WinZip, hỗ trợ nhiều định dạng nén bao gồm ZIP và RAR.
Với nén lossless, chất lượng không thay đổi. Tuy nhiên, với nén lossy, có thể có sự giảm chất lượng rõ rệt do nó loại bỏ dữ liệu ít quan trọng để giảm kích thước file đáng kể hơn.
Có, nén file an toàn về mặt tính toàn vẹn của dữ liệu, đặc biệt với nén lossless. Tuy nhiên, giống như bất kỳ file nào, file nén có thể bị mục tiêu bởi malware hoặc virus, vì vậy luôn quan trọng khi có phần mềm bảo mật uy tín.
Hầu như tất cả các loại file đều có thể được nén, bao gồm file văn bản, hình ảnh, audio, video và file phần mềm. Tuy nhiên, mức độ nén có thể thực hiện đáng kể có thể thay đổi giữa các loại file khác nhau.
ZIP file là một loại định dạng file sử dụng nén lossless để giảm kích thước của một hoặc nhiều file. Nhiều file trong một ZIP file effectively được gói lại thành một file duy nhất, điều này cũng giúp việc chia sẻ dễ dàng hơn.
Về mặt kỹ thuật, có, mặc dù việc giảm kích thước thêm có thể tối thiểu hoặc thậm chí phản tác dụng. Nén một file đã được nén đôi khi có thể tăng kích thước do metadata được thêm vào bởi thuật toán nén.
Để giải nén một file, bạn thường cần một công cụ giải nén hoặc giải nén, như WinZip hoặc 7-Zip. Những công cụ này có thể trích xuất các file gốc từ định dạng nén.