CPIO (Copy In and Out) là định dạng lưu trữ tệp được sử dụng để lưu trữ và trích xuất tệp trên các hệ điều hành Unix và tương tự Unix. Ban đầu, định dạng này được phát triển vào đầu những năm 1980 như một phần của hệ điều hành UNIX System V và kể từ đó đã trở thành định dạng chuẩn để lưu trữ và phân phối tệp trên nhiều nền tảng khác nhau.
Định dạng CPIO được thiết kế để đơn giản và hiệu quả, cho phép tạo các kho lưu trữ chứa nhiều tệp và thư mục. Định dạng này hỗ trợ cả định dạng tệp nhị phân và ASCII, giúp tương thích với nhiều hệ thống và ứng dụng.
Kho lưu trữ CPIO bao gồm một loạt các tiêu đề tệp theo sau là dữ liệu tệp. Mỗi tiêu đề tệp chứa siêu dữ liệu về tệp, chẳng hạn như tên, kích thước, quyền sở hữu, quyền và thời gian sửa đổi. Dữ liệu tệp được lưu trữ ngay sau tiêu đề và tiêu đề tệp tiếp theo theo sau dữ liệu.
Định dạng tiêu đề CPIO đã phát triển theo thời gian, với các phiên bản khác nhau hỗ trợ các tính năng và giới hạn khác nhau. Các định dạng tiêu đề phổ biến nhất là định dạng tiêu đề nhị phân và định dạng tiêu đề ASCII, còn được gọi là định dạng tiêu đề 'mới'.
Định dạng tiêu đề nhị phân sử dụng cấu trúc kích thước cố định để lưu trữ siêu dữ liệu tệp, với mỗi trường chiếm một số byte cụ thể. Định dạng này nhỏ gọn và hiệu quả hơn nhưng ít khả năng di động trên các hệ thống khác nhau do các vấn đề về thứ tự byte và căn chỉnh tiềm ẩn.
Định dạng tiêu đề ASCII, được giới thiệu trong SVR4 (System V Release 4), sử dụng cấu trúc có độ dài thay đổi với các trường được mã hóa ASCII được phân tách bằng ký tự xuống dòng. Định dạng này dễ đọc và di động hơn nhưng kém hiệu quả hơn về mặt không gian và xử lý.
Để tạo kho lưu trữ CPIO, lệnh 'cpio' được sử dụng với tùy chọn '-o' (đầu ra), theo sau là định dạng mong muốn và danh sách các tệp hoặc thư mục cần bao gồm. Ví dụ: 'cpio -o -H newc < file_list > archive.cpio' tạo một kho lưu trữ sử dụng định dạng tiêu đề ASCII, đọc danh sách các tệp từ 'file_list' và ghi kho lưu trữ vào 'archive.cpio'.
Để trích xuất các tệp từ kho lưu trữ CPIO, lệnh 'cpio' được sử dụng với tùy chọn '-i' (đầu vào), theo sau là định dạng mong muốn và bất kỳ tùy chọn bổ sung nào. Ví dụ: 'cpio -i -d < archive.cpio' trích xuất các tệp từ 'archive.cpio' và tạo bất kỳ thư mục nào cần thiết.
Các kho lưu trữ CPIO có thể được nối lại để tạo các kho lưu trữ lớn hơn chứa nhiều tập hợp tệp. Điều này hữu ích để phân phối các gói phần mềm hoặc tạo các kho lưu trữ sao lưu. Để nối các kho lưu trữ, chỉ cần nối một kho lưu trữ này với kho lưu trữ khác bằng lệnh như 'cat archive1.cpio archive2.cpio > combined.cpio'.
Các kho lưu trữ CPIO cũng có thể được nén bằng nhiều thuật toán nén khác nhau, chẳng hạn như gzip, bzip2 hoặc xz, để giảm kích thước của chúng. Các kho lưu trữ được nén thường có phần mở rộng tệp cho biết phương pháp nén, chẳng hạn như '.cpio.gz' đối với các kho lưu trữ được nén bằng gzip.
Một trong những ưu điểm của định dạng CPIO là khả năng bảo toàn quyền tệp, quyền sở hữu và dấu th ời gian, giúp định dạng này phù hợp để tạo các bản sao chính xác của hệ thống phân cấp tệp. Tuy nhiên, định dạng này không hỗ trợ các tính năng như mã hóa, kiểm tra tính toàn vẹn hoặc các kho lưu trữ đa tập, có sẵn trong các định dạng kho lưu trữ nâng cao hơn như tar.
Mặc dù đơn giản, định dạng CPIO đã được sử dụng rộng rãi trong các môi trường Unix và Linux trong nhiều thập kỷ. Định dạng này thường được sử dụng kết hợp với các công cụ khác, chẳng hạn như 'find' hoặc 'rpm', để tạo các gói phần mềm, ảnh initramfs hoặc các kho lưu trữ sao lưu.
Trong những năm gần đây, định dạng CPIO đã phần lớn được thay thế bằng các định dạng kho lưu trữ hiện đại và nhiều tính năng hơn, chẳng hạn như tar và ZIP. Tuy nhiên, định dạng này vẫn là một phần quan trọng của lịch sử Unix và vẫn được sử dụng trong một số bối cảnh nhất định, đặc biệt là trong các hệ thống nhúng và các công cụ hệ thống cấp thấp.
Khi làm việc với các kho lưu trữ CPIO, điều quan trọng là phải nhận thức được các rủi ro bảo mật tiềm ẩn liên quan đến các kho lưu trữ không đáng tin cậy. Việc trích xuất các tệp từ kho lưu trữ có khả năng ghi đè các tệp hiện có hoặc tạo các tệp có quyền bất ngờ, dẫn đến các lỗ hổng bảo mật. Nên trích xuất các kho lưu trữ trong môi trường an toàn và xem xét cẩn thận nội dung trước khi sử dụng.
Tóm lại, định dạng kho lưu trữ CPIO là một phương pháp đơn giản và hiệu quả để lưu trữ và trích xuất các tệp trên các hệ thống Unix và tương tự Unix. Mặc dù có thể thiếu một số tính năng nâng cao của các định dạng kho lưu trữ hiện đại, định dạng này vẫn là một công cụ hữu ích trong một số bối cảnh nhất định và là một phần quan trọng của lịch sử Unix. Hiểu định dạng CPIO và cách sử dụng định dạng này có thể có giá trị đối với quản trị viên hệ thống, nhà phát triển và những người đam mê làm việc với các hệ thống dựa trên Unix.
Nén tệp giảm độ dư thừa để cùng một lượng thông tin sử dụng ít bit hơn. Giới hạn trên được quyết định bởi lý thuyết thông tin: với nén không mất dữ liệu, giới hạn là entropy của nguồn (xem định lý mã nguồn của Shannon source coding theorem và bài báo gốc năm 1948 “A Mathematical Theory of Communication”). Với nén mất dữ liệu, sự đánh đổi giữa bitrate và chất lượng được mô tả bởi lý thuyết rate–distortion.
Hầu hết bộ nén có hai giai đoạn. Đầu tiên một mô hình dự đoán hoặc lộ ra cấu trúc trong dữ liệu. Sau đó một bộ mã biến các dự đoán đó thành mẫu bit gần tối ưu. Gia đình kinh điển là Lempel–Ziv LZ77 (1977) và LZ78 (1978) phát hiện chuỗi lặp rồi phát các tham chiếu thay vì byte thô. Ở phía mã hóa mã Huffman (bài gốc 1952) gán mã ngắn hơn cho ký hiệu có xác suất cao. Mã hóa số học và range coding tiến gần hơn nữa tới giới hạn entropy, trong khi Asymmetric Numeral Systems (ANS) hiện đại đạt được tỷ lệ tương tự với các bảng tra cứu nhanh.
DEFLATE (dùng bởi gzip, zlib, ZIP) kết hợp LZ77 và Huffman. Đặc tả đều mở: DEFLATE RFC 1951, lớp bọc zlib RFC 1950và định dạng gzip RFC 1952. Gzip được thiết kế cho streaming và không cung cấp truy cập ngẫu nhiên. PNG chuẩn hóa DEFLATE là phương pháp duy nhất (cửa sổ tối đa 32 KiB) theo đặc tả “Compression method 0…” và W3C/ISO PNG 2nd Edition.
Zstandard (zstd): bộ nén đa dụng mới cung cấp tỷ lệ cao và giải nén cực nhanh. Định dạng có trong RFC 8878 (cùng bản HTML) và đặc tả tham chiếu trên GitHub. Như gzip, frame cơ bản không nhắm tới truy cập ngẫu nhiên. Siêu năng lực của zstd là từ điển: mẫu nhỏ từ tập dữ liệu giúp hàng loạt tệp nhỏ/giống nhau nén tốt hơn (xem tài liệu python-zstandard và ví dụ của Nigel Tao). Triển khai hỗ trợ cả từ điển “unstructured” lẫn “structured” (thảo luận).
Brotli: tối ưu cho nội dung web (font WOFF2, HTTP). Kết hợp từ điển tĩnh và lõi LZ+entropy giống DEFLATE. Đặc tả là RFC 7932, mô tả cửa sổ 2WBITS−16 với WBITS [10, 24] (1 KiB−16 B tới 16 MiB−16 B) và rằng nó không cung cấp truy cập ngẫu nhiên. Brotli thường vượt gzip trên văn bản web và giải nén nhanh.
Vỏ chứa ZIP: ZIP là kho tệp có thể lưu nhiều phương pháp nén (deflate, store, zstd...). Chuẩn thực tế là APPNOTE của PKWARE (xem cổng APPNOTE, bản lưu trữvà tóm tắt của LC ZIP File Format (PKWARE) / ZIP 6.3.3).
LZ4 ưu tiên tốc độ tuyệt đối với tỷ lệ vừa phải. Xem trang dự án và định dạng frame. Lý tưởng cho cache trong RAM, telemetri hoặc đường nóng cần giải nén gần tốc độ bộ nhớ.
XZ / LZMA hướng đến mật độ cao (tỷ lệ tốt) với thời gian nén chậm hơn. XZ là vỏ chứa; công việc chính do LZMA/LZMA2 (mô hình LZ77 + range coding) đảm nhiệm. Xem định dạng .xz, đặc tả LZMA (Pavlov)và ghi chú kernel Linux về XZ Embedded. XZ thường nén tốt hơn gzip và cạnh tranh với codec hiện đại, nhưng mã hóa lâu hơn.
bzip2 dùng Biến đổi Burrows–Wheeler (BWT), move-to-front, RLE và Huffman. Thường nhỏ hơn gzip nhưng chậm hơn; xem hướng dẫn chính thức và trang man (Linux).
Kích thước “cửa sổ” rất quan trọng. Tham chiếu DEFLATE chỉ nhìn lại 32 KiB (RFC 1951) và giới hạn 32 KiB của PNG được nêu ở đây. Brotli hỗ trợ cửa sổ từ ~1 KiB đến 16 MiB (RFC 7932). Zstd điều chỉnh cửa sổ và độ sâu tìm kiếm theo level (RFC 8878). Dòng cơ sở của gzip/zstd/brotli hướng tới giải nén tuần tự; bản thân định dạng không hứa truy cập ngẫu nhiên, nhưng các vỏ chứa (tar có chỉ mục, framing theo khối, chỉ mục chuyên biệt) có thể bổ sung.
Các định dạng trên là lossless: bạn khôi phục đúng byte ban đầu. Codec media thường lossy: loại bỏ chi tiết khó nhận biết để giảm bitrate. Với ảnh, JPEG cổ điển (DCT, lượng tử hóa, mã entropy) được chuẩn hóa trong ITU-T T.81 / ISO/IEC 10918-1. Với âm thanh, MP3 (MPEG-1 Layer III) và AAC (MPEG-2/4) dùng mô hình cảm nhận và biến đổi MDCT (xem ISO/IEC 11172-3, ISO/IEC 13818-7và tổng quan MDCT tại đây). Lossy và lossless có thể cùng tồn tại (ví dụ PNG cho UI, codec web cho ảnh/video/audio).
Lý thuyết Shannon 1948 · Rate–distortion · Mã hóa Huffman 1952 · Mã số học · Range coding · ANS. Định dạng DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 frame · định dạng XZ. Chuỗi BWT Burrows–Wheeler (1994) · hướng dẫn bzip2. Media JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
Tóm lại: hãy chọn bộ nén phù hợp dữ liệu và ràng buộc của bạn, đo trên dữ liệu thực và đừng quên lợi ích từ từ điển cùng cách đóng gói thông minh. Khi ghép đúng, bạn sẽ có tệp nhỏ hơn, truyền nhanh hơn và ứng dụng phản hồi hơn mà không hy sinh độ chính xác hay tính di động.
Nén file là quá trình giảm kích thước của một file hoặc các file, thường để tiết kiệm không gian lưu trữ hoặc tăng tốc độ truyền trên mạng.
Nén file hoạt động bằng cách xác định và loại bỏ sự trùng lặp trong dữ liệu. Nó sử dụng thuật toán để mã hóa dữ liệu gốc trong một không gian nhỏ hơn.
Hai loại chính của nén file là nén lossless và lossy. Nén lossless cho phép phục hồi hoàn toàn file gốc, trong khi nén lossy cho phép giảm kích thước đáng kể hơn nhưng có thể mất một phần chất lượng dữ liệu.
Một ví dụ phổ biến về công cụ nén file là WinZip, hỗ trợ nhiều định dạng nén bao gồm ZIP và RAR.
Với nén lossless, chất lượng không thay đổi. Tuy nhiên, với nén lossy, có thể có sự giảm chất lượng rõ rệt do nó loại bỏ dữ liệu ít quan trọng để giảm kích thước file đáng kể hơn.
Có, nén file an toàn về mặt tính toàn vẹn của dữ liệu, đặc biệt với nén lossless. Tuy nhiên, giống như bất kỳ file nào, file nén có thể bị mục tiêu bởi malware hoặc virus, vì vậy luôn quan trọng khi có phần mềm bảo mật uy tín.
Hầu như tất cả các loại file đều có thể được nén, bao gồm file văn bản, hình ảnh, audio, video và file phần mềm. Tuy nhiên, mức độ nén có thể thực hiện đáng kể có thể thay đổi giữa các loại file khác nhau.
ZIP file là một loại định dạng file sử dụng nén lossless để giảm kích thước của một hoặc nhiều file. Nhiều file trong một ZIP file effectively được gói lại thành một file duy nhất, điều này cũng giúp việc chia sẻ dễ dàng hơn.
Về mặt kỹ thuật, có, mặc dù việc giảm kích thước thêm có thể tối thiểu hoặc thậm chí phản tác dụng. Nén một file đã được nén đôi khi có thể tăng kích thước do metadata được thêm vào bởi thuật toán nén.
Để giải nén một file, bạn thường cần một công cụ giải nén hoặc giải nén, như WinZip hoặc 7-Zip. Những công cụ này có thể trích xuất các file gốc từ định dạng nén.