USTAR (Unix Standard Tape Archive) es un formato de archivo utilizado para archivar y distribuir archivos en sistemas operativos Unix y similares a Unix. Se introdujo en la década de 1980 como un método estandarizado para crear archivos de cinta que pudieran intercambiarse fácilmente entre diferentes sistemas Unix. Desde entonces, el formato USTAR se ha convertido en un estándar ampliamente utilizado para empaquetar y distribuir software, datos y otros archivos en varias plataformas.
El formato USTAR es una extensión del formato TAR (Tape Archive) anterior, que se utilizaba para crear archivos de almacenamiento en cintas magnéticas. El formato TAR permitía combinar varios archivos en un solo archivo de almacenamiento, lo que facilitaba el almacenamiento y la transferencia de grandes colecciones de archivos. Sin embargo, el formato TAR original tenía limitaciones, como una longitud máxima de nombre de archivo de 99 caracteres y un tamaño máximo de archivo de 8 GB.
Para abordar estas limitaciones, el formato USTAR se desarrolló como una mejora sobre el formato TAR original. El formato USTAR introdujo varias mejoras, incluido el soporte para nombres de archivo más largos (hasta 255 caracteres), tamaños de archivo más grandes (hasta 8 EB u 8 exabytes) y campos de metadatos adicionales para almacenar atributos y permisos de archivo.
Un archivo de almacenamiento USTAR consta de una serie de registros de archivos, cada uno de los cuales representa un archivo o directorio almacenado en el almacenamiento. Cada registro de archivo se compone de un encabezado y los datos del archivo real. El encabezado contiene metadatos sobre el archivo, como su nombre, tamaño, propiedad, permisos y hora de modificación. Los datos del archivo siguen al encabezado y se almacenan como un bloque contiguo de bytes.
El encabezado USTAR tiene un tamaño fijo de 512 bytes y está dividido en varios campos. Algunos de los campos importantes en el encabezado incluyen:
1. Nombre del archivo: una cadena terminada en nulo que contiene el nombre del archivo o directorio, de hasta 255 caracteres de longitud.
2. Modo de archivo: un número octal de 12 caracteres que representa los permisos y bits de modo del archivo.
3. ID de propietario y grupo: ID de usuario y grupo numéricos asociados con el archivo.
4. Tamaño del archivo: un número octal de 12 caracteres que representa el tamaño del archivo en bytes.
5. Hora de modificación: un número octal de 12 caracteres que representa la última hora de modificación del archivo como el número de segundos desde el 1 de enero de 1970.
6. Suma de comprobación del encabezado: un número octal de 8 caracteres utilizado para la detección de errores.
El formato USTAR también incluye soporte para tipos de archivos especiales, como enlaces simbólicos, enlaces físicos y archivos de dispositivos. Estos archivos especiales se representan utilizando campos de encabezado específicos y se manejan de manera diferente durante la extracción.
Al crear un almacenamiento USTAR, la utilidad de almacenamiento (como el comando `tar`) lee los archivos y directorios especificados, genera los encabezados apropiados para cada archivo y concatena los encabezados y los datos del archivo en un solo archivo de almacenamiento. El archivo de almacenamiento resultante se puede comprimir utilizando varios algoritmos de compresión, como gzip o bzip2, para reducir su tamaño.
Para extraer archivos de un almacenamiento USTAR, la utilidad de extracción lee el archivo de almacenamiento secuencialmente, analizando los encabezados para obtener información sobre cada archivo. Luego crea los archivos y directorios necesarios según los metadatos almacenados en los encabezados y escribe los datos del archivo en las ubicaciones apropiadas.
El formato USTAR ha sido ampliamente adoptado y es compatible con varias herramientas de almacenamiento y compresión en diferentes sistemas operativos. Proporciona una forma estandarizada y portátil de empaquetar y distribuir archivos, asegurando la compatibilidad y la facilidad de uso.
Sin embargo, vale la pena señalar que el formato USTAR tiene algunas limitaciones. Por ejemplo, no admite nombres de archivo de más de 255 caracteres o tamaños de archivo superiores a 8 EB. Además, carece de funciones integradas de cifrado o verificación de integridad, que pueden ser necesarias para la transferencia y el almacenamiento seguro de archivos.
A pesar de estas limitaciones, el formato USTAR sigue siendo una opción popular para archivar y distribuir archivos debido a su simplicidad, amplio soporte y compatibilidad con una amplia gama de sistemas operativos Unix y similares a Unix.
En resumen, el formato de almacenamiento USTAR es una extensión del formato TAR que proporciona una forma estandarizada de empaquetar y distribuir archivos en sistemas Unix y similares a Unix. Admite nombres de archivo más largos, tamaños de archivo más grandes y metadatos adicionales en comparación con el formato TAR original. Los archivos USTAR constan de una serie de registros de archivos, cada uno de los cuales contiene un encabezado con metadatos de archivo y los datos del archivo real. El formato es ampliamente compatible con herramientas de almacenamiento y compresión y se utiliza comúnmente para la distribución de software y el intercambio de datos.
La compresión de archivos reduce la redundancia para que la misma información ocupe menos bits. El límite superior de hasta dónde se puede llegar está gobernado por la teoría de la información: para la compresión sin pérdidas, el límite es la entropía de la fuente (véase el teorema de codificación de fuente y su artículo original de 1948 “Una teoría matemática de la comunicación”). Para la compresión con pérdidas, el equilibrio entre la tasa y la calidad se captura mediante la teoría de la tasa-distorsión.
La mayoría de los compresores tienen dos etapas. Primero, un modelo predice o expone la estructura de los datos. Segundo, un codificador convierte esas predicciones en patrones de bits casi óptimos. Una familia clásica de modelado es Lempel-Ziv: LZ77 (1977) y LZ78 (1978) detectan subcadenas repetidas y emiten referencias en lugar de bytes sin procesar. En el lado de la codificación, la codificación de Huffman (véase el artículo original de 1952) asigna códigos más cortos a los símbolos más probables. La codificación aritmética y la codificación por rangos son alternativas más detalladas que se acercan más al límite de la entropía, mientras que los modernos Sistemas Numéricos Asimétricos (ANS) logran una compresión similar con implementaciones rápidas basadas en tablas.
DEFLATE (utilizado por gzip, zlib y ZIP) combina LZ77 con la codificación de Huffman. Sus especificaciones son públicas: DEFLATE RFC 1951, envoltura zlib RFC 1950, y formato de archivo gzip RFC 1952. Gzip está diseñado para la transmisión y explícitamente no intenta proporcionar acceso aleatorio. Las imágenes PNG estandarizan DEFLATE como su único método de compresión (con una ventana máxima de 32 KiB), según la especificación de PNG “Método de compresión 0… deflate/inflate… como máximo 32768 bytes” y W3C/ISO PNG 2ª Edición.
Zstandard (zstd): un compresor de propósito general más nuevo diseñado para altas relaciones de compresión con una descompresión muy rápida. El formato está documentado en RFC 8878 (también espejo HTML) y la especificación de referencia en GitHub. Al igual que gzip, el marco básico no tiene como objetivo el acceso aleatorio. Uno de los superpoderes de zstd son los diccionarios: pequeñas muestras de su corpus que mejoran drásticamente la compresión en muchos archivos pequeños o similares (véase documentación del diccionario python-zstandard y el ejemplo práctico de Nigel Tao). Las implementaciones aceptan diccionarios tanto “no estructurados” como “estructurados” (discusión).
Brotli: optimizado para contenido web (por ejemplo, fuentes WOFF2, HTTP). Mezcla un diccionario estático con un núcleo de entropía+LZ similar a DEFLATE. La especificación es RFC 7932, que también señala una ventana deslizante de 2WBITS−16 con WBITS en [10, 24] (1 KiB−16 B hasta 16 MiB−16 B) y que no intenta el acceso aleatorio. Brotli a menudo supera a gzip en texto web mientras se decodifica rápidamente.
Contenedor ZIP: ZIP es un archivo de ficheros que puede almacenar entradas con varios métodos de compresión (deflate, store, zstd, etc.). El estándar de facto es la APPNOTE de PKWARE (véase APPNOTE portal, una copia alojada, y resúmenes de LC Formato de archivo ZIP (PKWARE) / ZIP 6.3.3).
LZ4 se centra en la velocidad bruta con relaciones modestas. Véase su página del proyecto („compresión extremadamente rápida“) y formato de trama. Es ideal para cachés en memoria, telemetría o rutas calientes donde la descompresión debe ser cercana a la velocidad de la RAM.
XZ / LZMA buscan la densidad (grandes relaciones) con una compresión relativamente lenta. XZ es un contenedor; el trabajo pesado lo realiza normalmente LZMA/LZMA2 (modelado tipo LZ77 + codificación por rangos). Véase formato de archivo .xz, la especificación de LZMA (Pavlov), y las notas del kernel de Linux sobre XZ Embedded. XZ suele comprimir más que gzip y a menudo compite con los códecs modernos de alta relación, pero con tiempos de codificación más lentos.
bzip2 aplica la Transformada de Burrows-Wheeler (BWT), move-to-front, RLE y codificación de Huffman. Suele ser más pequeño que gzip pero más lento; véase el manual oficial y las páginas del manual (Linux).
El „tamaño de la ventana“ importa. Las referencias de DEFLATE solo pueden mirar hacia atrás 32 KiB (RFC 1951 y el límite de 32 KiB de PNG señalado aquí). La ventana de Brotli varía de aproximadamente 1 KiB a 16 MiB (RFC 7932). Zstd ajusta la ventana y la profundidad de búsqueda por nivel (RFC 8878). Los flujos básicos de gzip/zstd/brotli están diseñados para la decodificación secuencial; los formatos base no prometen acceso aleatorio, aunque los contenedores (por ejemplo, índices tar, tramas fragmentadas o índices específicos del formato) pueden superponerlo.
Los formatos anteriores son sin pérdidas: se pueden reconstruir los bytes exactos. Los códecs de medios suelen ser con pérdidas: descartan detalles imperceptibles para alcanzar tasas de bits más bajas. En imágenes, el JPEG clásico (DCT, cuantificación, codificación de entropía) está estandarizado en ITU-T T.81 / ISO/IEC 10918-1. En audio, MP3 (MPEG-1 Layer III) y AAC (MPEG-2/4) se basan en modelos perceptuales y transformadas MDCT (véase ISO/IEC 11172-3, ISO/IEC 13818-7, y un resumen de MDCT aquí). Con y sin pérdidas pueden coexistir (por ejemplo, PNG para activos de interfaz de usuario; códecs web para imágenes/vídeo/audio).
Teoría: Shannon 1948 · Tasa-distorsión · Codificación: Huffman 1952 · Codificación aritmética · Codificación por rangos · ANS. Formatos: DEFLATE · zlib · gzip · Zstandard · Brotli · Trama LZ4 · Formato XZ. Pila BWT: Burrows–Wheeler (1994) · manual de bzip2. Medios: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
En resumen: elija un compresor que se ajuste a sus datos y restricciones, mida con entradas reales y no olvide las ganancias de los diccionarios y el entramado inteligente. Con la combinación adecuada, puede obtener archivos más pequeños, transferencias más rápidas y aplicaciones más ágiles, sin sacrificar la corrección o la portabilidad.
La compresión de archivos es un proceso que reduce el tamaño de un archivo o archivos, típicamente para ahorrar espacio de almacenamiento o acelerar la transmisión a través de una red.
La compresión de archivos funciona identificando y eliminando la redundancia en los datos. Utiliza algoritmos para codificar los datos originales en un espacio menor.
Los dos tipos principales de compresión de archivos son la compresión sin pérdida y la compresión con pérdida. La compresión sin pérdida permite restaurar perfectamente el archivo original, mientras que la compresión con pérdida permite una reducción de tamaño más significativa a costa de alguna pérdida en la calidad de los datos.
Un ejemplo popular de una herramienta de compresión de archivos es WinZip, que admite varios formatos de compresión incluyendo ZIP y RAR.
Con la compresión sin pérdida, la calidad permanece sin cambios. Sin embargo, con la compresión con pérdida, puede haber una disminución notable en la calidad, ya que elimina datos menos importantes para reducir de manera más significativa el tamaño del archivo.
Sí, la compresión de archivos es segura en términos de integridad de datos, especialmente con la compresión sin pérdida. Sin embargo, como en todos los archivos, los archivos comprimidos pueden ser objeto de malware o virus, por lo que siempre es importante tener un software de seguridad de confianza en funcionamiento.
Casi todos los tipos de archivos se pueden comprimir, incluyendo archivos de texto, imágenes, audio, video y archivos de software. Sin embargo, el nivel de compresión alcanzable puede variar significativamente entre los tipos de archivos.
Un archivo ZIP es un tipo de formato de archivo que utiliza compresión sin pérdida para reducir el tamaño de uno o varios archivos. Varios archivos en un archivo ZIP se agrupan efectivamente en un solo archivo, lo que también facilita la compartición.
Técnicamente, sí, aunque la reducción de tamaño adicional podría ser mínima o incluso contraproducente. Comprimir un archivo ya comprimido a veces aumenta su tamaño debido a los metadatos agregados por el algoritmo de compresión.
Para descomprimir un archivo, generalmente necesitas una herramienta de descompresión, como WinZip o 7-Zip. Estas herramientas pueden extraer los archivos originales del formato comprimido.