LZH는 Lempel-Ziv-Huffman 알고리즘을 기반으로 하는 무손실 데이터 압축 아카이브 형식으로, 이 알고리즘의 이름을 따서 명명되었습니다. 1987년에 하루야스 요시자키가 1970년대 후반에 아브라함 렘펠과 제이콥 지브가 개발한 이전의 LZ77 및 LZ78 압축 형식을 개선한 것으로 처음 출시되었습니다. LZH는 빠른 압축 해제를 허용하면서도 더 효율적인 압축률을 제공했습니다.
LZH에서 사용되는 핵심 압축 알고리즘은 사전 기반으로, 이전에 본 데이터를 활용하여 미래 데이터를 더 컴팩트하게 인코딩합니다. 인코더는 가장 최근에 처리된 데이터의 슬라이딩 윈도우 버퍼를 유지합니다. 새로운 데이터가 발생하면 인코더는 슬라이딩 윈도우에서 가장 긴 일치 시퀀스를 검색합니다. 일치 항목이 발견되면 데이터는 리터럴 데이터가 아니라 일치하는 윈도우 위치와 길이를 참조하는 것으로 인코딩됩니다. 이 참조는 일반적으로 원래 콘텐츠보다 공간을 덜 차지합니다.
LZH의 기반으로 사용되는 LZ77은 다음과 같은 인코딩 루프를 갖습니다. 1. 다가오는 입력과 가장 긴 일치 항목을 슬라이딩 윈도우에서 검색 2. 일치 항목을 참조하는 (오프셋, 길이) 쌍 출력 3. 일치 항목이 발견되지 않으면 리터럴 바이트 출력 4. 일치 길이만큼 윈도우를 앞으로 이동
1986년에 테리 웰치는 LZ78의 작업을 응용한 개선된 LZW 알고리즘을 발표했습니다. LZ77보다 더 많은 밀도를 얻기 위해 문자열 사전에 인덱스 번호를 사용했습니다. 그 다음 해에 LZH가 출시되었는데, LZ77 슬라이딩 사전 접근 방식을 통합했지만 압축률을 개선하기 위한 추가 단계로 LZ77 심볼에 허프만 코딩을 추가했습니다.
허프만 코딩은 자주 사용되는 심볼에 짧은 비트 시퀀스를 할당하고 드문 심볼에 긴 시퀀스를 할당합니다. LZH에서 가능한 심볼은 리터럴 바이트, 블록 끝 마커, 슬라이딩 윈도우 사전에 대한 일치 참조입니다. 허프만 코딩 모델은 각 데이터 블록의 심볼 빈도 분포를 기반으로 각 데이터 블록에 대해 고유하게 계산됩니다. 더 빈번한 일치 참조에는 더 짧은 비트 코드가 할당됩니다. 이 엔트로피 인코딩 단계는 슬라이딩 윈도우와 일치한 후에 적용됩니다.
압축 해제는 입력 스트림에서 가변 길이 허프만 코드를 파싱하여 리터럴 바이트와 일치 참조로 다시 변환합니다. 참조는 디코딩된 데이터의 윈도우 버퍼를 되돌아보고 일치 항목을 출력에 복사하여 해결됩니다. 각 심볼 후에 윈도우가 앞으로 이동합니다. 일치 항목을 검색할 필요가 없으므로 압축 해제가 빠릅니다.
LZH 파일에는 이 LZ77+허프만 모델로 독립적으로 압축된 일련의 블록이 포함되어 있습니다. 별도의 블록을 통해 임의 액세스와 오류 복구가 가능합니다. 각 블록은 해당 블록의 데이터를 디코딩하는 데 필요한 허프만 코딩 테이블을 저장하는 헤더로 시작합니다.
표준 LZH 형식은 13비트 슬라이딩 윈도우 크기 또는 8,192바이트를 허용합니다. 윈도우는 일반적으로 각 블록의 시작 부분에서 모든 0바이트로 초기화됩니다. 사전 설정 사전은 사용되지 않으며 이전에 압축된 데이터만 사용됩니다. 일치 참조의 길이는 최대 256바이트로 제한됩니다.
넬슨 H.F. 비비는 LZH를 확장하여 임의로 큰 슬라이딩 윈도우 크기를 지원하고 그의 형식을 LZHXa라고 명명했습니다. 윈도우 크기는 2의 거듭제곱으로 제한되며, 2^15(32,768) 및 2^16(65,536)바이트가 일반적입니다. 윈도우를 늘리면 더 많은 기록 데이터를 검색할 수 있으므로 압축이 향상되지만 인코딩 속도가 느려지고 메모리 사용량이 늘어납니다.
LZH에는 데이터 무결성을 검증하는 체크섬이 포함되어 있습니다. 각 블록은 16비트 CRC 코드로 끝납니다. 다중 파일 아카이브는 각 완전한 파일에 대한 추가 CRC를 저장합니다. 대부분의 구현은 다항식 x^16 + x^15 + x^2 + 1을 사용하는 CRC-16을 사용하지만 일부는 CRC-16-CCITT를 사용합니다.
압축된 LZH 아카이브는 일반적으로 .lzh 파일 확장자를 사용합니다. 이 형식은 일본에서 가장 널리 채택되었으며 1990년대 초반에 ZIP 및 ARJ와 경쟁하면서 인기가 절정에 달했습니다. LHA로 알려진 비공식 표준이 발전하여 인기 있는 LArc 및 LHarc 아카이버에서 사용되었습니다. 주석, 타임스탬프, 비밀번호, 다중 파일 아카이브에 대한 지원이 추가되었습니다.
LZH의 주요 장점은 ZIP에 비해 압축률이 높고 압축 해제가 빠르다는 것입니다. 그러나 1990년대 중반에 ZIP이 인기를 얻으면서 대부분의 다른 형식을 대체했습니다. Windows에서 표준으로 ZIP이 빠르게 채택되었고 크로스 플랫폼 라이브러리와 도구 지원이 추가되면서 무손실 압축 시장을 지배하게 되었습니다.
오늘날 LZH는 일본과 동아시아 외부에서는 거의 사용되지 않습니다. bzip2, LZMA 등의 새로운 압축 형식은 훨씬 더 나은 압축률을 제공합니다. 일부 레거시 애플리케이션은 여전히 .lzh 파일을 만날 수 있지만 아카이빙에는 최신 ZIP, 7z 또는 xz가 권장됩니다. lhasa와 같은 오픈 소스 도구를 사용하여 이전 .lzh 아카이브를 추출할 수 있습니다.
요약하자면, LZH는 렘펠-지브 사전 코딩과 허프만 비트 감소를 혁신적으로 결합하여 도입 당시 최첨단 압축을 달성했습니다. ZIP 표준에 밀려나기 전에 특히 일본에서 잠시 채택되었습니다. 그러나 데이터 압축의 역사와 최신 아카이브 형식의 개발에 중요한 역할을 했습니다. LZH는 데이터를 효율적으로 압축하는 데 기본이 되는 슬라이딩 윈도우 사전과 심볼 엔트로피 코딩과 같은 기술을 선보였습니다.
파일 압축은 동일한 정보가 더 적은 비트를 차지하도록 중복성을 줄입니다. 얼마나 멀리 갈 수 있는지에 대한 상한선은 정보 이론에 의해 결정됩니다. 무손실 압축의 경우, 한계는 소스의 엔트로피입니다(섀넌의 소스 코딩 정리 와 그의 1948년 원본 논문 “통신의 수학적 이론”참조). 손실 압축의 경우, 속도와 품질 간의 절충은 속도-왜곡 이론에 의해 포착됩니다.
대부분의 압축기에는 두 단계가 있습니다. 첫째, 모델이 데이터의 구조를 예측하거나 노출합니다. 둘째, 코더가 이러한 예측을 거의 최적의 비트 패턴으로 변환합니다. 고전적인 모델링 계열은 렘펠-지브입니다. LZ77 (1977) 과 LZ78 (1978)은 반복되는 하위 문자열을 감지하고 원시 바이트 대신 참조를 내보냅니다. 코딩 측면에서는 허프만 코딩 (원본 논문 1952참조)이 더 가능성 있는 기호에 더 짧은 코드를 할당합니다. 산술 코딩 과 범위 코딩 은 엔트로피 한계에 더 가깝게 압축하는 더 세분화된 대안이며, 현대적인 비대칭 숫자 체계(ANS) 는 빠른 테이블 기반 구현으로 유사한 압축을 달성합니다.
DEFLATE(gzip, zlib, ZIP에서 사용)는 LZ77과 허프만 코딩을 결합합니다. 사양은 공개되어 있습니다. DEFLATE RFC 1951, zlib 래퍼 RFC 1950, gzip 파일 형식 RFC 1952. Gzip은 스트리밍을 위해 구성되었으며 명시적으로 임의 접근을 시도하지 않습니다. PNG 이미지는 PNG 사양에 따라 DEFLATE를 유일한 압축 방법으로 표준화합니다(최대 32KiB 창). “압축 방법 0… deflate/inflate… 최대 32768바이트” 및 W3C/ISO PNG 제2판.
Zstandard (zstd): 매우 빠른 압축 해제와 높은 비율을 위해 설계된 최신 범용 압축기입니다. 형식은 RFC 8878 (또한 HTML 미러) 및 참조 사양 GitHub에 문서화되어 있습니다. gzip과 마찬가지로 기본 프레임은 임의 접근을 목표로 하지 않습니다. zstd의 초능력 중 하나는 사전입니다. 코퍼스에서 가져온 작은 샘플로, 작거나 유사한 많은 파일에서 압축을 극적으로 향상시킵니다( python-zstandard 사전 문서 및 Nigel Tao의 작업 예제참조). 구현은 “비정형” 및 “정형” 사전을 모두 허용합니다 (토론).
Brotli: 웹 콘텐츠(예: WOFF2 글꼴, HTTP)에 최적화되어 있습니다. 정적 사전과 DEFLATE와 유사한 LZ+엔트로피 코어를 혼합합니다. 사양은 RFC 7932이며, WBITS가 [10, 24]인 2WBITS−16의 슬라이딩 윈도우(1KiB−16B ~ 16MiB−16B)와 임의 접근을 시도하지 않음을 명시합니 다. Brotli는 웹 텍스트에서 gzip을 자주 능가하며 빠르게 디코딩됩니다.
ZIP 컨테이너: ZIP은 다양한 압축 방법 (deflate, store, zstd 등)으로 항목을 저장할 수 있는 파일 아카이브입니다. 사실상의 표준은 PKWARE의 APPNOTE입니다( APPNOTE 포털, 호스팅된 사본, LC 개요 ZIP 파일 형식(PKWARE) / ZIP 6.3.3참조).
LZ4는 적당한 비율로 원시 속도를 목표로 합니다. 프로젝트 페이지 (「매우 빠른 압축」)와 프레임 형식을 참조하십시오. 압축 해제가 RAM 속도에 가까워야 하는 인메모리 캐시, 원격 측정 또는 핫 경로에 이상적입니다.
XZ / LZMA는 비교적 느린 압축으로 밀도(훌륭한 비율)를 추구합니다. XZ는 컨테이너입니다. 무거운 작업은 일반적으로 LZMA/LZMA2(LZ77과 유사한 모델링 + 범위 코딩)에 의해 수행됩니다. .xz 파일 형식, LZMA 사양(Pavlov), 리눅스 커널 노트 XZ 임베디드를 참조하십시오. XZ는 일반적으로 gzip보다 압축률이 높으며 종종 높은 비율의 최신 코덱과 경쟁하지만 인코딩 시간이 더 깁니다.
bzip2는 버로우즈-휠러 변환(BWT), move-to-front, RLE 및 허프만 코딩을 적용합니다. 일반적으로 gzip보다 작지만 느립니다. 공식 설명서 와 man 페이지 (리눅스)를 참조하십시오.
“창 크기”가 중요합니다. DEFLATE 참조는 32KiB만 되돌아볼 수 있습니다 (RFC 1951 및 PNG의 32KiB 상한 여기에 명시됨). Brotli의 창은 약 1KiB에서 16MiB까지 다양합니다 (RFC 7932). Zstd는 레벨별로 창과 검색 깊이를 조정합니다 (RFC 8878). 기본 gzip/zstd/brotli 스트림은 순차적 디코딩을 위해 설계되었습니다. 기본 형식은 임의 접근을 약속하지 않습니다. 하지만 컨테이너(예: tar 인덱스, 청크 프레이밍 또는 형식별 인덱스)를 통해 계층화할 수 있습니다.
위의 형식은 무손실입니다. 정확한 바이트를 재구성할 수 있습니다. 미디어 코덱은 종종 손실입니다. 더 낮은 비트 전송률을 달성하기 위해 감지할 수 없는 세부 정보를 버립니다. 이미지에서 클래식 JPEG(DCT, 양자화, 엔트로피 코딩)는 ITU-T T.81 / ISO/IEC 10918-1에 표준화되어 있습니다. 오디오에서 MP3(MPEG-1 Layer III) 및 AAC(MPEG-2/4)는 지각 모델 및 MDCT 변환에 의존합니다( ISO/IEC 11172-3, ISO/IEC 13818-7, MDCT 개요 여기참조). 손실 및 무손실은 공존할 수 있습니다(예: UI 자산용 PNG, 이미지/비디오/오디오용 웹 코덱).
이론: 섀넌 1948 · 속도-왜곡 · 코딩: 허프만 1952 · 산술 코딩 · 범위 코딩 · ANS. 형식: DEFLATE · zlib · gzip · Zstandard · Brotli · LZ4 프레임 · XZ 형식. BWT 스택: 버로우즈-휠러(1994) · bzip2 설명서. 미디어: JPEG T.81 · MP3 ISO/IEC 11172-3 · AAC ISO/IEC 13818-7 · MDCT.
결론: 데이터와 제약 조건에 맞는 압축기를 선택하고, 실제 입력으로 측정하고, 사전과 스마트 프레이밍의 이점을 잊지 마십시오. 올바른 조합으로 정확성이나 이식성을 희생하지 않고 더 작은 파일, 더 빠른 전송, 더 빠른 앱을 얻을 수 있습니다.
파일 압축은 파일 또는 파일들의 크기를 줄이는 과정으로, 일반적으로 저장 공간을 절약하거나 네트워크를 통한 전송을 가속화하기 위해 사용됩니다.
파일 압축은 데이터의 중복성을 식별하고 제거함으로써 작동합니다. 원래의 데이터를 더 작은 공간에 인코딩하기 위해 알고리즘을 사용합니다.
파일 압축의 두 가지 주요 유형은 손실 없는 압축과 손실 압축입니다. 손실 없는 압축은 원래 파일을 완벽하게 복원할 수 있게 하는 반면, 손실 압축은 데이터 품질의 일부 손실을 감수하면서 더 큰 크기 축소를 가능하게 합니다.
파일 압축 도구의 인기 있는 예는 ZIP과 RAR 같은 다양한 압축 형식을 지원하는 WinZip입니다.
손실 없는 압축에서는 품질이 변하지 않습니다. 그러나 손실 압축에서는 파일 크기를 더욱 크게 줄이기 위해 중요하지 않은 데이터를 제거하기 때문에 품질 저하가 눈에 띄게 될 수 있습니다.
네, 특히 손실 없는 압축에서는 데이터 무결성 측면에서 파일 압축이 안전합니다. 그러나 모든 파일과 마찬가지로, 압축된 파일도 멀웨어나 바이러스의 대상이 될 수 있으므로, 항상 신뢰할 수 있는 보안 소프트웨어를 갖추는 것이 중요합니다.
거의 모든 종류의 파일들은 압축이 가능하며, 이에는 텍스트 파일, 이미지, 오디오, 비디오, 소프트웨어 파일이 포함됩니다. 그러나, 압축 가능한 수준은 파일 유형에 따라 크게 달라질 수 있습니다.
ZIP 파일은 파일의 크기를 줄이는 데 손실 없는 압축을 사용하는 파일 형식의 일종입니다. ZIP 파일 안에는 여러 파일이 효과적으로 한 개의 파일로 묶여 있어 공유가 더욱 쉽습니다.
기술적으로는 가능합니다, 그러나 추가적인 크기 줄임은 최소한이거나 심지어 역효과일 수 있습니다. 이미 압축된 파일을 다시 압축하려고 하면, 압축 알고리즘이 추가하는 메타데이터 때문에 파일의 크기가 증가하기도 합니다.
파일을 압축 해제하려면 일반적으로 압축 해제 또는 압축 풀기 도구, 예를 들면 WinZip이나 7-Zip 같은 도구가 필요합니다. 이러한 도구들은 원래의 파일을 압축된 형식에서 추출할 수 있습니다.