OCR VDA 어떤 이미지

광학 문자 인식(OCR)은 텍스트 이미지(스캔, 스마트폰 사진, PDF)를 기계가 읽을 수 있는 문자열로, 그리고 점점 더 구조화된 데이터로 변환합니다. 최신 OCR은 이미지를 정리하고, 텍스트를 찾고, 읽고, 풍부한 메타데이터를 내보내는 파이프라인으로, 다운스트림 시스템이 필드를 검색, 색인 또는 추출할 수 있도록 합니다. 널리 사용되는 두 가지 출력 표준은 hOCR, 텍스트 및 레이아웃을 위한 HTML 마이크로포맷, 및 ALTO XML, 도서관/기록 보관소 지향 스키마입니다. 둘 다 위치, 읽기 순서 및 기타 레이아웃 단서를 보존하며 다음과 같은 인기 있는 엔진에서 지원됩니다. Tesseract.

파이프라인 둘러보기

전처리. OCR 품질은 이미지 정리부터 시작됩니다: 그레이스케일 변환, 노이즈 제거, 임계값 처리(이진화) 및 기울기 보정. 표준 OpenCV 튜토리얼은 전역, 적응형 및 Otsu 임계값 처리를 다룹니다. 이는 불균일한 조명이나 이중 모드 히스토그램이 있는 문서의 필수 요소입니다. 페이지 내에서 조명이 달라지면 (휴대폰 사진을 생각해보세요), 적응형 방법이 단일 전역 임계값보다 성능이 뛰어난 경우가 많습니다. Otsu는 히스토그램을 분석하여 자동으로 임계값을 선택합니다. 기울기 보정도 마찬가지로 중요합니다: Hough 기반 기울기 보정(Hough 라인 변환)과 Otsu 이진화를 함께 사용하면 프로덕션 전처리 파이프라인에서 일반적이고 효과적인 방법입니다.

탐지 대 인식. OCR은 일반적으로 텍스트 탐지(텍스트는 어디에 있는가?)와 텍스트 인식(무슨 내용인가?)으로 나뉩니다. 자연스러운 장면과 많은 스캔에서 완전 컨볼루션 탐지기 같은 EAST 는 무거운 제안 단계 없이 단어 또는 줄 수준의 사각형을 효율적으로 예측하며 일반적인 툴킷(예: OpenCV의 텍스트 탐지 튜토리얼)에 구현되어 있습니다. 복잡한 페이지(신문, 양식, 책)에서는 줄/영역의 분할과 읽기 순서 추론이 중요합니다:Kraken 은 전통적인 영역/줄 분할과 신경망 기준선 분할을 구현하며, 다양한 스크립트와 방향(LTR/RTL/수직)을 명시적으로 지원합니다.

인식 모델. 고전적인 오픈 소스 주력 제품인 Tesseract (HP에서 시작하여 Google이 오픈 소스로 공개)는 문자 분류기에서 LSTM 기반 시퀀스 인식기로 발전했으며 검색 가능한 PDF, hOCR/ALTO 친화적인 출력등을 CLI에서 내보낼 수 있습니다. 최신 인식기는 미리 분할된 문자 없이 시퀀스 모델링에 의존합니다. 연결주의적 시간 분류(CTC) 는 입력 특징 시퀀스와 출력 레이블 문자열 간의 정렬을 학습하는 기본으로 남아 있으며, 필기 및 장면 텍스트 파이프라인에서 널리 사용됩니다.

지난 몇 년 동안 Transformer는 OCR을 재구성했습니다. TrOCR 은 비전 Transformer 인코더와 텍스트 Transformer 디코더를 사용하며, 대규모 합성 코퍼스에서 훈련한 다음 실제 데이터로 미세 조정하여 인쇄, 필기 및 장면 텍스트 벤치마크에서 강력한 성능을 보입니다(참조: Hugging Face 문서). 병행하여 일부 시스템은 다운스트림 이해를 위해 OCR을 건너뜁니다: Donut(문서 이해 Transformer) 은 문서 이미지에서 직접 구조화된 답변(키-값 JSON 등)을 출력하는 OCR 없는 인코더-디코더입니다(리포지토리, 모델 카드), 별도의 OCR 단계가 IE 시스템에 공급될 때 오류 누적을 방지합니다.

엔진 및 라이브러리

많은 스크립트에서 바로 사용할 수 있는 텍스트 읽기를 원한다면 EasyOCR 은 80개 이상의 언어 모델과 함께 간단한 API를 제공하여 상자, 텍스트 및 신뢰도를 반환하므로 프로토타입과 비라틴 스크립트에 유용합니다. 역사적 문서의 경우 Kraken 은 기준선 분할 및 스크립트 인식 읽기 순서로 뛰어납니다. 유연한 줄 수준 훈련을 위해 Calamari 는 Ocropy 계보를 기반으로 합니다(Ocropy) (다중)LSTM+CTC 인식기와 사용자 지정 모델 미세 조정을 위한 CLI가 있습니다.

데이터 세트 및 벤치마크

일반화는 데이터에 달려 있습니다. 필기의 경우 IAM 필기 데이터베이스 는 훈련 및 평가를 위해 다양한 필체의 영어 문장을 제공합니다. 이는 줄 및 단어 인식을 위한 오랜 참조 세트입니다. 장면 텍스트의 경우 COCO-Text 는 MS-COCO 위에 광범위한 주석을 계층화했으며, 인쇄/필기, 읽기 가능/읽기 불가능, 스크립트 및 전체 전사에 대한 레이블이 있습니다(원본 프로젝트 페이지참조). 이 분야는 또한 합성 사전 훈련에 크게 의존합니다: SynthText in the Wild 는 사실적인 기하학과 조명으로 사진에 텍스트를 렌더링하여 사전 훈련 탐지기 및 인식기를 위한 방대한 양의 데이터를 제공합니다(참조: 코드 및 데이터).

ICDAR의 강력한 읽기 산하의 대회는 평가를 현실에 기반하게 합니다. 최근 과제는 종단 간 탐지/읽기를 강조하며 단어를 구문으로 연결하는 것을 포함하며, 공식 코드 보고 정밀도/재현율/F-점수, 교차 오버 유니온 (IoU) 및 문자 수준 편집 거리 메트릭—실무자가 추적해야 할 사항을 반영합니다.

출력 형식 및 다운스트림 사용

OCR은 일반 텍스트로 끝나는 경우가 거의 없습니다. 아카이브 및 디지털 도서관은 ALTO XML 을 선호합니다. 왜냐하면 콘텐츠와 함께 물리적 레이아웃(좌표가 있는 블록/줄/단어)을 인코딩하고 METS 패키징과 잘 어울리기 때문입니다. hOCR 마이크로포맷은 대조적으로 ocr_line 및 ocrx_word와 같은 클래스를 사용하여 동일한 아이디어를 HTML/CSS에 포함시켜 웹 도구로 쉽게 표시, 편집 및 변환할 수 있도록 합니다. Tesseract는 둘 다 노출합니다. 예를 들어 CLI에서 직접 hOCR 또는 검색 가능한 PDF 생성(PDF 출력 가이드); pytesseract 와 같은 Python 래퍼는 편의성을 더합니다. 리포지토리에 고정된 수집 표준이 있을 때 hOCR과 ALTO 간에 변환하는 변환기가 있습니다. 이 선별된 목록을 참조하십시오. OCR 파일 형식 도구.

실용적인 지침

• 데이터 및 정리부터 시작하십시오. 이미지가 휴대폰 사진이거나 품질이 혼합된 스캔인 경우 모델 조정 전에 임계값 처리(적응형 및 Otsu) 및 기울기 보정(Hough)에 투자하십시오. 인식기를 교체하는 것보다 강력한 전처리 레시피에서 더 많은 것을 얻을 수 있습니다.
• 올바른 탐지기를 선택하십시오. 일반적인 열이 있는 스캔된 페이지의 경우 페이지 분할기(영역 → 줄)로 충분할 수 있습니다. 자연스러운 이미지의 경우 EAST 와 같은 단일 샷 탐지기는 강력한 기준선이며 많은 툴킷에 연결됩니다(OpenCV 예제).
• 텍스트와 일치하는 인식기를 선택하십시오. 인쇄된 라틴어의 경우 Tesseract(LSTM/OEM) 는 견고하고 빠릅니다. 다중 스크립트 또는 빠른 프로토타입의 경우 EasyOCR 은 생산적입니다. 필기 또는 역사적 서체의 경우 Kraken 또는 Calamari 를 고려하고 미세 조정을 계획하십시오. 문서 이해(키-값 추출, VQA)와 긴밀하게 결합해야 하는 경우 스키마에서 TrOCR (OCR) 대 Donut (OCR 없음)을 평가하십시오. Donut은 전체 통합 단계를 제거할 수 있습니다.
• 중요한 것을 측정하십시오. 종단 간 시스템의 경우 탐지 F-점수 및 인식 CER/WER(둘 다 Levenshtein 편집 거리에 기반함; CTC참조)을 보고하십시오. 레이아웃이 많은 작업의 경우 IoU/긴밀도 및 문자 수준 정규화된 편집 거리를 ICDAR RRC 평가 키트에서와 같이 추적하십시오.
• 풍부한 출력을 내보내십시오. hOCR /ALTO (또는 둘 다)를 선호하여 좌표와 읽기 순서를 유지하십시오. 이는 검색 결과 강조 표시, 표/필드 추출 및 출처에 필수적입니다. Tesseract의 CLI 및 pytesseract 는 이를 한 줄로 만듭니다.

앞으로의 전망

가장 강력한 추세는 융합입니다: 탐지, 인식, 언어 모델링, 심지어 작업별 디코딩까지 통합된 Transformer 스택으로 통합되고 있습니다. 대규모 합성 코퍼스 에서의 사전 훈련은 여전히 힘의 승수입니다. OCR 없는 모델은 대상이 글자 그대로의 전사가 아닌 구조화된 출력인 곳이면 어디에서나 공격적으로 경쟁할 것입니다. 하이브리드 배포도 기대하십시오: 긴 형식 텍스트를 위한 경량 탐지기 + TrOCR 스타일 인식기, 그리고 양식 및 영수증을 위한 Donut 스타일 모델.

추가 자료 및 도구

Tesseract (GitHub) · Tesseract 문서 · hOCR 사양 · ALTO 배경 · EAST 탐지기 · OpenCV 텍스트 탐지 · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM 필기 · OCR 파일 형식 도구 · EasyOCR