OCR herhangi bir PBM

Optik Karakter Tanıma (OCR) metin resimlerini—taramaları, akıllı telefon fotoğraflarını, PDF'leri—makine tarafından okunabilir dizelere ve giderek artan bir şekilde yapılandırılmış verilere dönüştürür. Modern OCR, bir görüntüyü temizleyen, metni bulan, okuyan ve zengin meta verileri dışa aktaran bir boru hattıdır böylece alt sistemler alanları arayabilir, dizine ekleyebilir veya çıkarabilir. Yaygın olarak kullanılan iki çıktı standardı şunlardır: hOCR, metin ve düzen için bir HTML mikroformatı ve ALTO XML, bir kütüphane/arşiv odaklı şema; her ikisi de konumları, okuma sırasını ve diğer düzen ipuçlarını korur ve gibi popüler motorlar tarafından desteklenir Tesseract.

Boru hattına hızlı bir bakış

Ön işleme. OCR kalitesi görüntü temizleme ile başlar: gri tonlamaya dönüştürme, gürültü giderme, eşikleme (ikili hale getirme) ve eğrilik düzeltme. Kanonik OpenCV eğitimleri küresel, uyarlanabilir ve Otsu eşikleme—düzensiz aydınlatmalı veya bimodal histogramlı belgeler için temel unsurlar. Bir sayfa içinde aydınlatma değiştiğinde (telefon fotoğraflarını düşünün), uyarlanabilir yöntemler genellikle tek bir küresel eşikten daha iyi performans gösterir; Otsu histogramı analiz ederek otomatik olarak bir eşik seçer. Eğim düzeltme de aynı derecede önemlidir: Hough tabanlı eğrilik düzeltme (Hough Çizgi Dönüşümü) Otsu ikilileştirmesi ile eşleştirilmiş, üretim ön işleme boru hatlarında yaygın ve etkili bir reçetedir.

Tespit ve tanıma. OCR tipik olarak metin tespiti (metin nerede ?) ve metin tanıma (ne diyor?) olarak ikiye ayrılır. Doğal sahnelerde ve birçok taramada, tamamen evrişimli dedektörler gibi EAST ağır teklif aşamaları olmadan kelime veya satır düzeyinde dörtgenleri verimli bir şekilde tahmin eder ve yaygın araç setlerinde (ör. OpenCV’nin metin tespiti eğitimi) uygulanır. Karmaşık sayfalarda (gazeteler, formlar, kitaplar), satırların/bölgelerin segmentasyonu ve okuma sırası çıkarımı önemlidir:Kraken geleneksel bölge/satır segmentasyonunu ve sinirsel temel çizgi segmentasyonunu uygular, farklı komut dosyaları ve yönler (LTR/RTL/dikey) için açık destek ile.

Tanıma modelleri. Klasik açık kaynaklı iş gücü Tesseract (Google tarafından açık kaynaklı hale getirildi, kökleri HP'ye dayanıyor) bir karakter sınıflandırıcısından LSTM tabanlı bir dizi tanıyıcıya dönüştü ve aranabilir PDF'ler, hOCR/ALTO dostu çıktılarve daha fazlasını CLI'den yayabilir. Modern tanıyıcılar, önceden bölümlenmiş karakterler olmadan dizi modellemesine güvenir. Bağlantıcı Geçici Sınıflandırma (CTC) temel olmaya devam ediyor, girdi özellik dizileri ve çıktı etiket dizileri arasındaki hizalamaları öğreniyor; el yazısı ve sahne metni boru hatlarında yaygın olarak kullanılıyor.

Son birkaç yılda, Transformer'lar OCR'yi yeniden şekillendirdi. TrOCR bir görüş Transformer kodlayıcı artı bir metin Transformer kod çözücü kullanır, büyük sentetik korpuslar üzerinde eğitilmiş ve ardından gerçek veriler üzerinde ince ayar yapılmış, basılı, el yazısı ve sahne metni karşılaştırmalarında güçlü performansla (ayrıca bkz. Hugging Face belgeleri). Paralel olarak, bazı sistemler alt akım anlama için OCR'yi atlar: Donut (Belge Anlama Transformer'ı) doğrudan yapılandırılmış cevaplar (anahtar-değer JSON gibi) üreten OCR'siz bir kodlayıcı-kod çözücüdür belge resimlerinden (repo, model kartı), ayrı bir OCR adımı bir IE sistemini beslediğinde hata birikimini önler.

Motorlar ve kütüphaneler

Birçok komut dosyasında pille birlikte metin okuma istiyorsanız, EasyOCR 80'den fazla dil modeliyle basit bir API sunar, kutular, metin ve güvenilirlikler döndürür—prototipler ve Latin olmayan komut dosyaları için kullanışlıdır. Tarihi belgeler için, Kraken temel çizgi segmentasyonu ve komut dosyasına duyarlı okuma sırası ile parlar; esnek satır düzeyinde eğitim için, Calamari Ocropy soyundan gelir (Ocropy) (çoklu)LSTM+CTC tanıyıcıları ve özel modelleri ince ayarlamak için bir CLI ile.

Veri setleri ve karşılaştırmalar

Genelleme verilere bağlıdır. El yazısı için, IAM El Yazısı Veritabanı eğitim ve değerlendirme için yazar açısından çeşitli İngilizce cümleler sağlar; bu, satır ve kelime tanıma için uzun süredir devam eden bir referans setidir. Sahne metni için, COCO-Text MS-COCO üzerine kapsamlı ek açıklamalar katmanladı, basılı/el yazısı, okunaklı/okunaksız, komut dosyası ve tam transkripsiyonlar için etiketlerle (ayrıca orijinal proje sayfasınabakın). Alan ayrıca sentetik ön eğitime de büyük ölçüde güvenir: Vahşi Doğada SynthText gerçekçi geometri ve aydınlatma ile fotoğraflara metin işler, önceden eğitmek için büyük hacimli veriler sağlar dedektörler ve tanıyıcılar (referans kod ve veri).

ICDAR’ın Sağlam Okuma şemsiyesi altındaki yarışmalar değerlendirmeyi temellendirir. Son görevler uçtan uca tespit/okumayı vurgular ve kelimeleri ifadelere bağlamayı içerir, resmi kod raporlaması kesinlik/geri çağırma/F-skoru, kesişim-üzeri-birleşim (IoU) ve karakter düzeyinde düzenleme mesafesi metrikleri—uygulayıcıların izlemesi gerekenleri yansıtır.

Çıktı formatları ve alt akım kullanımı

OCR nadiren düz metinle biter. Arşivler ve dijital kütüphaneler ALTO XML 'i tercih eder çünkü içeriğin yanı sıra fiziksel düzeni (koordinatlı bloklar/satırlar/kelimeler) kodlar ve METS paketlemesiyle iyi eşleşir. hOCR mikroformatı ise aynı fikri ocr_line ve ocrx_word gibi sınıfları kullanarak HTML/CSS'ye gömer, bu da web araçlarıyla görüntülemeyi, düzenlemeyi ve dönüştürmeyi kolaylaştırır. Tesseract her ikisini de sunar—örneğin, doğrudan CLI'den hOCR veya aranabilir PDF'ler oluşturma (PDF çıktı kılavuzu); pytesseract gibi Python sarmalayıcıları kolaylık sağlar. Depoların sabit alım standartları olduğunda hOCR ve ALTO arasında çeviri yapmak için dönüştürücüler mevcuttur—bu derlenmiş listeye bakın OCR dosya formatı araçları.

Pratik rehberlik

• Veri ve temizlikle başlayın. Görüntüleriniz telefon fotoğrafları veya karışık kalitede taramalar ise, herhangi bir model ayarlamasından önce eşiklemeye (uyarlanabilir ve Otsu) ve eğrilik düzeltmeye (Hough) yatırım yapın. Genellikle sağlam bir ön işleme reçetesinden, tanıyıcıları değiştirmekten daha fazla kazanç sağlarsınız.
• Doğru dedektörü seçin. Düzenli sütunlu taranmış sayfalar için bir sayfa segmentleyici (bölgeler → satırlar) yeterli olabilir; doğal görüntüler için, EAST gibi tek atışlı dedektörler güçlü temel çizgilerdir ve birçok araç setine takılır (OpenCV örneği).
• Metninize uyan bir tanıyıcı seçin. Basılı Latin için, Tesseract (LSTM/OEM) sağlam ve hızlıdır; çoklu komut dosyası veya hızlı prototipler için, EasyOCR üretkendir; el yazısı veya tarihi yazı karakterleri için, Kraken veya Calamari 'yi düşünün ve ince ayar yapmayı planlayın. Belge anlamaya (anahtar-değer çıkarma, VQA) sıkı bir şekilde bağlanmanız gerekiyorsa, şemanızda TrOCR (OCR) ile Donut (OCR'siz) karşılaştırmasını değerlendirin—Donut bütün bir entegrasyon adımını kaldırabilir.
• Önemli olanı ölçün. Uçtan uca sistemler için, tespit F-skoru ve tanıma CER/WER'yi (her ikisi de Levenshtein düzenleme mesafesine dayanır; bkz. CTC) raporlayın; düzen ağırlıklı görevler için, IoU/sıkılığı ve karakter düzeyinde normalleştirilmiş düzenleme mesafesini ICDAR RRC değerlendirme kitlerindeki gibi izleyin.
• Zengin çıktılar dışa aktarın. hOCR /ALTO 'yu (veya her ikisini) tercih edin, böylece koordinatları ve okuma sırasını korursunuz—arama sonucu vurgulama, tablo/alan çıkarma ve köken için hayati önem taşır. Tesseract’ın CLI'si ve pytesseract bunu tek satırlık hale getirir.

İleriye bakış

En güçlü eğilim yakınsamadır: tespit, tanıma, dil modelleme ve hatta göreve özgü kod çözme birleşik Transformer yığınlarında birleşiyor. büyük sentetik korpuslar üzerinde ön eğitim bir güç çarpanı olmaya devam ediyor. OCR'siz modeller, hedefin kelimesi kelimesine transkriptler yerine yapılandırılmış çıktılar olduğu her yerde agresif bir şekilde rekabet edecektir. Hibrit dağıtımlar da bekleyin: uzun biçimli metin için hafif bir dedektör artı bir TrOCR tarzı tanıyıcı ve formlar ve makbuzlar için bir Donut tarzı model.

Daha fazla okuma ve araçlar

Tesseract (GitHub) · Tesseract belgeleri · hOCR özellikleri · ALTO arka planı · EAST dedektörü · OpenCV metin tespiti · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM el yazısı · OCR dosya formatı araçları · EasyOCR