OCR CLIPの全て

光学文字認識（OCR）は、テキストの画像（スキャン、スマートフォンの写真、PDF）を機械が読み取れる文字列に、そしてますます 構造化データに変換します。現代のOCRは、画像をクリーンアップし、テキストを見つけ、それを読み取り、豊富なメタデータをエクスポートするパイプラインであり、 下流のシステムがフィールドを検索、索引付け、または抽出できるようにします。広く使用されている2つの出力標準は、 hOCR、テキストとレイアウトのためのHTMLマイクロフォーマット、および ALTO XML、図書館/アーカイブ指向のスキーマです。どちらも位置、読み取り順序、その他のレイアウトの合図を保持し、Tesseractのような人気のあるエンジンでサポートされています。

パイプラインの簡単なツアー

前処理。 OCRの品質は、画像のクリーンアップから始まります：グレースケール変換、ノイズ除去、 しきい値処理（二値化）、および傾き補正。標準的なOpenCVのチュートリアルでは、グローバル、 適応型 および Otsu のしきい値処理が扱われています。これらは、不均一な照明やバイモーダルなヒストグラムを持つドキュメントの定番です。ページ内で照明が変化する場合 （電話のスナップショットを考えてみてください）、適応型メソッドは単一のグローバルしきい値よりも優れていることがよくあります。Otsu はヒストグラムを分析して自動的にしきい値を選択します。傾き補正も同様に重要です：Houghベースの 傾き補正（ハフライン変換）とOtsuの二値化を組み合わせることは、生産前処理パイプラインで一般的で効果的なレシピです。

検出と認識。 OCRは通常、テキスト検出（テキストはどこにあるか ？）とテキスト認識（何が書かれているか？）に分けられます。自然なシーンや多くのスキャンでは、 EAST のような完全畳み込み検出器は、重い提案段階なしで単語または行レベルの四辺形を効率的に予測し、 一般的なツールキット（例： OpenCVのテキスト検出チュートリアル）に実装されています。複雑なページ（新聞、フォーム、書籍）では、行/領域のセグメンテーションと読み取り順序の推論が重要です：Kraken は、従来のゾーン/ラインセグメンテーションとニューラルベースラインセグメンテーションを実装しており、さまざまなスクリプトと方向（LTR / RTL /垂直）を明示的にサポートしています。

認識モデル。 古典的なオープンソースの主力製品である Tesseract （Googleによってオープンソース化され、HPにルーツを持つ）は、文字分類器からLSTMベースのシーケンス 認識器に進化し、検索可能なPDF、 hOCR / ALTOフレンドリーな出力などをCLIから出力できます。現代の認識器は、事前にセグメント化された文字なしでシーケンスモデリングに依存しています。 コネクショニスト時間分類（CTC） は、入力特徴シーケンスと出力ラベル文字列間のアライメントを学習する基礎であり続け、手書きおよびシーンテキストパイプラインで広く 使用されています。

過去数年間で、TransformerはOCRを再構築しました。 TrOCR は、ビジョントランスフォーマーエンコーダーとテキストトランスフォーマーデコーダーを使用し、大規模な合成コーパスでトレーニングされた後、 実際のデータで微調整され、印刷、手書き、シーンテキストのベンチマークで強力なパフォーマンスを発揮します（ Hugging Faceのドキュメントも参照）。並行して、一部のシステムは下流の理解のためにOCRを回避します： Donut（Document Understanding Transformer） は、ドキュメント 画像から直接構造化された回答（キーと値のJSONなど）を出力するOCRフリーのエンコーダーデコーダーです（リポジトリ、 モデルカード）、別のOCRステップがIEシステムにフィードされるときのエラー蓄積を回避します。

エンジンとライブラリ

多くのスクリプトでバッテリー付属のテキスト読み取りが必要な場合は、 EasyOCR が80以上の言語モデルを備えたシンプルなAPIを提供し、ボックス、テキスト、信頼度を返します。これはプロトタイプや 非ラテン文字のスクリプトに便利です。歴史的な文書の場合、 Kraken はベースラインセグメンテーションとスクリプト対応の読み取り順序で優れています。柔軟な行レベルのトレーニングには、 Calamari がOcropyの系統に基づいて構築されています（Ocropy）（マルチ）LSTM + CTC認識器とカスタムモデルを微調整するためのCLIを備えています。

データセットとベンチマーク

一般化はデータにかかっています。手書きの場合、 IAM手書きデータベース は、トレーニングと評価のために作家の多様な英語の文章を提供します。これは、 行と単語の認識のための長年の参照セットです。シーンテキストの場合、 COCO-Text は、MS-COCOに広範な注釈を重ね、印刷/手書き、判読可能/判読不能、スクリプト、および 完全な転写のラベルを付けました（元の プロジェクトページも参照）。この分野はまた、合成事前トレーニングに大きく依存しています： SynthText in the Wild は、リアルなジオメトリと照明でテキストを写真にレンダリングし、事前トレーニング 検出器と認識器に大量のデータを提供します（参照 コードとデータ）。

ICDARのRobust Reading の傘下での競争は、評価を現実的なものに保ちます。最近のタスクは、エンドツーエンドの検出/読み取りを強調し、単語を フレーズにリンクすることを含み、公式コードは 精度/再現率/ Fスコア、和集合上の積集合 （IoU）、および文字レベルの編集距離メトリックを報告します。これは、実践者が追跡すべきことを反映しています。

出力形式と下流での使用

OCRはめったにプレーンテキストで終わりません。アーカイブやデジタルライブラリは ALTO XML を好みます。なぜなら、コンテンツとともに物理的なレイアウト（座標を持つブロック/行/単語）をエンコードし、 METSパッケージングとうまく連携するからです。 hOCR マイクロフォーマットは、対照的に、ocr_lineや ocrx_wordなどのクラスを使用して同じアイデアをHTML / CSSに埋め込み、Webツールで簡単に表示、編集、変換できるようにします。Tesseractは両方を公開しています。たとえば、 CLIから直接hOCRまたは検索可能なPDFを生成します（PDF出力ガイド）。 pytesseract のようなPythonラッパーは利便性を高めます。リポジトリに固定の取り込み 標準がある場合、hOCRとALTOの間で変換するためのコンバーターが存在します。この厳選されたリストを参照してください OCRファイル形式ツール。

実践的なガイダンス

• データと清潔さから始めましょう。 画像が電話の写真や品質の低いスキャンである場合は、 モデルの調整を行う前に、しきい値処理（適応型とOtsu）と傾き補正（Hough）に投資してください。認識器を交換するよりも、堅牢な前処理レシピから得られるものの方が大きいことがよくあります。
• 適切な検出器を選択してください。 通常の列を持つスキャンされたページの場合、ページセグメンター（ゾーン→ 行）で十分な場合があります。自然な画像の場合、 EAST のようなシングルショット検出器は強力なベースラインであり、多くのツールキットにプラグインします（OpenCVの例）。
• テキストに一致する認識器を選択してください。 印刷されたラテン語の場合、 Tesseract（LSTM / OEM） は頑丈で高速です。マルチスクリプトまたは迅速なプロトタイプの場合、 EasyOCR は生産的です。手書きまたは歴史的な書体の場合、 Kraken または Calamari を検討し、微調整を計画してください。ドキュメントの理解（キーと値の抽出、VQA）との緊密な結合が必要な場合は、 スキーマで TrOCR （OCR）と Donut （OCRフリー）を比較評価します。Donutは統合ステップ全体を削除する可能性があります。
• 重要なことを測定します。 エンドツーエンドシステムの場合、検出 Fスコアと認識CER / WER（どちらもレーベンシュタイン 編集距離に基づく。 CTCを参照）を報告します。レイアウトの多いタスクの場合、 ICDAR RRC 評価キットのように、IoU /タイトネスと文字レベルの正規化された編集距離を追跡します。
• 豊富な出力をエクスポートします。 hOCR /ALTO （または両方）を優先して、座標と読み取り順序を保持します。これは、検索ヒットの強調表示、テーブル/フィールド の抽出、および来歴に不可欠です。TesseractのCLIと pytesseract は、これをワンライナーにします。

今後の展望

最も強力なトレンドは収束です：検出、認識、言語モデリング、さらにはタスク固有のデコードまで が統一されたTransformerスタックに統合されています。 大規模な合成コーパス での事前トレーニングは、依然として力の乗数です。OCRフリーモデルは、ターゲットが逐語的な転写ではなく構造化された出力である場所ならどこでも積極的に競争します。 ハイブリッド展開も期待してください：長文テキスト用の軽量検出器とTrOCRスタイルの 認識器、およびフォームとレシート用のDonutスタイルのモデル。

参考文献とツール

Tesseract (GitHub) · Tesseractドキュメント · hOCR仕様 · ALTOの背景 · EAST検出器 · OpenCVテキスト検出 · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM手書き · OCRファイル形式ツール · EasyOCR