光学文字認識(OCR)は、テキストの画像(スキャン、スマートフォンの写真、PDF)を機械が読み取れる文字列に、そしてますます 構造化データに変換します。現代のOCRは、画像をクリーンアップし、テキストを見つけ、それを読み取り、豊富なメタデータをエクスポートするパイプラインであり、 下流のシステムがフィールドを検索、索引付け、または抽出できるようにします。広く使用されている2つの出力標準は、 hOCR、テキストとレイアウトのためのHTMLマイクロフォーマット、および ALTO XML、図書館/アーカイブ指向のスキーマです。どちらも位置、読み取り順序、その他のレイアウトの合図を保持し、Tesseractのような人気のあるエンジンでサポートされています。
前処理。 OCRの品質は、画像のクリーンアップから始まります:グレースケール変換、ノイズ除去、 しきい値処理(二値化)、および傾き補正。標準的なOpenCVのチュートリアルでは、グローバル、 適応型 および Otsu のしきい値処理が扱われています。これらは、不均一な照明やバイモーダルなヒストグラムを持つドキュメントの定番です。ページ内で照明が変化する場合 (電話のスナップショットを考えてみてください)、適応型メソッドは単一のグローバルしきい値よりも優れていることがよくあります。Otsu はヒストグラムを分析して自動的にしきい値を選択します。傾き補正も同様に重要です:Houghベースの 傾き補正(ハフライン変換)とOtsuの二値化を組み合わせることは、生産前処理パイプラインで一般的で効果的なレシピです。
検出と認識。 OCRは通常、テキスト検出(テキストはどこにあるか ?)とテキスト認識(何が書かれているか?)に分けられます。自然なシーンや多くのスキャンでは、 EAST のような完全畳み込み検出器は、重い提案段階なしで単語または行レベルの四辺形を 効率的に予測し、 一般的なツールキット(例: OpenCVのテキスト検出チュートリアル)に実装されています。複雑なページ(新聞、フォーム、書籍)では、行/領域のセグメンテーションと読み取り順序の推論が重要です:Kraken は、従来のゾーン/ラインセグメンテーションとニューラルベースラインセグメンテーションを実装しており、さまざまなスクリプトと方向(LTR / RTL /垂直)を明示的にサポートしています。
認識モデル。 古典的なオープンソースの主力製品である Tesseract (Googleによってオープンソース化され、HPにルーツを持つ)は、文字分類器からLSTMベースのシーケンス 認識器に進化し、検索可能なPDF、 hOCR / ALTOフレンドリーな出力などをCLIから出力できます。現代の認識器は、事前にセグメント化された文字なしでシーケンスモデリングに依存しています。 コネクショニスト時間分類(CTC) は、入力特徴シーケンスと出力ラベル文字列間のアライメントを学習する基礎であり続け、手書きおよびシーンテキストパイプラインで広く 使用されています。
過去数年間で、TransformerはOCRを再構築しました。 TrOCR は、ビジョントランスフォーマーエンコーダーとテキストトランスフォーマーデコーダーを使用し、大規模な合成コーパスでトレーニングされた後、 実際のデータで微調整され、印刷、手書き、シーンテキストのベンチマークで強力なパフォーマンスを発揮します( Hugging Faceのドキュメントも参照)。並行して、一部のシステムは下流の理解のためにOCRを回避します: Donut(Document Understanding Transformer) は、ドキュメント 画像から直接構造化された回答(キーと値のJSONなど)を出力するOCRフリーのエンコーダーデコーダーです(リポジトリ、 モデルカード)、別のOCRステップがIEシステムにフィードされるときのエラー蓄積を回避します。
多くのスクリプトでバッテリー付属のテキスト読み取りが必要な場合は、 EasyOCR が80以上の言語モデルを備えたシンプルなAPIを提供し、ボックス、テキスト、信頼度を返します。これはプロトタイプや 非ラテン文字のスクリプトに便利です。歴史的な文書の場合、 Kraken はベースラインセグメンテーションとスクリプト対応の読み取り順序 で優れています。柔軟な行レベルのトレーニングには、 Calamari がOcropyの系統に基づいて構築されています(Ocropy)(マルチ)LSTM + CTC認識器とカスタムモデルを微調整するためのCLIを備えています。
一般化はデータにかかっています。手書きの場合、 IAM手書きデータベース は、トレーニングと評価のために作家の多様な英語の文章を提供します。これは、 行と単語の認識のための長年の参照セットです。シーンテキストの場合、 COCO-Text は、MS-COCOに広範な注釈を重ね、印刷/手書き、判読可能/判読不能、スクリプト、および 完全な転写のラベルを付けました(元の プロジェクトページも参照)。この分野はまた、合成事前トレーニングに大きく依存しています: SynthText in the Wild は、リアルなジオメトリと照明でテキストを写真にレンダリングし、事前トレーニング 検出器と認識器に大量のデータを提供します(参照 コードとデータ)。
ICDARのRobust Reading の傘下での競争は、評価を現実的なものに保ちます。最近のタスクは、エンドツーエンドの検出/読み取りを強調し、単語を フレーズにリンクすることを含み、公式コードは 精度/再現率/ Fスコア、和集合上の積集合 (IoU)、および文字レベルの編集距離メトリックを報告します。これは、実践者が追跡すべきことを反映しています。
OCRはめったにプレーンテキストで終わりません。アーカイブやデジタルライブラリは ALTO XML を好みます。なぜなら、コンテンツとともに物理的なレイアウト(座標を持つブロック/行/単語)をエンコードし、 METSパッケージングとうまく連携するからです。 hOCR マイクロフォーマットは、対照的に、ocr_lineや ocrx_wordなどのクラスを使用して同じアイデアをHTML / CSSに埋め込み、Webツールで簡単に表示、編集、変換できるようにします。Tesseractは両方を公開しています。たとえば、 CLIから直接hOCRまたは検索可能なPDFを生成します(PDF出力ガイド)。 pytesseract のようなPythonラッパーは利便性を高めます。リポジトリに固定の取り込み 標準がある場合、hOCRとALTOの間で変換するためのコンバーターが存在します。この厳選されたリス トを参照してください OCRファイル形式ツール。
最も強力なトレンドは収束です:検出、認識、言語モデリング、さらにはタスク固有のデコードまで が統一されたTransformerスタックに統合されています。 大規模な合成コーパス での事前トレーニングは、依然として力の乗数です。OCRフリーモデルは、ターゲットが逐語的な転写ではなく構造化された出力である場所ならどこでも積極的に競争します。 ハイブリッド展開も期待してください:長文テキスト用の軽量検出器とTrOCRスタイルの 認識器、およびフォームとレシート用のDonutスタイルのモデル。
Tesseract (GitHub) · Tesseractドキュメント · hOCR仕様 · ALTOの背景 · EAST検出器 · OpenCVテキスト検出 · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM手書き · OCRファイル形式ツール · EasyOCR
光学的文字認識(OCR)は、さまざまな形式のドキュメント(スキャンされた紙のドキュメント、PDFファイル、デジタルカメラで撮影された画像など)を編集可能で検索可能なデータに変換するために使用される技術です。
OCRは入力画像またはドキュメントをスキャンし、画像を個々の文字に分割し、各文字を形状認識または特徴認識を使用して文字形状のデータベースと比較します。
OCRは印刷文書のデジタル化、テキストから音声へのサービスの活用、 データ入力プロセスの自動化、視覚障害のあるユーザーがテキストとより良く対話できるようにするなど、さまざまな業界とアプリケーションで使用されています。
OCR技術は大幅に進歩していますが、それが無敵ではありません。精度は、元のドキュメントの品質と使用されているOCRソフトウェアの特性によって異なることがあります。
OCRは主に印刷されたテキストを認識するように設計されていますが、一部の高度なOCRシステムは明瞭で一貫性のある手書き文字も認識することができます。ただし、個々の文字スタイルの変動幅が広いため、手書き文字の認識は通常、印刷されたテキストの認識よりも精度が低いです。
はい、 多くのOCRソフトウェアは複数の言語を認識できます。ただし、特定の言語がサポートされていることを確認する必要があります。
OCRはOptical Character Recognition(光学的文字認識)の略で、印刷されたテキストを認識します。一方、ICRはIntelligent Character Recognition(知能的文字認識)の略で、より進んだ技術を使用して手書きのテキストを認識します。
OCRはクリアで読みやすいフォントと標準的な文字サイズを処理するのに最も適しています。それはさまざまなフォントとサイズを処理する能力を持っていますが、非常に小さい文字サイズや一般的でないフォントを処理するときには、その精度が下がる可能性があります。
OCRは低解像度のドキュメント、複雑なフォント、印刷品質が悪いテキスト、手書きのテキスト、またはテキストが含まれている背景からの混乱を処理するのに問題を抱えている可能性があります。さらに、それは多言語を处理する能力を持っていますが、すべての言語を完全にカバーすることはできない可能性があります。
はい、OCRはカラーテキストとカラーバックグラウンドをスキャンすることができますが、通常は黒いテキストと白いバックグラウンドといった高いコントラストの色の組み合わせに対して最も効果的です。テキストとバックグラウンドの色のコントラストが不十分な場合、その精度が下がる可能性があります。
柔軟な画像転送システム(FITS)形式は、科学的およびその他の画像の保存、転送、処理に役立つデジタルファイル形式を定義するオープンスタンダードです。FITSは、天文学で最も一般的に使用されているデジタルファイル形式です。特定の種類の画像やデバイス用に設計された多くの画像形式とは異なり、FITSは柔軟に設計されており、画像、スペクトル、テーブルなど、さまざまな種類の科学データを1つのファイルに格納できます。この汎用性により、FITSは単なる画像形式ではなく、堅牢な科学データストレージツールになります。
もともと1970年代後半に、データ交換と保存のための標準化されたデータ形式を必要としていた天文学者とコンピュータサイエンティストによって開発されたFITSは、自己文書化、マシン非依存、将来のニーズに対応して簡単に拡張できるように設計されました。これらの基本的な原則により、FITSは数十年にわたる技術の進歩に適応しながらも下位互換性を維持し、数十年前のFITS形式で保存されたデータに現在でもアクセスして理解できることを保証しています。
FITSファイルは1つ以上の「ヘッダーデータユニット」(HDU)で構成され、各HDUはヘッダーとデータセクションで構成されます。ヘッダーには一連の人間が読めるASCIIテキスト行が含まれ、それぞれが次のセクションのデータの側面(形式、サイズ、その他のコンテキスト情報など)を記述します。この自己文書化機能は、FITS形式の重要な利点であり、データのコンテキストをデータ自体に直接埋め込むため、FITSファイルはより理解しやすく、使いやすくなります。
HDUのデータセクションには、配列(画像など)、テーブル、さらに複雑な構造など、さまざまなデータタイプを含めることができます。FITSは、異なる精度レベルの整数と浮動小 数点数など、複数のデータタイプをサポートします。これにより、科学的分析に不可欠で、処理と分析のステップを通じてデータの完全性を維持するために重要な、高いビット深度の生の観測データを格納できます。
FITSの重要な機能の1つは、N次元配列をサポートすることです。2次元(2D)配列は画像データによく使用されますが、FITSは任意の次元の配列に対応できるため、単純な画像を超えた幅広い科学データに適しています。たとえば、3次元(3D)FITSファイルは、関連する2D画像のセットを3次元の異なる平面として格納したり、ボリュームデータを直接格納したりできます。
FITSは、メタデータを広範囲に格納できることでも注目されています。各HDUのヘッダーには、観測日時、観測機器の仕様、データ処理履歴などを含むデータの詳細な説明を提供する「キーワード」を含めることができます。この広範なメタデータ機能により、FITSファイルは単なるデータのコンテナではなく、それらを作成した科学的観測とプロセスの包括的な記録になります。
FITS標準には、さまざまなタイプのデータに対する特定の規則と拡張が含まれています。たとえば、「バイナリテーブル」拡張機能により、異種のデータタイプの行を含むテーブルデータをFITSファイル内に効率的に格納できます。もう1つの重要な拡張機能は「ワールド座標系」(WCS)で、天文学データに関連する空間(および時間)座標を定義するための標準化された方法を提供します。FITSヘッダーのWCSキーワードにより、画像ピクセルを天体座標に正確にマッピングでき、天文学研究に不可欠です。
相互運用性とデータの整合性を確保する ために、FITS標準は正式な定義によって管理され、天文学、コンピューティング、データサイエンスの国際的な専門家で構成されるFITSワーキンググループによって継続的に更新されています。この標準は国際天文学連合(IAU)によって監督されており、FITSが天文学データのグローバル標準であり続けることが保証されています。
FITSは自己文書化で拡張可能に設計されていますが、複雑な面がないわけではありません。FITSファイルの柔軟な構造は、FITSデータを読み書きするソフトウェアが、さまざまな形式とデータタイプを処理できる必要があることを意味します。さらに、膨大な量の可能なメタデータと、それを使用するための複雑な規則は、FITSファイルの操作に慣れていない人にとって急な学習曲線を作成する可能性があります。
これらの課題にもかかわらず、FITS形式の幅広い採用と、さまざまなプログラミング言語で利用できる多数のライブラリとツールの恩恵により、FITSデータの操作は幅広いユーザーにアクセスできるようになりました。CFITSIO(C)やAstropy(Python)などのライブラリは、FITSファイルの読み取り、書き込み、操作のための包括的な機能を提供し、科学的コンピューティングと研究における形式の使用をさらに促進します。
FITSの広範な使用と、利用可能な広範なライブラリとツールは、ユーザーと開発者の活発なコミュニティを育成し、FITS標準と関連ソフトウェアの継続的な改善と更新に貢献しています。このコミュニティ主導の開発により、FITSは関連性を維持し、科学研究の進化するニーズを満たすことができます。
近年、FITS形式のより革新的な用途の1つは、天文学 における高性能コンピューティング(HPC)とビッグデータ分析の分野にあります。望遠鏡とセンサーがより高性能になるにつれて、天文学データの量は爆発的に増加しました。FITSはこれらの変化に適応しており、増加したデータ量を効率的に処理するために開発された新しいツールとライブラリにより、主要な天文学的調査のデータ処理パイプラインの重要なコンポーネントになっています。
FITS形式は、広範なメタデータを使用して複雑な多次元データを格納して整理する機能も備えているため、天文学以外の分野でも応用されています。医療画像、地球科学、さらにはデジタル保存などの分野では、堅牢性、柔軟性、自己文書化の性質の恩恵を受けて、さまざまなデータストレージのニーズにFITSを採用しています。この幅広い適用性は、形式の基本原則の強さを示しています。
今後、FITS形式の継続的な進化は、新興の科学分野のニーズとデジタルデータの継続的な爆発の影響を受ける可能性があります。データ圧縮、複雑なデータ構造のサポートの向上、さらに高度なメタデータ機能などの分野での強化により、FITSのユーティリティがさらに拡張される可能性があります。FITS標準のオープンで拡張可能な性質は、強力なガバナンスと活発なコミュニティと相まって、これらの将来の課題に対処するのに適しています。
結論として、柔軟な画像転送システム(FITS)形式は、特に天文学において、科学的データストレージの基礎を形成しています。柔軟性、自己文書化、拡張性の原則を核として設計されたFITSは、コンピューティングとデータサイエンスにおける40年以上にわたる進歩にうまく適応し てきました。単純な画像から広範なメタデータを含む複雑な多次元データセットまで、さまざまなタイプのデータを格納する機能により、FITSは科学コミュニティにとって他に類を見ない強力なツールになります。テクノロジーが進化し続けるにつれて、ユーザーと開発者のグローバルコミュニティによってサポートされるFITS形式は、天文学とその先における研究とデータ管理の重要な資産であり続けるでしょう。
このコンバーターはブラウザ内で完全に動作します。ファイルを選択すると、メモリに読み込まれ、選択したフォーマットに変換されます。その後、変換されたファイルをダウンロードできます。
変換は瞬時に開始され、ほとんどのファイルは1秒以内に変換されます。大きなファイルの場合、時間がかかる場合があります。
ファイルは決してサーバにアップロードされません。ブラウザ内で変換され、変換されたファイルがダウンロードされます。ファイルは見られません。
画像フォーマット間の変換すべてに対応しています。JPEG、PNG、GIF、WebP、SVG、BMP、TIFFなどです。
このコンバーターは完全に無料で、永久に無料のままです。ブラウザ内で動作するため、サーバを用意する必要がないので、料金を請求する必要がありません。
はい、一度に複数のファイルを変換できます。追加時に複数のファイルを選択してください。