OCR 任何PDF

光学字符识别（OCR）将文本图像（扫描件、智能手机照片、PDF）转换为机器可读的字符串，并越来越多地转换为 结构化数据。现代 OCR 是一个清理图像、查找文本、读取文本并导出丰富元数据的管道， 以便下游系统可以搜索、索引或提取字段。两个广泛使用的输出标准是 hOCR，一种用于文本和布局的 HTML 微格式，以及 ALTO XML，一种面向图书馆/档案馆的模式；两者都保留位置、阅读顺序和其他布局提示，并受 流行引擎（如 Tesseract）支持。

管道快速浏览

预处理。 OCR 质量始于图像清理：灰度转换、去噪、 阈值处理（二值化）和偏斜校正。经典的 OpenCV 教程涵盖了全局、 自适应 和 Otsu 阈值处理——适用于光照不均匀或双峰直方图的文档。当页面内的光照发生变化时 （例如手机快照），自适应方法通常优于单个全局阈值；Otsu 通过分析直方图自动选择阈值。倾斜校正同样重要：基于霍夫变换的 偏斜校正（霍夫线变换）与 Otsu 二值化相结合，是生产预处理管道中常用且有效的方案。

检测与识别。 OCR 通常分为文本检测（文本在 哪里？）和文本识别（它说了什么？）。在自然场景和许多扫描中，全卷积 检测器（如 EAST ）可以有效地预测单词或行级四边形，而无需繁重的提议阶段，并且已在 常见工具包（例如 OpenCV 的文本检测教程）中实现。在复杂的页面（报纸、表格、书籍）上，行/区域的分割和阅读顺序推断很重要：Kraken 实现了传统的区域/行分割和神经基线分割，并明确支持 不同的脚本和方向（LTR/RTL/垂直）。

识别模型。 经典的开源主力 Tesseract （由 Google 开源，源于 HP）从字符分类器演变为基于 LSTM 的序列 识别器，可以从 CLI 发出可搜索的 PDF、 hOCR/ALTO 友好输出等。现代识别器依赖于序列建模，而无需预先分割字符。 连接主义时间分类 (CTC) 仍然是基础，它学习输入特征序列和输出标签字符串之间的对齐；它广泛 用于手写和场景文本管道。

在过去几年中，Transformer 重塑了 OCR。 TrOCR 使用视觉 Transformer 编码器和文本 Transformer 解码器，在大型合成语料库上进行训练，然后 在真实数据上进行微调，在印刷、手写和场景文本基准测试中表现出色（另请参阅 Hugging Face 文档）。与此同时，一些系统绕过 OCR 进行下游理解： Donut（文档理解 Transformer） 是一种无 OCR 的编码器-解码器，可直接从文档 图像输出结构化答案（如键值 JSON）（仓库， 模型卡），避免了在单独的 OCR 步骤为 IE 系统提供数据时出现错误累积。

引擎和库

如果您想要跨多种脚本的“开箱即用”文本阅读， EasyOCR 提供了一个包含 80 多种语言模型的简单 API，可返回框、文本和置信度——方便用于原型和 非拉丁脚本。对于历史文献， Kraken 以基线分割和脚本感知阅读顺序而著称；对于灵活的行级训练， Calamari 建立在 Ocropy 的基础上（Ocropy），带有（多）LSTM+CTC 识别器和用于微调自定义模型的 CLI。

数据集和基准

泛化取决于数据。对于手写， IAM 手写数据库 为训练和评估提供了不同作者的英语句子；它是 行和单词识别的长期参考集。对于场景文本， COCO-Text 在 MS-COCO 上分层了广泛的注释，带有印刷/手写、清晰/不清晰、脚本和 完整转录的标签（另请参阅原始 项目页面）。该领域还严重依赖合成预训练： 野外合成文本 将文本渲染到具有逼真几何和光照的照片中，为预训练 检测器和识别器提供大量数据（参考 代码和数据）。

ICDAR 的鲁棒阅读 下的竞赛使评估保持接地气。最近的任务强调端到端检测/阅读，并包括将单词 链接成短语，官方代码报告 精确率/召回率/F-score、交并比 (IoU) 和字符级编辑距离度量——反映了从业者应该跟踪的内容。

输出格式和下游使用

OCR 很少以纯文本结尾。档案馆和数字图书馆更喜欢 ALTO XML ，因为它除了内容之外还编码了物理布局（带坐标的块/行/字），并且它与 METS 打包配合得很好。 hOCR 微格式则相反，它使用 ocr_line 和 ocrx_word 等类将相同的思想嵌入到 HTML/CSS 中，从而可以轻松地使用 Web 工具进行显示、编辑和转换。Tesseract 两者都支持——例如， 直接从 CLI 生成 hOCR 或可搜索的 PDF（PDF 输出指南）；像 pytesseract 这样的 Python 包装器增加了便利性。当存储库具有固定的接收 标准时，存在用于在 hOCR 和 ALTO 之间进行转换的转换器——请参阅此精选列表 OCR 文件格式工具。

实用指南

• 从数据和清洁度开始。 如果您的图像是手机照片或质量参差不齐的扫描件， 请在进行任何模型调整之前投资于阈值处理（自适应和 Otsu）和偏斜校正（Hough）。您通常会从强大的预处理方案中获益更多，而不是更换 识别器。
• 选择正确的检测器。 对于具有规则列的扫描页面，页面分割器（区域 → 行）可能就足够了；对于自然图像，像 EAST 这样的单次检测器是强大的基线，可以插入许多工具包（OpenCV 示例）。
• 选择与您的文本匹配的识别器。 对于印刷体拉丁文， Tesseract (LSTM/OEM) 坚固而快速；对于多脚本或快速原型， EasyOCR 是高效的；对于手写或历史字体，请考虑 Kraken 或 Calamari 并计划进行微调。如果您需要与文档理解（键值提取、VQA）紧密耦合， 请在您的模式上评估 TrOCR (OCR) 与 Donut (无 OCR)——Donut 可能会移除整个集成步骤。
• 衡量重要指标。 对于端到端系统，报告检测 F-score 和识别 CER/WER（均基于 Levenshtein 编辑距离；请参阅 CTC）；对于布局繁重的任务，请跟踪 IoU/紧密度和字符级归一化编辑距离，如 ICDAR RRC 评估工具包中所示。
• 导出丰富输出。 首选 hOCR /ALTO （或两者），以便保留坐标和阅读顺序——这对于搜索结果高亮、表格/字段 提取和来源至关重要。Tesseract 的 CLI 和 pytesseract 使其成为一行代码即可完成的操作。

展望未来

最强劲的趋势是融合：检测、识别、语言建模，甚至特定于任务的解码 正在合并到统一的 Transformer 堆栈中。在 大型合成语料库 上进行预训练仍然是一个力量倍增器。无 OCR 模型将在目标是结构化输出 而不是逐字记录的任何地方积极竞争。也期待混合部署：一个轻量级检测器加上一个 TrOCR 风格的 识别器用于长格式文本，以及一个 Donut 风格的模型用于表格和收据。

进一步阅读和工具

Tesseract (GitHub) · Tesseract 文档 · hOCR 规范 · ALTO 背景 · EAST 检测器 · OpenCV 文本检测 · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM 手写 · OCR 文件格式工具 · EasyOCR