光学字符识别(OCR)将文本图像(扫描件、智能手机照片、PDF)转换为机器可读的字符串,并越来越多地转换为 结构化数据。现代 OCR 是一个清理图像、查找文本、读取文本并导出丰富元数据的管道, 以便下游系统可以搜索、索引或提取字段。两个广泛使用的输出标准是 hOCR,一种用于文本和布局的 HTML 微格式,以及 ALTO XML,一种面向图书馆/档案馆的模式;两者都保留位置、阅读顺序和其他布局提示,并受 流行引擎(如 Tesseract)支持。
预处理。 OCR 质量始于图像清理:灰度转换、去噪、 阈值处理(二值化)和偏斜校正。经典的 OpenCV 教程涵盖了全局、 自适应 和 Otsu 阈值处理——适用于光照不均匀或双峰直方图的文档。当页面内的光照发生变化时 (例如手机快照),自适应方法通常优于单个全局阈值;Otsu 通过分析直方图自动选择阈值。倾斜校正同样重要:基于霍夫变换的 偏斜校正(霍夫线变换)与 Otsu 二值化相结合,是生产预处理管道中常用且有效的方案。
检测与识别。 OCR 通常分为文本检测(文本在 哪里?)和文本识别(它说了什么?)。在自然场景和许多扫描中,全卷积 检测器(如 EAST )可以有效地预测单词或行级四边形,而无需繁重的提议阶段,并且已在 常见工具包(例如 OpenCV 的文本检测教程)中实现。在复杂的页面(报纸、表格、书籍)上,行/区域的分割和阅读顺序推断很重要:Kraken 实现了传统的区域/行分割和神经基线分割,并明确支持 不同的脚本和方向(LTR/RTL/垂直)。
识别模型。 经典的开源主力 Tesseract (由 Google 开源,源于 HP)从字符分类器演变为基于 LSTM 的序列 识别器,可以从 CLI 发出可搜索的 PDF、 hOCR/ALTO 友好输出等。现代识别器依赖于序列建模,而无需预先分割字符。 连接主义时间分类 (CTC) 仍然是基础,它学习输入特征序列和输出标签字符串之间的对齐;它广泛 用于手写和场景文本管道。
在过去几年中,Transformer 重塑了 OCR。 TrOCR 使用视觉 Transformer 编码器和文本 Transformer 解码器,在大型合成语料库上进行训练,然后 在真实数据上进行微调,在印刷、手写和场景文本基准测试中表现出色(另请参阅 Hugging Face 文档)。与此同时,一些系统绕过 OCR 进行下游理解: Donut(文档理解 Transformer) 是一种无 OCR 的编码器-解码器,可直接从文档 图像输出结构化答案(如键值 JSON)(仓库, 模型卡),避免了在单独的 OCR 步骤为 IE 系统提供数据时出现错误累积。
如果您想要跨多种脚本的“开箱即用”文本阅读, EasyOCR 提供了一个包含 80 多种语言模型的简单 API,可返回框、文本和置信度——方便用于原型和 非拉丁脚本。对于历史文献, Kraken 以基线分割和脚本感知阅读顺序而著称;对于灵活的行级训练, Calamari 建立 在 Ocropy 的基础上(Ocropy),带有(多)LSTM+CTC 识别器和用于微调自定义模型的 CLI。
泛化取决于数据。对于手写, IAM 手写数据库 为训练和评估提供了不同作者的英语句子;它是 行和单词识别的长期参考集。对于场景文本, COCO-Text 在 MS-COCO 上分层了广泛的注释,带有印刷/手写、清晰/不清晰、脚本和 完整转录的标签(另请参阅原始 项目页面)。该领域还严重依赖合成预训练: 野外合成文本 将文本渲染到具有逼真几何和光照的照片中,为预训练 检测器和识别器提供大量数据(参考 代码和数据)。
ICDAR 的鲁棒阅读 下的竞赛使评估保持接地气。最近的任务强调端到端检测/阅读,并包括将单词 链接成短语,官方代码报告 精确率/召回率/F-score、交并比 (IoU) 和字符级编辑距离度量——反映了从业者应该跟踪的内容。
OCR 很少以纯文本结尾。档案馆和数字图书馆更喜欢 ALTO XML ,因为它 除了内容之外还编码了物理布局(带坐标的块/行/字),并且它与 METS 打包配合得很好。 hOCR 微格式则相反,它使用 ocr_line 和 ocrx_word 等类将相同的思想嵌入到 HTML/CSS 中,从而可以轻松地使用 Web 工具进行显示、编辑和转换。Tesseract 两者都支持——例如, 直接从 CLI 生成 hOCR 或可搜索的 PDF(PDF 输出指南);像 pytesseract 这样的 Python 包装器增加了便利性。当存储库具有固定的接收 标准时,存在用于在 hOCR 和 ALTO 之间进行转换的转换器——请参阅此精选列表 OCR 文件格式工具。
最强劲的趋势是融合:检测、识别、语言建模,甚至特定于任务的解码 正在合并到统一的 Transformer 堆栈中。在 大型合成语料库 上进行预训练仍然是一个力量倍增器。无 OCR 模型将在目标是结构化输出 而不是逐字记录的任何地方积极竞争。也期待混合部署:一个轻量级检测器加上一个 TrOCR 风格的 识别器用于长格式文本,以及一个 Donut 风格的模型用于表格和收据。
Tesseract (GitHub) · Tesseract 文档 · hOCR 规范 · ALTO 背景 · EAST 检测器 · OpenCV 文本检测 · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM 手写 · OCR 文件格式工具 · EasyOCR
光学字符识别(OCR)是一种技术,用于将不同类型的文档,如扫描的纸质文档、PDF文件或由数字相机拍摄的图像,转换为可编辑和可搜索的数据。
OCR通过扫描输入的图像或文档,将图像分割成单个字符,然后将每个字符与使用模式识别或特征识别的字符形状数据库进行比较。
OCR用于各种行业和应用中,包括数字化打印文档、启用文字到语音服务、自动化数据录入过程、以及帮助视障用户更好地与文本交互。
尽管OCR技术 已取得了巨大的进步,但它并不是绝对可靠的。根据原始文档的质量和所使用的OCR软件的具体情况,其准确性可能会有所不同。
虽然OCR主要用于识别打印的文本,但一些先进的OCR系统也能识别清晰、一致的手写字。然而,由于个人写作风格的巨大差异,手写字体识别通常准确率较低。
是的,许多OCR软件系统可以识别多种语言。然而,需要确保你正在使用的软件支持特定的语言。
OCR是Optical Character Recognition的缩写,用于识别打印的文本,而ICR,或称Intelligent Character Recognition,更先进,用于识别手写的文本。
OCR最适合处理清晰、易于阅读的字体和标准的文字大小。虽然它可以处理各种字体和大小,但是当处理不常见的字体或非常小的文字大小时,准确性可能会下降。
OCR可能会出现问题,如处理低分辨率的文档,复杂的字体,打印质量差的文本,手写文本,以及含有干扰文本的背景的文档。另外,尽管它可以处理多种语言,但可能并不能完美地覆盖所有语言。
是的,OCR可以扫描彩色的文本和背景,虽然它通常对高对比度的颜色组合更有效,比如黑色的文本和白色的背景。当文本和背景颜色对比度不足时,其准确性可能会降低。
扩展范围 (EXR) 文件格式是一种高动态范围成像文件格式,由工业光魔 (ILM) 于 2003 年开发并发布。它专门设计用于促进需要高动态范围和宽色域的电影帧和静止图像的数字存储。EXR 的开发是由对图像存储中更高精度和灵活性的需求推动的,它允许视觉效果艺术家和数字电影摄影师使用与真实世界光照和色彩条件密切相关的图像进行工作,从而克服了标准图像格式带来的限制。
EXR 文件能够以各种精度级别存储图像数据,包括 16 位浮点数、32 位浮点数和 32 位整数像素格式。这种灵活性允许 EXR 文件精确地表示非常广泛的强度范围,从最暗的阴影到最亮的亮点,远远超出了标准 8 位甚至 16 位图像格式所能提供的范围。此功能在视觉效果行业中尤为重要,因为准确捕捉光影的细微差别会极大地影响最终输出的真实性和沉浸感。
EXR 格式的另一个显着特点是对多种压缩技术的支持,这有助于管理文件大小,而不会显着损害图像质量。在受支持的压缩模式中包括 Zip、Piz、PXR24、B44、B44A 和无(未压缩)。每种压缩方法都有其用例,可以在文件大小、图像质量和压缩和解压缩所需的计算资源之间取得平衡。这种灵活性使 EXR 文件能够适应各种工作流和存储或带宽限制。
EXR 文件的一个关键特征是对多部分和深度图像格式的支持。多部分图像允许场景的不同元素(例如背景层、前景对象或不同类型的视觉效果)存储在单个 EXR 文件内的单独部分中。每个部分都可以有自己的元数据,例如属性或注释,这使得 EXR 格式对于复杂视觉效果工作流非常通用。另一方面,深度图像格式将像素值与每个样本的深度信息一起存储,从而提供了以复杂细节和真实感合成 3D 渲染场景的能力。
EXR 文件在支持超出标准 RGB(红、绿、蓝)色彩模型的任意通道方面也表现出色。这意味着除了存储颜色信息之外,EXR 文件还可以保存各种其他类型的数据,例如用于透明度的 alpha 通道、用于距离计算的 Z 深度,甚至用于特定用例的自定义通道。此功能对于高级合成和视觉效果创建必不可少,因为它允许基于超出单纯颜色的属性对图像元素进行细致入微的处理。
该格式的设计还强调了可扩展性和面向未来。EXR 文件包含一个存储有关图像的元数据的头部分区,例如分辨率、像素纵横比、通道数等。此外,头部分区可以包括应用程序或用户添加的自定义属性,从而可以轻松扩展格式的功能或嵌入特定于项目的的信息。EXR 格式的这种开放性确保了它可以不断发展以满足图像处理和视觉效果中不断出现的新需求。
尽管具有高级功能,但使用 EXR 文件的复杂性可能是一把双刃剑。该格式的灵活性及其广泛的功能意味着,要充分利用它,需要专门的软件和对该格式的潜力和缺陷的充分理解。诸如 Adobe Photoshop、Nuke 和 Autodesk Maya 等流行的行业标准软件解决方案支持 EXR 格式,但充分利用其全部功能通常需要比使用更简单的图像格式更深入的知识。
EXR 格式在处理高动态范围和宽色域内容方面的强大功能使其特别适用于涉及高动态范围 (HDR) 成像的现代工作流。随着显示技术的不断发展,HDR 在消费和专业市场中变得越来越普遍,像 EXR 这样能够准确捕获和存储高保真图像数据的格式的 重要性也在不断增长。这使得 EXR 不仅与电影和电视的内容创作相关,还与虚拟现实、视频游戏和图像质量和真实感至上的任何数字内容的应用程序相关。
EXR 格式的一个引人注目的优势是其开源性质。最初由 ILM 开发,该格式的规范和相关库(例如 OpenEXR)是免费提供的,鼓励广泛采用并集成到各种软件工具和平台中。开源方法还促进了社区驱动的开发和改进,确保了该格式保持相关性并继续满足不断发展的数字成像领域的不断变化的需求。例如,OpenEXR 库提供了一套用于读取、写入和处理 EXR 文件的综合工具,使开发人员能够将 EXR 支持整合到他们的应用程序中。
EXR 的技术规范,加上它在行业标准软件中的采用和开源社区的支持,巩固了它在数字内容创建管道中作为关键工具的地位。从故事片到电视制作及其他领域,EXR 实现了一种图像保真度和创造性灵活性,这是其他格式难以实现的。它处理复杂的多层合成和存储大量亮度值的能力使其成为视觉效果艺术家、电影摄影师和数字内容创作者不可或缺的格式,他们追求作品中最高的质量和真实感。
展望未来,EXR 格式及其生态系统的演变可能会继续响应数字成像行业不断变化的需求。新压缩算法的持续开发、数据处理和处理的增强以及元数据管理的改进是 EXR 格式可以进一步发展的领域。此外,随着向更具沉浸感和交互性的媒体格式的推进,EXR 存储和管理复杂的多维数据集的能力使其成为非常适合未来技术(例如增强现实 (AR) 和虚拟现实 (VR) 内容创建)的格式。
总之,扩展范围 (EXR) 图像格式代表了数字成像技术的一项重大进步,提供了远远超出传统图像格式的工具和功能。它的发展反映了整个行业朝着创建更逼真、更具沉浸感的视觉内容的趋势,其中捕捉 现实世界中看到的全范围光线和色彩变得越来越重要。通过其高精度、对各种数据类型支持以及处理复杂图像合成的灵活性,EXR 为数字成像中可能实现的目标设定了很高的标准。随着技术的进步和对高质量、高保真图像的需求不断增长,EXR 格式作为数字成像和内容创建生态系统中关键工具的作用可能会进一步巩固。