Оптическое распознавание символов (OCR) преобразует изображения текста — сканы, фотографии со смартфона, PDF-файлы — в машиночитаемые строки и, все чаще, в структурированные данные. Современное OCR — это конвейер, который очищает изображение, находит текст, читает его и экспортирует богатые метаданные, чтобы последующие системы могли искать, индексировать или извлекать поля. Два широко используемых стандарта вывода: hOCR, микроформат HTML для текста и макета, и ALTO XML, схема, ориентированная на библиотеки/архивы; оба сохраняют позиции, порядок чтения и другие подсказки макета и поддерживаются популярными движками, такими как Tesseract.
Предварительная обработка. Качество OCR начинается с очистки изображения: преобразования в оттенки серого, удаления шума, пороговой обработки (бинаризации) и выравнивания. Канонические учебные пособия по OpenCV охватывают глобальную, адаптивную и пороговую обработку Оцу — основные методы для документов с неравномерным освещением или бимодальными гистограммами. Когда освещение меняется в пределах страницы (подумайте о снимках с телефона), адаптивные методы часто превосходят один глобальный порог; Оцу автоматически выбирает порог, анализируя гистограмму. Коррекция наклона не менее важна: выравнивание н а основе преобразования Хафа (преобразование Хафа для линий) в паре с бинаризацией Оцу является распространенным и эффективным рецептом в производственных конвейерах предварительной обработки.
Обнаружение и распознавание. OCR обычно делится на обнаружение текста (где находится текст?) и распознавание текста (что он говорит?). В естественных сценах и многих сканах полностью сверточные детекторы, такие как EAST , эффективно предсказывают четырехугольники на уровне слов или строк без тяжелых этапов предложения и реализованы в общих наборах инструментов (например, учебное пособие по обнаружению текста в OpenCV). На сложных страницах (газеты, формы, книги) важны сегментация строк/областей и определение порядка чтения:Kraken реализует традиционную сегментацию зон/строк и нейронную сегментацию базовой линии с явной поддержкой различных письменностей и направлений (слева направо/справа налево/вертикально).
Модели распознавания. Классическая рабочая лошадка с открытым исходным кодом Tesseract (с открытым исходным кодом от Google, с корнями в HP) эволюционировала от классификатора символов до распознавателя последовательностей на основе LSTM и может выдавать PDF с возможностью поиска, выходные данные, дружественные к hOCR/ALTO, и многое другое из командной строки. Современные распознаватели полагаются на моделирование последовательностей без предварительно сегментированных символов. Коннективистская временная классификация (CTC) остается основополагающей, изучая выравнивания между последовательностями входных признаков и строками выходных меток; она широко используется в конвейерах для распознавания рукописного ввода и текста на сцене.
В последние несколько лет трансформеры изменили OCR. TrOCR ис пользует кодировщик Vision Transformer и декодер Text Transformer, обученный на больших синтетических корпусах, а затем доработанный на реальных данных, с высокой производительностью на тестах печатного, рукописного и сценического текста (см. также документацию Hugging Face). Параллельно некоторые системы обходят OCR для последующего понимания: Donut (Document Understanding Transformer) — это кодировщик-декодер без OCR, который напрямую выводит структурированные ответы (например, JSON «ключ-значение») из изображений документов (репозиторий, карточка модели), избегая накопления ошибок, когда отдельный шаг OCR передает данные в систему извлечения информации.
Если вам нужно готовое решение для чтения текста на многих языках, EasyOCR предлагает простой API с более чем 80 языковыми моделями, возвращающий рамки, текст и достоверность — у добно для прототипов и нелатинских письменностей. Для исторических документов Kraken отличается сегментацией базовой линии и порядком чтения с учетом письменности; для гибкого обучения на уровне строк Calamari основан на наследии Ocropy (Ocropy) с распознавателями (multi-)LSTM+CTC и CLI для тонкой настройки пользовательских моделей.
Обобщение зависит от данных. Для рукописного ввода база данных рукописного ввода IAM предоставляет разнообразные по авторам английские предложения для обучения и оценки; это давний эталонный набор для распознавания строк и слов. Для текста на сцене COCO-Text наложил обширные аннотации на MS-COCO с метками для печатного/рукописного, разборчивого/неразборчивого, письменности и полных транскрипций (см. также оригинальную страницу проекта). Эта область также в значительной степени зависит от синтетического предварительного обучения: SynthText in the Wild визуализирует текст на фотографиях с реалистичной геометрией и освещением, предоставляя огромные объемы данных для предварительного обучения детекторов и распознавателей (ссылка на код и данные).
Соревнования под эгидой ICDAR’s Robust Reading сохраняют обоснованность оценки. Последние задачи подчеркивают сквозное обнаружение/чтение и включают связывание слов во фразы, с официальным кодом, сообщающим точность/полноту/F-меру, пересечение над объединением (IoU) и метрики расстояния редактирования на уровне символов, что отражает то, что должны отслеживать практики.
OCR редко заканчивается простым текстом. Архивы и цифровые библиотеки предпочитают ALTO XML , потому что он кодирует физический макет (блоки/строки/слова с координатами) вместе с содержимым, и он хорошо сочетается с упаковкой METS. Микроформат hOCR , напротив, встраивает ту же идею в HTML/CSS, используя классы, такие как ocr_line и ocrx_word, что упрощает отображение, редактирование и преобразование с помощью веб-инструментов. Tesseract предоставляет оба варианта, например, генерируя hOCR или PDF с возможностью поиска прямо из командной строки (руководство по выводу PDF); оболочки Python, такие как pytesseract , добавляют удобства. Существуют преобразователи для перевода между hOCR и ALTO, когда в репозиториях есть фиксированные стандарты приема — см. этот тщательно подобранный список инструментов для формата файлов OCR.
Самая сильная тенденция — это конвергенция: обнаружение, распознавание, языковое моделирование и даже декодирование для конкретных задач объединяются в единые стеки трансформеров. Предварительное обучение на больших синтетических корпусах остается мультипликатором силы. Модели без OCR будут агрессивно конкурировать везде, где целью являются структурированные выходные данные, а не дословные транскрипции. Ожидайте также гибридных развертываний: легкий детектор плюс распознаватель в стиле TrOCR для длинного текста и модель в стиле Donut для форм и квитанций.
Tesseract (GitHub) · Документация Tesseract · Спецификация hOCR · Фон ALTO · Детектор EAST · Обнаружение текста OpenCV · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · Рукописный ввод IAM · Инструменты формата файлов OCR · EasyOCR
Оптическое распознавание символов (OCR) - это технология, используемая для преобразования различных типов документов, таких как отсканированные бумажные документы, PDF-файлы или изображения, снятые цифровой камерой, в данные, которые можно редактировать и искать.
OCR сканирует входное изображение или документ, разбирает изображение на отдельные символы, а затем сравнивает каждый символ с базой данных форм символов, используя распознавание по образцу или распознавание по признакам.
OCR используется в различных отраслях и приложениях, включая цифровизацию печатных документов, использование услуг перевода текста в речь, автоматизацию процесса ввода данных и помощь людям с нарушениями зрения в более качественном взаимодействии с текстом.
Несмотря на значительные усовершенствования технологии OCR, она не абсолютно надежна. Точность может варьироваться в зависимости от качества исходного документа и конкретных характеристик используемого ПО OCR.
Хотя OCR в основном предназначен для распознавания печатного текста, некоторые продвинутые системы OCR также могут распознавать чистописание. Однако точность распознавания рукописного текста обычно ниже из-за вариативности индивидуальных стилей письма.
Да, многие программы OCR могут распознавать множество языков. Однако следует убедиться, что используемое вами программное обеспечение поддерживает конкретный язык.
OCR - это аббревиатура от Optical Character Recognition (оптическое распознавание символов), которое используется для распознавания печатного текста, в то время как ICR, или Intelligent Character Recognition (интеллектуальное распознавание символов), это более продвинутая технология, которая используется для распознавания рукописного тек ста.
OCR наиболее эффективен при обработке четких, легко читаемых шрифтов и стандартных размеров текста. Хотя он способен распознавать различные шрифты и размеры, его точность может снизиться при обработке нестандартных шрифтов или очень мелкого текста.
У OCR может быть проблемы при обработке документов с низким разрешением, сложных шрифтов, текста с плохим качеством печати, рукописного текста или документов, где текст плохо сочетается с фоном. Кроме того, хотя OCR может распознавать многие языки, он может не покрывать все языки идеально.
Да, OCR может сканировать цветной текст и фоны, хотя он наиболее эффективен при работе с комбинациями цветов с высоким контрастом, такими как черный текст на белом фоне. Если контраст между цветом текста и фона недостаточен, точность может снизиться.
Формат изображения JPEG XL (JXL) — это стандарт кодирования изображений нового поколения, который призван превзойти возможности существующих форматов, таких как JPEG, PNG и GIF, обеспечивая превосходную эффективность сжатия, качество и функции. Он является результатом совместных усилий комитета Объединенной группы экспертов по фотографии (JPEG), который сыграл важную роль в разработке стандартов сжатия изображений. JPEG XL разработан как универсальный формат изображений, который может обрабатывать широкий спектр вариантов использования, от профессиональной фотографии до веб-графики.
Одной из основных целей JPEG XL является обеспечение высококачественного сжатия изображений, которое может значительно уменьшить размер файлов без ущерба для визуального качества. Это достигается за счет сочетания передовых методов сжатия и современной структуры кодирования. Формат использует модульный подход, позволяющий включать различные операции обработки изображений, такие как преобразов ание цветового пространства, тоновое отображение и адаптивное изменение размера, непосредственно в конвейер сжатия.
JPEG XL создан на основе двух предыдущих кодеков изображений: PIK от Google и FUIF (Free Universal Image Format) от Cloudinary. Эти кодеки внедрили несколько инноваций в сжатие изображений, которые были дополнительно усовершенствованы и интегрированы в JPEG XL. Формат разработан как не требующий лицензионных отчислений, что делает его привлекательным вариантом как для разработчиков программного обеспечения, так и для создателей контента, которым требуется экономичное решение для хранения и распространения изображений.
В основе эффективности сжатия JPEG XL лежит использование современной техники энтропийного кодирования, называемой асимметричными числовыми системами (ANS). ANS — это форма арифметического кодирования, которая обеспечивает почти оптимальные коэффициенты сжатия за счет эффективного кодирования статистического распределения данных изображения. Это позволяет JPEG XL достичь лучшего сжатия, чем традиционные методы, такие как кодирование Хаффмана, которое используется в исходном формате JPEG.
JPEG XL также вводит новое цветовое пространство под названием XYB (eXtra Y, Blue-yellow), которое разработано для лучшего соответствия человеческому зрительному восприятию. Цветовое пространство XYB обеспечивает более эффективное сжатие за счет приоритизации компонентов изображения, которые более важны для человеческого глаза. В результате получаются изображения, которые не только имеют меньший размер файла, но и демонстрируют меньше артефактов сжатия, особенно в областях с тонкими цветовыми вариациями.
Еще одной ключевой особенностью JPEG XL является поддержка изображений с высоким динамическим диапазоном (HDR) и широкой цветовой гаммой (WCG). По мере развития технологий отображения растет спрос на форматы изображений, которые могут обрабатывать расширенный диапазон яркости и цвета, который могут воспроизводить эти новые дисплеи. Собственная поддержка HDR и WCG в JPEG XL гарантирует, что изображения будут выглядеть яркими и реалистичными на новейших экранах без необходимости дополнительных метаданных или дополнительных файлов.
JPEG XL также разработан с учетом прогрессивного декодирования. Это означает, что изображение может отображаться с более низким качеством, пока оно еще загружается, и качество может постепенно улучшаться по мере поступления дополнительных данных. Эта функция особенно полезна для просмотра веб-страниц, где у пользователей может быть разная скорость интернета. Она обеспечивает лучший пользовательский интерфейс, предоставляя предварительный просмотр изображения без необходимости ждать загрузки всего файла.
С точки зрения обратной совместимости JPEG XL предлагает уникальную функцию, называемую «пересжатие JPEG». Это позволяет пересжимать существующие изображения JPEG в формат JPEG XL без дополнительной потери качества. Пересжатые изображения не только имеют меньший размер, но и сохраняют все исходные данные JPEG, что означает, что при необходимости их можно преобразовать обратно в исходный формат JPEG. Это делает JPEG XL привлекательным вариантом для архивирования больших коллекций изображений JPEG, поскольку он может значительно сократить требования к хранилищу, сохраняя при этом возможность возврата к исходным файлам.
JPEG XL также решает проблему адаптивных изображений в Интернете. Благодар я возможности хранить несколько разрешений изображения в одном файле веб-разработчики могут предоставлять наиболее подходящий размер изображения в зависимости от устройства пользователя и разрешения экрана. Это устраняет необходимость в отдельных файлах изображений для разных разрешений и упрощает процесс создания адаптивных веб-дизайнов.
Для профессиональных фотографов и графических дизайнеров JPEG XL поддерживает сжатие без потерь, что гарантирует сохранение каждого бита исходных данных изображения. Это имеет решающее значение для приложений, в которых целостность изображения имеет первостепенное значение, таких как медицинская визуализация, цифровые архивы и профессиональное редактирование фотографий. Режим без потерь JPEG XL также отличается высокой эффективностью, часто приводя к уменьшению размера файла по сравнению с другими форматами без потерь, такими как PNG или TIFF.
Набор функций JPEG XL расширяется и включает поддержку анимации, аналогичную форматам GIF и WebP, но с гораздо лучшим сжатием и качеством. Это делает его подходящей заменой GIF в Интернете, обеспечивая более плавную анимацию с более широкой цветовой палитрой и без ограничений GIF в 256 цветов.
Формат также включает надежную поддержку метаданных, включая профили EXIF, XMP и ICC, гарантируя, что важная информация об изображении сохраняется во время сжатия. Эти метаданные могут включать такие сведения, как настройки камеры, информация об авторских правах и данные управления цветом, которые необходимы как для профессионального использования, так и для сохранения цифрового наследия.
Безопасность и конфиденциальность также учитываются при разработке JPEG XL. Формат не допускает включения исполняемого кода, что снижает риск уязвимостей безопасности, которые могут быть использованы через изображения. Кроме того, JPEG XL поддерживает удаление конфиденциальных метаданных, что может помочь защитить конфиденциальность пользователей при обмене изображениями в Интернете.
JPEG XL разработан как перспективный формат с гибким контейнерным форматом, который можно расширить для поддержки новых функций и технологий по мере их появления. Это гарантирует, что формат сможет адаптироваться к изменяющимся требованиям и продолжать служить уни версальным форматом изображений в течение многих лет.
С точки зрения внедрения JPEG XL все еще находится на ранних стадиях, и продолжаются усилия по интеграции поддержки в веб-браузеры, операционные системы и программное обеспечение для редактирования изображений. По мере того как все больше платформ будут внедрять этот формат, ожидается, что он получит распространение в качестве замены более старых форматов изображений, предлагая сочетание улучшенной эффективности, качества и функций.
В заключение, JPEG XL представляет собой значительный шаг вперед в технологии сжатия изображений. Его сочетание высокой эффективности сжатия, поддержки современных функций обработки изображений и обратной совместимости делает его сильным кандидатом на роль нового стандарта для хранения и передачи изображений. По мере того как формат получает более широкое распространение, он может изменить способ создания, обмена и потребления цифровых изображений, сделав их более доступными и приятными для всех.
Этот конвертер полностью работает в вашем браузере. Когда вы выбираете файл, он загружается в память и преобразуется в выбранный формат. Затем вы можете скачать преобразованный файл.
Преобразования начинаются мгновенно, и большинство файлов преобразуются за считанные секунды. Более крупные файлы могут занимать больше времени.
Ваши файлы никогда не загружаются на наши серверы. Они преобразуются в вашем браузере, а затем скачиваются. Мы никогда не видим ваши файлы.
Мы поддерживаем преобразование между всеми форматами изображений, включая JPEG, PNG, GIF, WebP, SVG, BMP, TIFF и другие.
Этот конвертер полностью бесплатен и всегда будет бесплатным. Поскольку он работает в вашем браузere, нам не нужно платить за серверы, поэтому мы не взимаем плату с вас.
Да! Вы можете преобразовать сколько угодно файлов одновременно. Просто выберите несколько файлов при их добавлении.