OCR ภาพใด ๆ

การรู้จำอักขระด้วยแสง (OCR) เปลี่ยนรูปภาพของข้อความ—สแกน, ภาพถ่ายจากสมาร์ทโฟน, PDF—เป็นสตริงที่เครื่องอ่านได้ และ, เพิ่มมากขึ้น, ข้อมูลที่มีโครงสร้าง. OCR สมัยใหม่เป็นไปป์ไลน์ที่ทำความสะอาดรูปภาพ, ค้นหาข้อความ, อ่าน, และส่งออกเมทาดาทาที่สมบูรณ์ เพื่อให้ระบบดาวน์สตรีมสามารถค้นหา, จัดทำดัชนี, หรือดึงข้อมูลฟิลด์ได้. สองมาตรฐานเอาต์พุตที่ใช้กันอย่างแพร่หลายคือ hOCR, ไมโครฟอร์แมต HTML สำหรับข้อความและเลย์เอาต์, และ ALTO XML, สกีมาที่มุ่งเน้นไลบรารี/หอจดหมายเหตุ; ทั้งสองรักษาสถานะ, ลำดับการอ่าน, และสัญลักษณ์เลย์เอาต์อื่น ๆ และ ได้รับการสนับสนุนจากเครื่องมือยอดนิยมเช่น Tesseract.

ทัวร์สั้น ๆ ของไปป์ไลน์

การประมวลผลเบื้องต้น. คุณภาพของ OCR เริ่มต้นด้วยการทำความสะอาดภาพ: การแปลงเป็นสีเทา, การลดสัญญาณรบกวน, การกำหนดค่าขีดแบ่ง (การทำให้เป็นไบนารี), และการปรับแก้ความเอียง. บทเรียน OpenCV แบบบัญญัติครอบคลุมทั่วโลก, การปรับตัว และ Otsu การกำหนดค่าขีดแบ่ง—ซึ่งเป็นส่วนสำคัญสำหรับเอกสารที่มีแสงไม่สม่ำเสมอหรือฮิสโตแกรมแบบสองโหมด. เมื่อความสว่างแตกต่างกันไป ภายในหน้า (นึกถึงภาพถ่ายจากโทรศัพท์), วิธีการปรับตัวมักจะทำงานได้ดีกว่าการกำหนดค่าขีดแบ่งทั่วโลกเพียงค่าเดียว; Otsu จะเลือกค่าขีดแบ่งโดยอัตโนมัติโดยการวิเคราะห์ฮิสโตแกรม. การแก้ไขความเอียงก็มีความสำคัญเท่าเทียมกัน: การปรับแก้ความเอียงโดยใช้ Hough (การแปลงเส้นตรง Hough) ควบคู่กับการทำให้เป็นไบนารีของ Otsu เป็นสูตรทั่วไปและมีประสิทธิภาพในไปป์ไลน์การประมวลผลเบื้องต้นในการผลิต.

การตรวจจับกับการรู้จำ. OCR โดยทั่วไปแบ่งออกเป็น การตรวจจับข้อความ (ข้อความอยู่ที่ไหน ?) และ การรู้จำข้อความ (มันพูดว่าอะไร?). ในฉากธรรมชาติและการสแกนจำนวนมาก, ตัวตรวจจับแบบคอนโวลูชันเต็มรูปแบบ เช่น EAST ทำนายรูปสี่เหลี่ยมระดับคำหรือบรรทัดได้อย่างมีประสิทธิภาพโดยไม่มีขั้นตอนการเสนอที่หนักหน่วงและถูกนำไปใช้ใน ชุดเครื่องมือทั่วไป (เช่น, บทแนะนำการตรวจจับข้อความของ OpenCV). บนหน้าที่ซับซ้อน (หนังสือพิมพ์, แบบฟอร์ม, หนังสือ), การแบ่งส่วนของบรรทัด/ภูมิภาคและการอนุมานลำดับการอ่านมีความสำคัญ:Kraken ใช้การแบ่งส่วนโซน/บรรทัดแบบดั้งเดิมและการแบ่งส่วน เส้นฐาน แบบประสาท, พร้อมการสนับสนุนที่ชัดเจน สำหรับสคริปต์และทิศทางที่แตกต่างกัน (LTR/RTL/แนวตั้ง).

โมเดลการรู้จำ. ม้างานโอเพนซอร์สคลาสสิก Tesseract (โอเพนซอร์สโดย Google, มีรากฐานที่ HP) พัฒนาจากตัวแยกประเภทอักขระเป็นตัวรู้จำลำดับ ที่ใช้ LSTM และสามารถส่งออก PDF ที่ค้นหาได้, เอาต์พุตที่เป็นมิตรกับ hOCR/ALTO, และอื่น ๆ จาก CLI. ตัวรู้จำสมัยใหม่พึ่งพาการสร้างแบบจำลองลำดับโดยไม่มีอักขระที่แบ่งส่วนไว้ล่วงหน้า. Connectionist Temporal Classification (CTC) ยังคงเป็นพื้นฐาน, เรียนรู้การจัดตำแหน่งระหว่างลำดับคุณลักษณะอินพุตและสตริงป้ายกำกับเอาต์พุต; มันถูกใช้อย่างกว้างขวาง ในไปป์ไลน์การเขียนด้วยลายมือและข้อความในฉาก.

ในช่วงไม่กี่ปีที่ผ่านมา, Transformers ได้ปรับเปลี่ยน OCR. TrOCR ใช้ตัวเข้ารหัส Vision Transformer บวกกับตัวถอดรหัส Text Transformer, ฝึกฝนบนคลังข้อมูลสังเคราะห์ขนาดใหญ่แล้ว ปรับละเอียดบนข้อมูลจริง, พร้อมประสิทธิภาพที่แข็งแกร่งในเกณฑ์มาตรฐานการพิมพ์, การเขียนด้วยลายมือ และข้อความในฉาก (ดูเพิ่มเติมที่ เอกสาร Hugging Face). ในขณะเดียวกัน, บางระบบข้าม OCR เพื่อความเข้าใจดาวน์สตรีม: Donut (Document Understanding Transformer) เป็นตัวเข้ารหัส-ถอดรหัสที่ไม่มี OCR ซึ่งส่งออกคำตอบที่มีโครงสร้างโดยตรง (เช่น JSON คีย์-ค่า) จากเอกสาร รูปภาพ (repo, การ์ดโมเดล), หลีกเลี่ยงการสะสมข้อผิดพลาดเมื่อขั้นตอน OCR แยกต่างหากป้อนระบบ IE.

เครื่องมือและไลบรารี

หากคุณต้องการการอ่านข้อความแบบครบวงจรในหลายสคริปต์, EasyOCR มี API ที่เรียบง่ายพร้อมโมเดลภาษามากกว่า 80 ภาษา, ส่งคืนกล่อง, ข้อความ, และความเชื่อมั่น—มีประโยชน์สำหรับต้นแบบและ สคริปต์ที่ไม่ใช่ภาษาละติน. สำหรับเอกสารทางประวัติศาสตร์, Kraken โดดเด่นด้วยการแบ่งส่วนเส้นฐานและการอ่านตามลำดับที่คำนึงถึงสคริปต์; สำหรับการฝึกอบรมระดับบรรทัดที่ยืดหยุ่น, Calamari สร้างขึ้นจากสายเลือด Ocropy (Ocropy) ด้วยตัวรู้จำ (หลาย)LSTM+CTC และ CLI สำหรับการปรับละเอียดโมเดลที่กำหนดเอง.

ชุดข้อมูลและเกณฑ์มาตรฐาน

การสรุปผลขึ้นอยู่กับข้อมูล. สำหรับการเขียนด้วยลายมือ, ฐานข้อมูลการเขียนด้วยลายมือ IAM ให้ประโยคภาษาอังกฤษที่หลากหลายสำหรับผู้เขียนสำหรับการฝึกอบรมและการประเมิน; มันเป็นชุดอ้างอิงที่มีมายาวนานสำหรับ การรู้จำบรรทัดและคำ. สำหรับข้อความในฉาก, COCO-Text ได้ใส่คำอธิบายประกอบอย่างกว้างขวางทับ MS-COCO, พร้อมป้ายกำกับสำหรับพิมพ์/เขียนด้วยลายมือ, อ่านได้/อ่านไม่ได้, สคริปต์, และ การถอดความแบบเต็ม (ดูเพิ่มเติมที่หน้า โครงการดั้งเดิม). สาขานี้ยังพึ่งพาการฝึกอบรมล่วงหน้าแบบสังเคราะห์อย่างมาก: SynthText in the Wild แสดงข้อความลงในภาพถ่ายด้วยรูปทรงเรขาคณิตและแสงที่สมจริง, ให้ข้อมูลจำนวนมหาศาลเพื่อฝึกอบรมล่วงหน้า ตัวตรวจจับและตัวรู้จำ (อ้างอิง โค้ดและข้อมูล).

การแข่งขันภายใต้ ICDAR’s Robust Reading ร่มช่วยให้การประเมินผลเป็นไปอย่างมีเหตุผล. งานล่าสุดเน้นการตรวจจับ/การอ่านแบบ end-to-end และรวมถึงการเชื่อมโยงคำ เป็นวลี, พร้อมโค้ดอย่างเป็นทางการที่รายงาน ความแม่นยำ/การเรียกคืน/F-score, intersection-over-union (IoU), และเมตริกระยะห่างการแก้ไขระดับอักขระ—สะท้อนสิ่งที่ผู้ปฏิบัติงานควรติดตาม.

รูปแบบเอาต์พุตและการใช้งานดาวน์สตรีม

OCR ไม่ค่อยจบลงที่ข้อความธรรมดา. หอจดหมายเหตุและห้องสมุดดิจิทัลต้องการ ALTO XML เพราะมันเข้ารหัสเลย์เอาต์ทางกายภาพ (บล็อก/บรรทัด/คำพร้อมพิกัด) ควบคู่ไปกับเนื้อหา, และมันเข้ากันได้ดี กับแพ็คเกจ METS. hOCR ไมโครฟอร์แมต, ในทางตรงกันข้าม, ฝังแนวคิดเดียวกันลงใน HTML/CSS โดยใช้คลาสเช่น ocr_line และ ocrx_word, ทำให้ง่ายต่อการแสดง, แก้ไข, และแปลงด้วยเครื่องมือเว็บ. Tesseract เปิดเผยทั้งสอง—เช่น, การสร้าง hOCR หรือ PDF ที่ค้นหาได้โดยตรงจาก CLI (คู่มือการส่งออก PDF); ตัวห่อหุ้ม Python เช่น pytesseract เพิ่มความสะดวก. มีตัวแปลงเพื่อแปลระหว่าง hOCR และ ALTO เมื่อที่เก็บมีมาตรฐานการนำเข้าที่ตายตัว —ดูรายการที่คัดสรรมานี้ของ เครื่องมือรูปแบบไฟล์ OCR.

คำแนะนำเชิงปฏิบัติ

• เริ่มต้นด้วยข้อมูลและความสะอาด. หากภาพของคุณเป็นภาพถ่ายจากโทรศัพท์หรือสแกนคุณภาพผสม, ลงทุนในการกำหนดค่าขีดแบ่ง (ปรับตัวและ Otsu) และการปรับแก้ความเอียง (Hough) ก่อนการปรับแต่งโมเดลใด ๆ. คุณมักจะได้รับประโยชน์จากสูตรการประมวลผลเบื้องต้นที่แข็งแกร่งมากกว่าการเปลี่ยน ตัวรู้จำ.
• เลือกตัวตรวจจับที่เหมาะสม. สำหรับหน้าที่สแกนด้วยคอลัมน์ปกติ, ตัวแบ่งส่วนหน้า (โซน → บรรทัด) อาจเพียงพอ; สำหรับภาพธรรมชาติ, ตัวตรวจจับแบบ single-shot เช่น EAST เป็นพื้นฐานที่แข็งแกร่งและเสียบเข้ากับชุดเครื่องมือมากมาย (ตัวอย่าง OpenCV).
• เลือกตัวรู้จำที่ตรงกับข้อความของคุณ. สำหรับภาษาละตินที่พิมพ์, Tesseract (LSTM/OEM) แข็งแรงและรวดเร็ว; สำหรับหลายสคริปต์หรือต้นแบบที่รวดเร็ว, EasyOCR มีประสิทธิผล; สำหรับการเขียนด้วยลายมือหรือแบบอักษรทางประวัติศาสตร์, พิจารณา Kraken หรือ Calamari และวางแผนที่จะปรับละเอียด. หากคุณต้องการการเชื่อมต่อที่แน่นแฟ้นกับการทำความเข้าใจเอกสาร (การดึงข้อมูลคีย์-ค่า, VQA), ประเมิน TrOCR (OCR) เทียบกับ Donut (ไม่มี OCR) บนสกีมาของคุณ—Donut อาจลบขั้นตอนการรวมทั้งหมด.
• วัดสิ่งที่สำคัญ. สำหรับระบบ end-to-end, รายงานการตรวจจับ F-score และการรู้จำ CER/WER (ทั้งสองขึ้นอยู่กับระยะห่างการแก้ไข Levenshtein ; ดู CTC); สำหรับงานที่เน้นเลย์เอาต์, ติดตาม IoU/ความแน่นและระยะห่างการแก้ไขที่ปรับให้เป็นมาตรฐานระดับอักขระดังใน ชุดประเมิน ICDAR RRC .
• ส่งออกเอาต์พุตที่สมบูรณ์. ต้องการ hOCR /ALTO (หรือทั้งสองอย่าง) เพื่อให้คุณเก็บพิกัดและลำดับการอ่าน—สำคัญสำหรับการเน้นผลการค้นหา, การดึงข้อมูลตาราง/ฟิลด์ , และที่มา. CLI ของ Tesseract และ pytesseract ทำให้สิ่งนี้เป็นเรื่องง่าย.

มองไปข้างหน้า

แนวโน้มที่แข็งแกร่งที่สุดคือการบรรจบกัน: การตรวจจับ, การรู้จำ, การสร้างแบบจำลองภาษา, และแม้แต่การถอดรหัสเฉพาะงาน กำลังรวมกันเป็นสแต็ก Transformer ที่เป็นหนึ่งเดียว. การฝึกอบรมล่วงหน้าบน คลังข้อมูลสังเคราะห์ขนาดใหญ่ ยังคงเป็นตัวคูณกำลัง. โมเดลที่ไม่มี OCR จะแข่งขันอย่างดุเดือดทุกที่ที่เป้าหมายเป็นเอาต์พุตที่มีโครงสร้าง แทนที่จะเป็นการถอดความแบบคำต่อคำ. คาดหวังการปรับใช้แบบไฮบริดด้วย: ตัวตรวจจับน้ำหนักเบาบวกกับตัวรู้จำสไตล์ TrOCR สำหรับข้อความยาว, และโมเดลสไตล์ Donut สำหรับแบบฟอร์มและใบเสร็จ.

การอ่านเพิ่มเติมและเครื่องมือ

Tesseract (GitHub) · เอกสาร Tesseract · ข้อมูลจำเพาะ hOCR · พื้นหลัง ALTO · ตัวตรวจจับ EAST · การตรวจจับข้อความ OpenCV · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · การเขียนด้วยลายมือ IAM · เครื่องมือรูปแบบไฟล์ OCR · EasyOCR