RGBA · इनपुट प्रारूप

ऑप्टिकल कैरेक्टर रिकॉग्निशन (ओसीआर) टेक्स्ट की छवियों - स्कैन, स्मार्टफोन फोटो, पीडीएफ - को मशीन द्वारा पढ़े जा सकने वाले टेक्स्ट और संरचित डेटा में बदल देता है। आधुनिक ओसीआर एक पाइपलाइन है जो एक छवि को साफ करती है, टेक्स्ट ढूंढती है, उसे पढ़ती है, और समृद्ध मेटाडेटा निर्यात करती है ताकि डाउनस्ट्रीम सिस्टम डेटा को खोज, अनुक्रमित या निकाल सकें। दो व्यापक रूप से उपयोग किए जाने वाले आउटपुट मानक हैं hOCR, टेक्स्ट और लेआउट के लिए एक एचटीएमएल माइक्रोफ़ॉर्मैट, और ALTO XML, एक पुस्तकालय/अभिलेखागार-उन्मुख स्कीमा; दोनों स्थितियों, पढ़ने के क्रम और अन्य लेआउट संकेतों को संरक्षित करते हैं और लोकप्रिय इंजनों द्वारा समर्थित हैं जैसे टेसरैक्ट.

पाइपलाइन का एक त्वरित दौरा

प्रीप्रोसेसिंग। ओसीआर की गुणवत्ता छवि की सफाई से शुरू होती है: ग्रेस्केल रूपांतरण, डिनोइज़िंग, थ्रेसहोल्डिंग (बिनारिज़ेशन), और डेस्क्यूइंग। कैनोनिकल ओपनसीवी ट्यूटोरियल वैश्विक, अनुकूली और ओत्सु थ्रेसहोल्डिंग को कवर करते हैं - असमान प्रकाश या बिमोडल हिस्टोग्राम वाले दस्तावेज़ों के लिए स्टेपल। जब एक पृष्ठ के भीतर रोशनी बदलती है (फोन स्नैप्स सोचें), अनुकूली तरीके अक्सर एक ही वैश्विक थ्रेसहोल्ड से बेहतर प्रदर्शन करते हैं; ओत्सु हिस्टोग्राम का विश्लेषण करके स्वचालित रूप से एक थ्रेसहोल्ड चुनता है। झुकाव सुधार समान रूप से महत्वपूर्ण है: हफ-आधारित डेस्क्यूइंग (हफ लाइन ट्रांसफॉर्म) ओत्सु बिनारिज़ेशन के साथ मिलकर उत्पादन प्रीप्रोसेसिंग पाइपलाइनों में एक आम और प्रभावी नुस्खा है।

पहचान बनाम मान्यता। ओसीआर को आम तौर पर टेक्स्ट डिटेक्शन (टेक्स्ट कहाँ है ?) और टेक्स्ट रिकॉग्निशन (यह क्या कहता है?) में विभाजित किया जाता है। प्राकृतिक दृश्यों और कई स्कैन में, पूरी तरह से कनवल्शनल डिटेक्टर जैसे ईस्ट भारी प्रस्ताव चरणों के बिना कुशलतापूर्वक शब्द- या पंक्ति-स्तरीय चतुर्भुज की भविष्यवाणी करते हैं और आम टूलकिट में लागू किए जाते हैं (जैसे, ओपनसीवी का टेक्स्ट डिटेक्शन ट्यूटोरियल)। जटिल पृष्ठों (समाचार पत्र, फॉर्म, किताबें) पर, लाइनों/क्षेत्रों का विभाजन और पढ़ने के क्रम का अनुमान मायने रखता है:क्रैकेन पारंपरिक ज़ोन/लाइन सेगमेंटेशन और न्यूरल बेसलाइन सेगमेंटेशन को लागू करता है, जिसमें विभिन्न लिपियों और दिशाओं (LTR/RTL/ऊर्ध्वाधर) के लिए स्पष्ट समर्थन होता है।

मान्यता मॉडल। क्लासिक ओपन-सोर्स वर्कहॉर्स टेसरैक्ट (Google द्वारा ओपन-सोर्स, जिसकी जड़ें HP में हैं) एक कैरेक्टर क्लासिफायर से एक LSTM-आधारित अनुक्रम पहचानकर्ता में विकसित हुआ और खोज योग्य PDF, hOCR/ALTO-अनुकूल आउटपुट, और CLI से और भी बहुत कुछ उत्सर्जित कर सकता है। आधुनिक पहचानकर्ता पूर्व-खंडित वर्णों के बिना अनुक्रम मॉडलिंग पर भरोसा करते हैं। कनेक्शनिस्ट टेम्पोरल क्लासिफिकेशन (CTC) मौलिक बनी हुई है, जो इनपुट फ़ीचर अनुक्रमों और आउटपुट लेबल स्ट्रिंग्स के बीच संरेखण सीखती है; यह व्यापक रूप से लिखावट और दृश्य-पाठ पाइपलाइनों में उपयोग किया जाता है।

पिछले कुछ वर्षों में, ट्रांसफॉर्मर्स ने ओसीआर को नया रूप दिया है। TrOCR एक विज़न ट्रांसफॉर्मर एनकोडर और एक टेक्स्ट ट्रांसफॉर्मर डिकोडर का उपयोग करता है, जिसे बड़े सिंथेटिक कॉर्पोरा पर प्रशिक्षित किया जाता है और फिर वास्तविक डेटा पर फाइन-ट्यून किया जाता है, जिसमें मुद्रित, हस्तलिखित और दृश्य-पाठ बेंचमार्क में मजबूत प्रदर्शन होता है (यह भी देखें हगिंग फेस डॉक्स)। समानांतर में, कुछ सिस्टम डाउनस्ट्रीम समझने के लिए ओसीआर को दरकिनार करते हैं: डोनट (डॉक्यूमेंट अंडरस्टैंडिंग ट्रांसफॉर्मर) एक ओसीआर-मुक्त एनकोडर-डिकोडर है जो सीधे दस्तावेज़ छवियों से संरचित उत्तर (जैसे कुंजी-मूल्य JSON) आउटपुट करता है (रेपो, मॉडल कार्ड), जब एक अलग ओसीआर चरण एक IE सिस्टम को फीड करता है तो त्रुटि संचय से बचता है।

इंजन और पुस्तकालय

यदि आप कई लिपियों में बैटरी-शामिल टेक्स्ट रीडिंग चाहते हैं, EasyOCR 80+ भाषा मॉडल के साथ एक सरल एपीआई प्रदान करता है, जो बॉक्स, टेक्स्ट और आत्मविश्वास लौटाता है - प्रोटोटाइप और गैर-लैटिन लिपियों के लिए आसान। ऐतिहासिक दस्तावेज़ों के लिए, क्रैकेन बेसलाइन सेगमेंटेशन और स्क्रिप्ट-अवेयर रीडिंग ऑर्डर के साथ चमकता है; लचीले लाइन-स्तरीय प्रशिक्षण के लिए, कैलामरी ओक्रॉपी वंश पर बनाता है (ओक्रॉपी) (मल्टी-)एलएसटीएम+सीटीसी पहचानकर्ताओं और कस्टम मॉडल को फाइन-ट्यून करने के लिए एक सीएलआई के साथ।

डेटासेट और बेंचमार्क

सामान्यीकरण डेटा पर निर्भर करता है। लिखावट के लिए, IAM लिखावट डेटाबेस प्रशिक्षण और मूल्यांकन के लिए लेखक-विविध अंग्रेजी वाक्य प्रदान करता है; यह लाइन और शब्द पहचान के लिए एक लंबे समय से चली आ रही संदर्भ सेट है। दृश्य पाठ के लिए, कोको-टेक्स्ट ने एमएस-कोको पर व्यापक एनोटेशन स्तरित किए, जिसमें मुद्रित/हस्तलिखित, सुपाठ्य/अपठनीय, लिपि और पूर्ण प्रतिलेखन के लिए लेबल थे (मूल परियोजना पृष्ठभी देखें)। यह क्षेत्र सिंथेटिक प्रीट्रेनिंग पर भी बहुत अधिक निर्भर करता है: सिंथटेक्स्ट इन द वाइल्ड यथार्थवादी ज्यामिति और प्रकाश के साथ तस्वीरों में पाठ प्रस्तुत करता है, डिटेक्टरों और पहचानकर्ताओं को प्रीट्रेन करने के लिए भारी मात्रा में डेटा प्रदान करता है (संदर्भ कोड और डेटा).

के तहत प्रतियोगिताएं ICDAR’s रोबस्ट रीडिंग मूल्यांकन को आधार बनाती हैं। हाल के कार्यों में एंड-टू-एंड डिटेक्शन/रीडिंग पर जोर दिया गया है और इसमें शब्दों को वाक्यांशों में जोड़ना शामिल है, जिसमें आधिकारिक कोड रिपोर्टिंग सटीकता/रिकॉल/एफ-स्कोर, इंटरसेक्शन-ओवर-यूनियन (IoU), और कैरेक्टर-लेवल एडिट-डिस्टेंस मेट्रिक्स - जो अभ्यासकर्ताओं को ट्रैक करना चाहिए, को दर्शाता है।

आउटपुट प्रारूप और डाउनस्ट्रीम उपयोग

ओसीआर शायद ही कभी सादे पाठ पर समाप्त होता है। अभिलेखागार और डिजिटल पुस्तकालय पसंद करते हैं ALTO XML क्योंकि यह सामग्री के साथ भौतिक लेआउट (निर्देशांक के साथ ब्लॉक/लाइनें/शब्द) को एन्कोड करता है, और यह METS पैकेजिंग के साथ अच्छी तरह से मेल खाता है। hOCR माइक्रोफ़ॉर्मैट, इसके विपरीत, ocr_line और ocrx_word जैसे क्लास का उपयोग करके HTML/CSS में उसी विचार को एम्बेड करता है, जिससे वेब टूलिंग के साथ प्रदर्शन, संपादन और रूपांतरण करना आसान हो जाता है। टेसरैक्ट दोनों को उजागर करता है - जैसे, सीएलआई से सीधे एचओसीआर या खोज योग्य पीडीएफ बनाना (पीडीएफ आउटपुट गाइड); पाइथन रैपर जैसे pytesseract सुविधा जोड़ते हैं। hOCR और ALTO के बीच अनुवाद करने के लिए कन्वर्टर्स मौजूद हैं जब रिपॉजिटरी में निश्चित अंतर्ग्रहण मानक होते हैं - इस क्यूरेटेड सूची को देखें ओसीआर फ़ाइल-प्रारूप उपकरण.

व्यावहारिक मार्गदर्शन

• डेटा और सफाई से शुरू करें। यदि आपकी छवियां फोन फोटो या मिश्रित-गुणवत्ता वाले स्कैन हैं, तो किसी भी मॉडल ट्यूनिंग से पहले थ्रेसहोल्डिंग (अनुकूली और ओत्सु) और डेस्क्यू (हफ) में निवेश करें। आप अक्सर पहचानकर्ताओं को बदलने की तुलना में एक मजबूत प्रीप्रोसेसिंग रेसिपी से अधिक लाभ प्राप्त करेंगे।
• सही डिटेक्टर चुनें। नियमित कॉलम वाले स्कैन किए गए पृष्ठों के लिए, एक पेज सेपरेटर (ज़ोन → लाइनें) पर्याप्त हो सकता है; प्राकृतिक छवियों के लिए, ईस्ट जैसे सिंगल-शॉट डिटेक्टर मजबूत आधार रेखा हैं और कई टूलकिट में प्लग करते हैं (ओपनसीवी उदाहरण)।
• अपने पाठ से मेल खाने वाला एक पहचानकर्ता चुनें। मुद्रित लैटिन के लिए, टेसरैक्ट (एलएसटीएम/ओईएम) मजबूत और तेज़ है; बहु-लिपि या त्वरित प्रोटोटाइप के लिए, EasyOCR उत्पादक है; लिखावट या ऐतिहासिक टाइपफेस के लिए, क्रैकेन या कैलामरी पर विचार करें और फाइन-ट्यून करने की योजना बनाएं। यदि आपको दस्तावेज़ समझने (कुंजी-मूल्य निष्कर्षण, VQA) के लिए तंग युग्मन की आवश्यकता है, तो अपने स्कीमा पर TrOCR (OCR) बनाम डोनट (OCR-मुक्त) का मूल्यांकन करें - डोनट एक संपूर्ण एकीकरण चरण को हटा सकता है।
• जो मायने रखता है उसे मापें। एंड-टू-एंड सिस्टम के लिए, डिटेक्शन एफ-स्कोर और रिकॉग्निशन सीईआर/डब्ल्यूईआर (दोनों लेवेनस्टीन एडिट डिस्टेंस पर आधारित; देखें सीटीसी); लेआउट-भारी कार्यों के लिए, IoU/कठोरता और कैरेक्टर-स्तरीय सामान्यीकृत संपादन दूरी को ट्रैक करें जैसा कि ICDAR आरआरसी मूल्यांकन किट में है।
• समृद्ध आउटपुट निर्यात करें। पसंद करें hOCR /ALTO (या दोनों) ताकि आप निर्देशांक और पढ़ने के क्रम को बनाए रखें - खोज हिट हाइलाइटिंग, तालिका/फ़ील्ड निष्कर्षण, और प्रोवेनेंस के लिए महत्वपूर्ण। टेसरैक्ट का सीएलआई और pytesseract इसे एक-लाइनर बनाते हैं।

आगे देख रहे हैं

सबसे मजबूत प्रवृत्ति अभिसरण है: पहचान, मान्यता, भाषा मॉडलिंग, और यहां तक ​​कि कार्य-विशिष्ट डिकोडिंग एकीकृत ट्रांसफार्मर स्टैक में विलीन हो रहे हैं। बड़े सिंथेटिक कॉर्पोरा पर प्री-ट्रेनिंग एक बल गुणक बना हुआ है। ओसीआर-मुक्त मॉडल आक्रामक रूप से प्रतिस्पर्धा करेंगे जहां लक्ष्य वर्बेटिम ट्रांसक्रिप्ट के बजाय संरचित आउटपुट है। हाइब्रिड परिनियोजन की भी अपेक्षा करें: एक हल्का डिटेक्टर और लंबे-फॉर्म टेक्स्ट के लिए एक TrOCR-शैली पहचानकर्ता, और फॉर्म और रसीदों के लिए एक डोनट-शैली मॉडल।

अतिरिक्त पठन और उपकरण

टेसरैक्ट (गिटहब) · टेसरैक्ट डॉक्स · hOCR स्पेक · ALTO पृष्ठभूमि · ईस्ट डिटेक्टर · ओपनसीवी टेक्स्ट डिटेक्शन · TrOCR · डोनट · कोको-टेक्स्ट · सिंथटेक्स्ट · क्रैकेन · कैलामरी OCR · ICDAR आरआरसी · pytesseract · IAM लिखावट · ओसीआर फ़ाइल-प्रारूप उपकरण · EasyOCR