AAI · ইনপুট ফরম্যাট

অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR) টেক্সটের ছবি—স্ক্যান, স্মার্টফোনের ছবি, পিডিএফ—মেশিন-পাঠযোগ্য স্ট্রিং এবং কাঠামোবদ্ধ ডেটাতে রূপান্তরিত করে। আধুনিক OCR একটি পাইপলাইন যা একটি ছবি পরিষ্কার করে, টেক্সট খুঁজে বের করে, তা পড়ে এবং সমৃদ্ধ মেটাডেটা রপ্তানি করে যাতে ডাউনস্ট্রিম সিস্টেমগুলি ডেটা অনুসন্ধান, সূচীকরণ বা নিষ্কাশন করতে পারে। দুটি বহুল ব্যবহৃত আউটপুট স্ট্যান্ডার্ড হলো hOCR, টেক্সট এবং লেআউটের জন্য একটি HTML মাইক্রোফরম্যাট, এবং ALTO XML, একটি লাইব্রেরি/আর্কাইভ-ভিত্তিক স্কিমা; উভয়ই অবস্থান, পড়ার ক্রম এবং অন্যান্য লেআউট সংকেত সংরক্ষণ করে এবং জনপ্রিয় ইঞ্জিন দ্বারা সমর্থিত Tesseract.

পাইপলাইনের একটি দ্রুত সফর

প্রিপ্রসেসিং। ওসিআর গুণমান ছবির পরিচ্ছন্নতার সাথে শুরু হয়: গ্রেস্কেল রূপান্তর, ডিনয়েজিং, থ্রেশহোল্ডিং (বাইনারাইজেশন), এবং ডেস্কিউইং। ক্যানোনিকাল OpenCV টিউটোরিয়ালগুলি গ্লোবাল, অভিযোজিত এবং Otsu থ্রেশহোল্ডিং—অমসৃণ আলো বা বাইমোডাল হিস্টোগ্রাম সহ নথিগুলির জন্য প্রধান। যখন একটি পৃষ্ঠার মধ্যে আলোকসজ্জা পরিবর্তিত হয় (ফোন স্ন্যাপের কথা ভাবুন), অভিযোজিত পদ্ধতিগুলি প্রায়শই একটি একক বিশ্বব্যাপী থ্রেশহোল্ডকে ছাড়িয়ে যায়; Otsu স্বয়ংক্রিয়ভাবে হিস্টোগ্রাম বিশ্লেষণ করে একটি থ্রেশহোল্ড বেছে নেয়। টিল্ট সংশোধন সমানভাবে গুরুত্বপূর্ণ: Hough-ভিত্তিক ডেস্কিউইং (Hough লাইন ট্রান্সফর্ম) Otsu বাইনারাইজেশনের সাথে যুক্ত হয়ে প্রোডাকশন প্রিপ্রসেসিং পাইপলাইনগুলিতে একটি সাধারণ এবং কার্যকর পদ্ধতি।

সনাক্তকরণ বনাম স্বীকৃতি। OCR সাধারণত টেক্সট সনাক্তকরণ (টেক্সট কোথায় আছে?) এবং টেক্সট স্বীকৃতি (এতে কী লেখা আছে?)-এ বিভক্ত। প্রাকৃতিক দৃশ্য এবং অনেক স্ক্যানে, সম্পূর্ণ কনভোলিউশনাল ডিটেক্টর যেমন EAST ভারী প্রস্তাবনার পর্যায় ছাড়াই দক্ষতার সাথে শব্দ- বা লাইন-স্তরের চতুর্ভুজগুলির পূর্বাভাস দেয় এবং সাধারণ টুলকিটে (যেমন, OpenCV-এর পাঠ্য সনাক্তকরণ টিউটোরিয়াল) প্রয়োগ করা হয়। জটিল পৃষ্ঠাগুলিতে ( সংবাদপত্র, ফর্ম, বই), লাইন/অঞ্চলের বিভাজন এবং পড়ার ক্রম অনুমান গুরুত্বপূর্ণ:Kraken ঐতিহ্যগত জোন/লাইন বিভাজন এবং নিউরাল বেসলাইন বিভাজন প্রয়োগ করে, বিভিন্ন স্ক্রিপ্ট এবং দিকনির্দেশের (LTR/RTL/উল্লম্ব) জন্য সুস্পষ্ট সমর্থন সহ।

স্বীকৃতি মডেল। ক্লাসিক ওপেন সোর্স ওয়ার্কহরস Tesseract (Google দ্বারা ওপেন সোর্স করা হয়েছে, যার শিকড় HP-তে রয়েছে) একটি অক্ষর ক্লাসিফায়ার থেকে একটি LSTM-ভিত্তিক ক্রম শনাক্তকারীতে বিকশিত হয়েছে এবং অনুসন্ধানযোগ্য PDF, hOCR/ALTO-বান্ধব আউটপুটএবং CLI থেকে আরও অনেক কিছু নির্গত করতে পারে। আধুনিক শনাক্তকারীরা প্রাক-বিভক্ত অক্ষর ছাড়াই ক্রম মডেলিংয়ের উপর নির্ভর করে। Connectionist Temporal Classification (CTC) মৌলিক হিসাবে রয়ে গেছে, ইনপুট ফিচার সিকোয়েন্স এবং আউটপুট লেবেল স্ট্রিংগুলির মধ্যে প্রান্তিককরণ শেখা; এটি ব্যাপকভাবে হাতের লেখা এবং সিন-টেক্সট পাইপলাইনগুলিতে ব্যবহৃত হয়।

গত কয়েক বছরে, ট্রান্সফরমাররা OCR-কে নতুন আকার দিয়েছে। TrOCR একটি ভিশন ট্রান্সফরমার এনকোডার এবং একটি টেক্সট ট্রান্সফরমার ডিকোডার ব্যবহার করে, বৃহৎ সিন্থেটিক কর্পোরার উপর প্রশিক্ষিত এবং তারপর বাস্তব ডেটাতে ফাইন-টিউন করা হয়েছে, মুদ্রিত, হস্তলিখিত এবং সিন-টেক্সট বেঞ্চমার্ক জুড়ে শক্তিশালী পারফরম্যান্স সহ (দেখুন Hugging Face ডক্স)। সমান্তরালভাবে, কিছু সিস্টেম ডাউনস্ট্রিম বোঝার জন্য OCR-কে এড়িয়ে যায়: Donut (Document Understanding Transformer) একটি OCR-মুক্ত এনকোডার-ডিকোডার যা সরাসরি স্ট্রাকচার্ড উত্তর (যেমন কী-মান JSON) ডকুমেন্ট ছবি থেকে আউটপুট করে (রিপো, মডেল কার্ড), যখন একটি পৃথক OCR পদক্ষেপ একটি IE সিস্টেমকে ফিড করে তখন ত্রুটি জমা হওয়া এড়িয়ে যায়।

ইঞ্জিন এবং লাইব্রেরি

আপনি যদি অনেক স্ক্রিপ্ট জুড়ে ব্যাটারি-সহ টেক্সট রিডিং চান, EasyOCR 80+ ভাষা মডেল সহ একটি সহজ API অফার করে, বাক্স, টেক্সট এবং কনফিডেন্স প্রদান করে—প্রোটোটাইপ এবং অ-ল্যাটিন স্ক্রিপ্টের জন্য সুবিধাজনক। ঐতিহাসিক নথিগুলির জন্য, Kraken বেসলাইন সেগমেন্টেশন এবং স্ক্রিপ্ট-সচেতন রিডিং অর্ডারের সাথে উজ্জ্বল; নমনীয় লাইন-স্তরের প্রশিক্ষণের জন্য, ক্যালামারি Ocropy বংশের উপর ভিত্তি করে (Ocropy) (মাল্টি-)LSTM+CTC শনাক্তকারী এবং কাস্টম মডেল ফাইন-টিউন করার জন্য একটি CLI সহ।

ডেটাসেট এবং বেঞ্চমার্ক

সাধারণীকরণ ডেটার উপর নির্ভর করে। হস্তাক্ষরের জন্য, IAM হস্তাক্ষর ডেটাবেস প্রশিক্ষণ এবং মূল্যায়নের জন্য লেখক-বৈচিত্র্যময় ইংরেজি বাক্য সরবরাহ করে; এটি লাইন এবং শব্দ শনাক্তকরণের জন্য একটি দীর্ঘস্থায়ী রেফারেন্স সেট। দৃশ্য পাঠ্যের জন্য, COCO-Text MS-COCO-এর উপর ব্যাপক টীকা স্তর স্থাপন করেছে, মুদ্রিত/হস্তাক্ষর, পাঠযোগ্য/অপঠযোগ্য, স্ক্রিপ্ট এবং সম্পূর্ণ প্রতিলিপি জন্য লেবেল সহ (এছাড়াও মূল প্রকল্প পৃষ্ঠাদেখুন)। ক্ষেত্রটি সিন্থেটিক প্রিট্রেনিংয়ের উপরও ব্যাপকভাবে নির্ভর করে: সিন্থটেক্সট ইন দ্য ওয়াইল্ড বাস্তবসম্মত জ্যামিতি এবং আলো সহ ফটোগ্রাফে পাঠ্য রেন্ডার করে, ডিটেক্টর এবং শনাক্তকারীদের প্রিট্রেন করার জন্য বিশাল পরিমাণে ডেটা সরবরাহ করে (রেফারেন্স কোড ও ডেটা)।

এর অধীনে প্রতিযোগিতা ICDAR-এর রোবাস্ট রিডিং মূল্যায়নকে ভিত্তি করে রাখে। সাম্প্রতিক কাজগুলি এন্ড-টু-এন্ড সনাক্তকরণ/পঠন এবং শব্দগুলিকে বাক্যাংশে সংযুক্ত করা সহ, অফিসিয়াল কোড রিপোর্টিং স্পষ্টতা/প্রত্যাহার/এফ-স্কোর, ইন্টারসেকশন-ওভার-ইউনিয়ন (IoU), এবং অক্ষর-স্তরের সম্পাদনা-দূরত্ব মেট্রিক্স—অনুশীলনকারীদের যা ট্র্যাক করা উচিত তা প্রতিফলিত করে।

আউটপুট ফরম্যাট এবং ডাউনস্ট্রিম ব্যবহার

OCR খুব কমই প্লেইন টেক্সটে শেষ হয়। আর্কাইভ এবং ডিজিটাল লাইব্রেরি পছন্দ করে ALTO XML কারণ এটি বিষয়বস্তুর পাশাপাশি ভৌত বিন্যাস (স্থানাঙ্ক সহ ব্লক/লাইন/শব্দ) এনকোড করে এবং এটি METS প্যাকেজিংয়ের সাথে ভালভাবে জুটি বাঁধে। hOCR মাইক্রোফরম্যাট, বিপরীতে, একই ধারণাটি HTML/CSS-এ ocr_line এবং ocrx_word-এর মতো ক্লাস ব্যবহার করে এম্বেড করে, যা ওয়েব টুলিংয়ের মাধ্যমে প্রদর্শন, সম্পাদনা এবং রূপান্তর করা সহজ করে তোলে। Tesseract উভয়ই প্রকাশ করে—যেমন, CLI থেকে সরাসরি hOCR বা অনুসন্ধানযোগ্য PDF তৈরি করা (PDF আউটপুট গাইড); পাইথন র‍্যাপার যেমন pytesseract সুবিধা যোগ করে। hOCR এবং ALTO-এর মধ্যে অনুবাদ করার জন্য রূপান্তরকারী বিদ্যমান রয়েছে যখন সংগ্রহস্থলগুলির নির্দিষ্ট ইনজেশন মান থাকে—এই সংগৃহীত তালিকাটি দেখুন OCR ফাইল-ফরম্যাট টুল.

বাস্তব নির্দেশিকা

• ডেটা এবং পরিষ্কার-পরিচ্ছন্নতা দিয়ে শুরু করুন। যদি আপনার ছবিগুলি ফোন ফটো বা মিশ্র-গুণমানের স্ক্যান হয়, তাহলে মডেল টিউনিংয়ের আগে থ্রেশহোল্ডিং (অভিযোজিত এবং ওৎসু) এবং ডেস্কিউ (Hough) এ বিনিয়োগ করুন। আপনি প্রায়শই শনাক্তকারী বদলানোর চেয়ে একটি শক্তিশালী প্রিপ্রসেসিং রেসিপি থেকে বেশি লাভবান হবেন।
• সঠিক ডিটেক্টর চয়ন করুন। নিয়মিত কলাম সহ স্ক্যান করা পৃষ্ঠাগুলির জন্য, একটি পৃষ্ঠা বিভাজক (জোন → লাইন) যথেষ্ট হতে পারে; প্রাকৃতিক চিত্রগুলির জন্য, EAST -এর মতো একক-শট ডিটেক্টরগুলি শক্তিশালী বেসলাইন এবং অনেক টুলকিটে প্লাগ ইন করে (OpenCV উদাহরণ)।
• আপনার পাঠ্যের সাথে মেলে এমন একটি শনাক্তকারী বাছুন। মুদ্রিত ল্যাটিনের জন্য, Tesseract (LSTM/OEM) শক্তিশালী এবং দ্রুত; বহু-লিপি বা দ্রুত প্রোটোটাইপের জন্য, EasyOCR উৎপাদনশীল; হস্তাক্ষর বা ঐতিহাসিক টাইপফেসের জন্য, ক্র্যাকেন বা ক্যালামারি বিবেচনা করুন এবং ফাইন-টিউন করার পরিকল্পনা করুন। আপনার যদি ডকুমেন্ট বোঝার (কী-মান নিষ্কাশন, VQA) সাথে কঠোর কাপলিংয়ের প্রয়োজন হয়, তাহলে আপনার স্কিমার উপর TrOCR (OCR) বনাম Donut (OCR-মুক্ত) মূল্যায়ন করুন—ডোনাট একটি সম্পূর্ণ ইন্টিগ্রেশন ধাপ দূর করতে পারে।
• যা গুরুত্বপূর্ণ তা পরিমাপ করুন। এন্ড-টু-এন্ড সিস্টেমের জন্য, সনাক্তকরণ এফ-স্কোর এবং স্বীকৃতি CER/WER (উভয়ই লেভেনশ্টাইন সম্পাদনা দূরত্বের উপর ভিত্তি করে; দেখুন CTC); লেআউট-ভারী কাজগুলির জন্য, IoU/টাইটনেস এবং অক্ষর-স্তরের স্বাভাবিকীকৃত সম্পাদনা দূরত্ব ট্র্যাক করুন যেমন ICDAR RRC মূল্যায়ন কিটগুলিতে।
• সমৃদ্ধ আউটপুট রপ্তানি করুন। পছন্দ করুন hOCR /ALTO (বা উভয়ই) যাতে আপনি স্থানাঙ্ক এবং পড়ার ক্রম বজায় রাখেন—অনুসন্ধান হিট হাইলাইটিং, টেবিল/ক্ষেত্র নিষ্কাশন এবং প্রোভেন্যান্সের জন্য অত্যাবশ্যক। Tesseract-এর CLI এবং pytesseract এটিকে এক-লাইনার করে তোলে।

সামনের দিকে তাকিয়ে

সবচেয়ে শক্তিশালী প্রবণতা হল অভিসৃতি: সনাক্তকরণ, স্বীকৃতি, ভাষা মডেলিং এবং এমনকি টাস্ক-নির্দিষ্ট ডিকোডিং একীভূত ট্রান্সফরমার স্ট্যাকগুলিতে মিশে যাচ্ছে। বৃহৎ সিন্থেটিক কর্পোরার উপর প্রি-ট্রেনিং একটি শক্তি গুণক হিসাবে রয়ে গেছে। OCR-মুক্ত মডেলগুলি যেখানে লক্ষ্যটি ভারbatim ট্রান্সক্রিপ্টের পরিবর্তে স্ট্রাকচার্ড আউটপুট, সেখানে আক্রমণাত্মকভাবে প্রতিযোগিতা করবে। হাইব্রিড স্থাপনারও আশা করুন: একটি হালকা ডিটেক্টর এবং দীর্ঘ-ফর্ম পাঠ্যের জন্য একটি TrOCR-স্টাইল শনাক্তকারী, এবং ফর্ম এবং রসিদের জন্য একটি ডোনাট-স্টাইল মডেল।

আরও পড়া এবং সরঞ্জাম

Tesseract (GitHub) · Tesseract ডক্স · hOCR স্পেক · ALTO পটভূমি · EAST ডিটেক্টর · OpenCV টেক্সট ডিটেকশন · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · IAM হস্তাক্ষর · OCR ফাইল-ফরম্যাট টুল · EasyOCR