Nhận dạng ký tự quang học (OCR) biến hình ảnh văn bản—bản quét, ảnh chụp từ điện thoại thông minh, PDF—thành các chuỗi máy có thể đọc được và, ngày càng nhiều, dữ liệu có cấu trúc. OCR hiện đại là một quy trình làm sạch hình ảnh, tìm văn bản, đọc nó và xuất siêu dữ liệu phong phú để các hệ thống hạ nguồn có thể tìm kiếm, lập chỉ mục hoặc trích xuất các trường. Hai tiêu chuẩn đầu ra được sử dụng rộng rãi là hOCR, một định dạng vi mô HTML cho văn bản và bố cục, và ALTO XML, một lược đồ hướng thư viện/lưu trữ; cả hai đều bảo toàn vị trí, thứ tự đọc và các tín hiệu bố cục khác và được hỗ trợ bởi các công cụ phổ biến như Tesseract.
Tiền xử lý. Chất lượng OCR bắt đầu bằng việc dọn dẹp hình ảnh: chuyển đổi thang độ xám, khử nhiễu, ngưỡng (nhị phân hóa), và chỉnh lệch. Các hướng dẫn OpenCV kinh điển bao gồm toàn cục, thích ứng và Otsu ngưỡng—những yếu tố chính cho các tài liệu có ánh sáng không đồng đều hoặc biểu đồ hai mode. Khi độ sáng thay đổi trong một trang (hãy nghĩ đến ảnh chụp bằng điện thoại), các phương pháp thích ứng thường hoạt động tốt hơn một ngưỡng toàn cục duy nhất; Otsu tự động chọn một ngưỡng bằng cách phân tích biểu đồ. Chỉnh sửa độ nghiêng cũng quan trọng không kém: chỉnh lệch dựa trên Hough (Biến đổi dòng Hough) kết hợp với nhị phân hóa Otsu là một công thức phổ biến và hiệu quả trong các quy trình tiền xử lý sản xuất.
Phát hiện và nhận dạng. OCR thường được chia thành phát hiện văn bản (văn bản ở đâu ?) và nhận dạng văn bản (nó nói gì?). Trong các cảnh tự nhiên và nhiều bản quét, các bộ phát hiện tích chập hoàn toàn như EAST dự đoán hiệu quả các tứ giác ở cấp độ từ hoặc dòng mà không cần các giai đoạn đề xuất nặng nề và được triển khai trong các bộ công cụ phổ biến (ví dụ: hướng dẫn phát hiện văn bản của OpenCV). Trên các trang phức tạp (báo, biểu mẫu, sách), việc phân đoạn các dòng/vùng và suy luận thứ tự đọc rất quan trọng:Kraken triển khai phân đoạn vùng/dòng truyền thống và phân đoạn đường cơ sở thần kinh, với sự hỗ trợ rõ ràng cho các tập lệnh và hướng khác nhau (LTR/RTL/dọc).
Mô hình nhận dạng. Công cụ mã nguồn mở cổ điển Tesseract (do Google mở nguồn, có nguồn gốc từ HP) đã phát triển từ một bộ phân loại ký tự thành một bộ nhận dạng chuỗi dựa trên LSTM và có thể phát hành các tệp PDF có thể tìm kiếm, đầu ra thân thiện với hOCR/ALTO, và nhiều hơn nữa từ CLI. Các bộ nhận dạng hiện đại dựa vào mô hình hóa chuỗi mà không cần các ký tự được phân đoạn trước. Phân loại thời gian kết nối (CTC) vẫn là nền tảng, học các sự sắp xếp giữa các chuỗi đặc trưng đầu vào và chuỗi nhãn đầu ra; nó được sử dụng rộng rãi trong các quy trình xử lý chữ viết tay và văn bản cảnh.
Trong vài năm qua, Transformers đã định hình lại OCR. TrOCR sử dụng một bộ mã hóa Vision Transformer cộng với một bộ giải mã Text Transformer, được đào tạo trên các kho ngữ liệu tổng hợp lớn sau đó được tinh chỉnh trên dữ liệu thực, với hiệu suất mạnh mẽ trên các tiêu chuẩn văn bản in, viết tay và cảnh (xem thêm tài liệu Hugging Face). Song song đó, một số hệ thống bỏ qua OCR để hiểu biết hạ nguồn: Donut (Document Understanding Transformer) là một bộ mã hóa-giải mã không có OCR, trực tiếp xuất ra các câu trả lời có cấu trúc (như JSON khóa-giá trị) từ tài liệu hình ảnh (repo, thẻ mô hình), tránh tích lũy lỗi khi một bước OCR riêng biệt cung cấp cho một hệ thống IE.
Nếu bạn muốn đọc văn bản có sẵn trên nhiều tập lệnh, EasyOCR cung cấp một API đơn giản với hơn 80 mô hình ngôn ngữ, trả về các hộp, văn bản và độ tin cậy—tiện dụng cho các nguyên mẫu và các tập lệnh không phải tiếng Latinh. Đối với các tài liệu lịch sử, Kraken tỏa sáng với phân đoạn đường cơ sở và thứ tự đọc nhận biết tập lệnh; để đào tạo cấp dòng linh hoạt, Calamari xây dựng trên dòng dõi Ocropy (Ocropy) với các bộ nhận dạng (đa)LSTM+CTC và một CLI để tinh chỉnh các mô hình tùy chỉnh.
Sự khái quát hóa phụ thuộc vào dữ liệu. Đối với chữ viết tay, Cơ sở dữ liệu chữ viết tay IAM cung cấp các câu tiếng Anh đa dạng về người viết để đào tạo và đánh giá; đó là một bộ tham chiếu lâu đời cho nhận dạng dòng và từ. Đối với văn bản cảnh, COCO-Text đã xếp lớp các chú thích mở rộng trên MS-COCO, với các nhãn cho văn bản in/viết tay, dễ đọc/khó đọc, tập lệnh và bản ghi đầy đủ (xem thêm trang dự án ban đầu). Lĩnh vực này cũng phụ thuộc nhiều vào việc đào tạo trước tổng hợp: SynthText in the Wild kết xuất văn bản thành các bức ảnh với hình học và ánh sáng thực tế, cung cấp khối lượng dữ liệu khổng lồ để đào tạo trước các bộ phát hiện và nhận dạng (tham khảo mã và dữ liệu).
Các cuộc thi dưới chiếc ô Đọc mạnh mẽ của ICDAR giữ cho việc đánh giá có cơ sở. Các nhiệm vụ gần đây nhấn mạnh việc phát hiện/đọc từ đầu đến cuối và bao gồm việc liên kết các từ thành các cụm từ, với mã chính thức báo cáo độ chính xác/độ thu hồi/F-score, giao nhau trên hợp nhất (IoU), và các số liệu khoảng cách chỉnh sửa cấp ký tự—phản ánh những gì các nhà thực hành nên theo dõi.
OCR hiếm khi kết thúc ở văn bản thuần túy. Các kho lưu trữ và thư viện số thích ALTO XML vì nó mã hóa bố cục vật lý (các khối/dòng/từ có tọa độ) cùng với nội dung, và nó kết hợp tốt với bao bì METS. hOCR định dạng vi mô, ngược lại, nhúng cùng một ý tưởng vào HTML/CSS bằng cách sử dụng các lớp như ocr_line và ocrx_word, giúp dễ dàng hiển thị, chỉnh sửa và chuyển đổi bằng các công cụ web. Tesseract phơi bày cả hai—ví dụ: tạo hOCR hoặc PDF có thể tìm kiếm trực tiếp từ CLI (hướng dẫn xuất PDF); Các trình bao bọc Python như pytesseract thêm sự tiện lợi. Các bộ chuyển đổi tồn tại để dịch giữa hOCR và ALTO khi các kho lưu trữ có các tiêu chuẩn nhập liệu cố định —xem danh sách được tuyển chọn này của công cụ định dạng tệp OCR.
Xu hướng mạnh mẽ nhất là sự hội tụ: phát hiện, nhận dạng, mô hình hóa ngôn ngữ và thậm chí cả giải mã cho tác vụ cụ thể đang hợp nhất thành các ngăn xếp Transformer thống nhất. Đào tạo trước trên các kho ngữ liệu tổng hợp lớn vẫn là một hệ số nhân. Các mô hình không có OCR sẽ cạnh tranh quyết liệt ở bất cứ đâu mục tiêu là các đầu ra có cấu trúc thay vì các bản ghi nguyên văn. Cũng mong đợi các triển khai kết hợp: một bộ phát hiện nhẹ cộng với một bộ nhận dạng kiểu TrOCR cho văn bản dạng dài, và một mô hình kiểu Donut cho các biểu mẫu và biên lai.
Tesseract (GitHub) · Tài liệu Tesseract · Thông số kỹ thuật hOCR · Nền tảng ALTO · Bộ phát hiện EAST · Phát hiện văn bản OpenCV · TrOCR · Donut · COCO-Text · SynthText · Kraken · Calamari OCR · ICDAR RRC · pytesseract · Chữ viết tay IAM · Công cụ định dạng tệp OCR · EasyOCR
Optical Character Recognition (OCR) là một công nghệ được sử dụng để chuyển đổi các loại tài liệu khác nhau, như tài liệu giấy đã quét, tệp PDF hoặc hình ảnh được chụp bằng máy ảnh số, thành dữ liệu có thể chỉnh sửa và tìm kiếm.
OCR hoạt động bằng cách quét hình ảnh hoặc tài liệu đầu vào, phân đoạn hình ảnh thành các ký tự riêng lẻ, và so sánh từng ký tự với cơ sở dữ liệu hình dạng ký tự bằng cách sử dụng nhận dạng mô hình hoặc nhận dạng đặc trưng.
OCR được sử dụng trong nhiều lĩnh vực và ứng dụng, bao gồm số hóa tài liệu in, kích hoạt các dịch vụ văn bản thành giọng nói, tự động hóa quá trình nhập dữ liệu, và hỗ trợ người dùng khiếm thị tương tác tốt hơn với văn bản.
Mặc dù đã có những tiến bộ vượt bậc trong công nghệ OCR, nhưng nó không phải lúc nào cũng hoàn hảo. Độ chính xác có thể thay đổi tùy thuộc vào chất lượng của tài liệu gốc và chi tiết của phần mềm OCR đang được sử dụng.
Mặc dù OCR chủ yếu được thiết kế cho văn bản in, một số hệ thống OCR tiên tiến cũng có thể nhận dạng được chữ viết tay rõ ràng, nhất quán. Tuy nhiên, nhận dạng chữ viết tay thường kém chính xác hơn do sự biến đổi lớn trong các kiểu viết của mỗi người.
Có, nhiều hệ thống phần mềm OCR có thể nhận dạng được nhiều ngôn ngữ. Tuy nhiên, điều quan trọng là phải đảm bảo rằng ngôn ngữ cụ thể đó được hỗ trợ bởi phần mềm bạn đang sử dụng.
OCR là viết tắt của Optical Character Recognition và được sử dụng để nhận dạng văn bản in, trong khi ICR, hoặc Intelligent Character Recognition, tiên tiến hơn và được sử dụng để nhận dạng văn bản viết tay.
OCR hoạt động tốt nhất với các phông chữ rõ ràng, dễ đọc và kích cỡ văn bản chuẩn. Mặc dù nó có thể hoạt động với các phông chữ và kích cỡ khác nhau, độ chính xác thường giảm khi đối phó với phông chữ không thông thường hoặc kích cỡ văn bản rất nhỏ.
OCR có thể gặp khó khăn với các tài liệu độ phân giải thấp, phông chữ phức tạp, văn bản in kém, chữ viết tay, và các tài liệu có nền gây ra sự can thiệp với văn bản. Ngoài ra, mặc dù nó có thể hoạt động với nhiều ngôn ngữ, nó có thể không bao phủ hoàn hảo mọi ngôn ngữ.
Có, OCR có thể quét văn bản màu và nền màu, mặc dù nó thường hiệu quả hơn với các sự kết hợp màu đối lập cao, như văn bản đen trên nền trắng. Độ chính xác có thể giảm khi màu văn bản và màu nền không có đủ độ tương phản.
PDB (Protein Data Bank) ảnh định dạng không phải là một định dạng 'ảnh' truyền thống như JPEG hoặc PNG, mà là một định dạng dữ liệu lưu trữ thông tin cấu trúc ba chiều về protein, axit nucleic và các tập hợp phức tạp. Định dạng PDB là nền tảng của tin sinh học và sinh học cấu trúc, vì nó cho phép các nhà khoa học hình dung, chia sẻ và phân tích các cấu trúc phân tử của các đại phân tử sinh học. Kho lưu trữ PDB được quản lý bởi Ngân hàng dữ liệu protein toàn cầu (wwPDB), đảm bảo rằng dữ liệu PDB được cung cấp miễn phí và công khai cho cộng đồng toàn cầu.
Định dạng PDB lần đầu tiên được phát triển vào đầu những năm 1970 để phục vụ nhu cầu ngày càng tăng về một phương pháp chuẩn hóa để biểu diễn các cấu trúc phân tử. Kể từ đó, nó đã phát triển để chứa nhiều loại dữ liệu phân tử. Định dạng này dựa trên văn bản và có thể được con người đọc cũng như được máy tính xử lý. Nó bao gồm một loạt các bản ghi, mỗi bản ghi bắt đầu bằng một mã định danh dòng gồm sáu ký tự chỉ định loại thông tin có trong bản ghi đó. Các bản ghi cung cấp mô tả chi tiết về cấu trúc, bao gồm tọa độ nguyên tử, kết nối và dữ liệu thực nghiệm.
Một tệp PDB điển hình bắt đầu bằng phần tiêu đề, bao gồm siêu dữ liệu về cấu trúc protein hoặc axit nucleic. Phần này chứa các bản ghi như TITLE, cung cấp mô tả ngắn gọn về cấu trúc; COMPND, liệt kê các thành phần hóa học; và SOURCE, mô tả nguồn gốc của phân tử sinh học. Tiêu đề cũng bao gồm bản ghi AUTHOR, liệt kê tên của những người xác định cấu trúc và bản ghi JOURNAL, cung cấp trích dẫn cho tài liệu nơi cấu trúc được mô tả lần đầu tiên.
Tiếp theo tiêu đề, tệp PDB chứa thông tin trình tự chính của đại phân tử trong các bản ghi SEQRES. Các bản ghi này liệt kê trình tự các phần tử còn lại (axit amin đối với protein, nucleotide đối với axit nucleic) khi chúng xuất hiện trong chuỗi. Thông tin này rất quan trọng để hiểu mối quan hệ giữa trình tự của một phân tử và cấu trúc ba chiều của nó.
Các bản ghi ATOM được cho là phần quan trọng nhất của tệp PDB, vì chúng chứa tọa độ cho từng nguyên tử trong phân tử. Mỗi bản ghi ATOM bao gồm số sê-ri nguyên tử, tên nguyên tử, tên phần tử còn lại, mã định danh chuỗi, số trình tự phần tử còn lại và tọa độ Descartes x, y và z của nguyên tử tính bằng angstrom. Các bản ghi ATOM cho phép tái tạo cấu trúc ba chiều của phân tử, có thể được hình dung bằng phần mềm chuyên dụng như PyMOL, Chimera hoặc VMD.
Ngoài các bản ghi ATOM, còn có các bản ghi HETATM cho các nguyên tử là một phần của các phần tử còn lại hoặc phối tử không chuẩn, chẳng hạn như ion kim loại, phân tử nước hoặc các phân tử nhỏ khác liên kết với protein hoặc axit nucleic. Các bản ghi này được định dạng tương tự như các bản ghi ATOM nhưng được phân biệt để tạo điều kiện xác định các thành phần không phải đại phân tử trong cấu trúc.
Thông tin kết nối được cung cấp trong các bản ghi CONECT, liệt kê các liên kết giữa các nguyên tử. Các bản ghi này không bắt buộc, vì hầu hết các phần mềm phân tích và hình dung phân tử có thể suy ra kết nối dựa trên khoảng cách giữa các nguyên tử. Tuy nhiên, chúng rất quan trọng để xác định các liên kết bất thường hoặc đối với các cấu trúc có phức hợp phối hợp kim loại, trong đó liên kết có thể không rõ ràng chỉ từ tọa độ nguyên tử.
Định dạng PDB cũng bao gồm các bản ghi để chỉ định các phần tử cấu trúc thứ cấp, chẳng hạn như xoắn alpha và tấm beta. Các bản ghi HELIX và SHEET xác định các cấu trúc này và cung cấp thông tin về vị trí của chúng trong trình tự. Thông tin này giúp hiểu các mẫu gấp của đại phân tử và rất cần thiết cho các nghiên cứu so sánh và mô hình hóa.
Dữ liệu thực nghiệm và các phương pháp được sử dụng để xác định cấu trúc cũng được ghi lại trong tệp PDB. Các bản ghi như EXPDTA mô tả kỹ thuật thực nghiệm (ví dụ: tinh thể học tia X, phổ NMR), trong khi các bản ghi REMARK có thể chứa nhiều loại bình luận và chú thích về cấu trúc, bao gồm các chi tiết về thu thập dữ liệu, độ phân giải và số liệu thống kê tinh chỉnh.
Bản ghi END biểu thị phần cuối của tệp PDB. Điều quan trọng cần lưu ý là mặc dù định dạng PDB được sử dụng rộng rãi, nhưng nó có một số hạn chế do tuổi của nó và định dạng chiều rộng cột cố định, có thể dẫn đến các vấn đề với các cấu trúc hiện đại có nhiều nguyên tử hoặc yêu cầu độ chính xác cao hơn. Để giải quyết những hạn chế này, một định dạng được cập nhật có tên là mmCIF (Tệp thông tin tinh thể học đại phân tử) đã được phát triển, cung cấp một khuôn khổ linh hoạt và mở rộng hơn để biểu diễn các cấu trúc đại phân tử.
Mặc dù định dạng mmCIF được phát triển, nhưng định dạng PDB vẫn phổ biến do tính đơn giản và số lượng lớn các công cụ phần mềm hỗ trợ nó. Các nhà nghiên cứu thường chuyển đổi giữa các định dạng PDB và mmCIF tùy thuộc vào nhu cầu của họ và các công cụ họ đang sử dụng. Tuổi thọ của định dạng PDB là minh chứng cho vai trò cơ bản của nó trong lĩnh vực sinh học cấu trúc và hiệu quả của nó trong việc truyền đạt thông tin cấu trúc phức tạp theo cách tương đối đơn giản.
Để làm việc với các tệp PDB, các nhà khoa học sử dụng nhiều công cụ tính toán. Phần mềm hình dung phân tử cho phép người dùng tải các tệp PDB và xem các cấu trúc ở ba chiều, xoay chúng, phóng to và thu nhỏ và áp dụng các kiểu kết xuất khác nhau để hiểu rõ hơn về sự sắp xếp không gian của các nguyên tử. Các công cụ này thường cung cấp các chức năng bổ sung, chẳng hạn như đo khoảng cách, góc và dihedral, mô phỏng động lực học phân tử và phân tích các tương tác trong cấu trúc hoặc với các phối tử tiềm năng.
Định dạng PDB cũng đóng một vai trò quan trọng trong sinh học tính toán và khám phá thuốc. Thông tin cấu trúc từ các tệp PDB được sử dụng trong mô hình đồng đẳng, trong đó cấu trúc đã biết của một protein liên quan được sử dụng để dự đoán cấu trúc của một protein quan tâm. Trong thiết kế thuốc dựa trên cấu trúc, các tệp PDB của protein mục tiêu được sử dụng để sàng lọc và tối ưu hóa các hợp chất thuốc tiềm năng, sau đó có thể được tổng hợp và thử nghiệm trong phòng thí nghiệm.
Tác động của định dạng PDB vượt ra ngoài các dự án nghiên cứu riêng lẻ. Bản thân Ngân hàng dữ liệu protein là một kho lưu trữ hiện chứa hơn 150.000 cấu trúc và nó tiếp tục phát triển khi các cấu trúc mới được xác định và gửi. Cơ sở dữ liệu này là một nguồn tài nguyên vô giá cho giáo dục, cho phép sinh viên khám phá và tìm hiểu về cấu trúc của các đại phân tử sinh học. Nó cũng đóng vai trò như một hồ sơ lịch sử về tiến trình của sinh học cấu trúc trong những thập kỷ qua.
Tóm lại, định dạng hình ảnh PDB là một công cụ quan trọng trong lĩnh vực sinh học cấu trúc, cung cấp phương tiện để lưu trữ, chia sẻ và phân tích các cấu trúc ba chiều của các đại phân tử sinh học. Mặc dù có một số hạn chế, nhưng việc áp dụng rộng rãi và sự phát triển của một hệ sinh thái phong phú các công cụ để sử dụng nó đảm bảo rằng nó sẽ vẫn là một định dạng chính trong tương lai gần. Khi lĩnh vực sinh học cấu trúc tiếp tục phát triển, định dạng PDB có thể sẽ được bổ sung bởi các định dạng tiên tiến hơn như mmCIF, nhưng di sản của nó sẽ tồn tại như nền tảng mà sinh học cấu trúc hiện đại được xây dựng.
Bộ chuyển đổi này chạy hoàn toàn trong trình duyệt của bạn. Khi bạn chọn một tệp, nó sẽ được đọc vào bộ nhớ và chuyển đổi sang định dạng đã chọn. Sau đó, bạn có thể tải xuống tệp đã chuyển đổi.
Việc chuyển đổi bắt đầu ngay lập tức và hầu hết các tệp được chuyển đổi trong vòng chưa đầy một giây. Các tệp lớn hơn có thể mất nhiều thời gian hơn.
Các tệp của bạn không bao giờ được tải lên máy chủ của chúng tôi. Chúng được chuyển đổi trong trình duyệt của bạn và sau đó tệp đã chuyển đổi sẽ được tải xuống. Chúng tôi không bao giờ thấy các tệp của bạn.
Chúng tôi hỗ trợ chuyển đổi giữa tất cả các định dạng hình ảnh, bao gồm JPEG, PNG, GIF, WebP, SVG, BMP, TIFF, v.v.
Bộ chuyển đổi này hoàn toàn miễn phí và sẽ luôn miễn phí. Bởi vì nó chạy trong trình duyệt của bạn, chúng tôi không phải trả tiền cho máy chủ, vì vậy chúng tôi không cần tính phí bạn.
Đúng! Bạn có thể chuyển đổi bao nhiêu tệp tùy thích cùng một lúc. Chỉ cần chọn nhiều tệp khi bạn thêm chúng.