Skew correction and image alignment for accurate region of interest detection in scanned exam papers

Abstract

Accurate digit segmentation is a critical process in handwritten digit recognition. In structured documents, digits are written in predefined locations based on template files. One common example is exam papers, where students’ identification numbers and evaluation grades are written in designated regions. However, in scanned documents, these locations are often misaligned due to skews, which negatively affects segmentation accuracy. This study proposes a skew detection and correction method combined with template matching based image alignment to improve digit segmentation for handwritten digit recognition. Unlike general-purpose methods, our approach focuses on structured exam templates, ensuring that numeric entries like student IDs and question grades are accurately extracted. Automating this process is particularly valuable for grading since manual entering scores for each question is a labor-intensive task, especially in large classes. Experimental results on 211 exam papers containing 3,407 handwritten digits show that 2,462 (72%) corrections were required due to misalignment. With the proposed alignment method, this number is reduced to only 333 (9.7%), demonstrating its effectiveness in template-based handwritten digit recognition.

Keywords

• Image processing
• Skew correction
• Digit segmentation
• Digit recognition

Taranmış sınav kağıtlarında doğru ilgilenilen bölge tespiti için çarpıklık düzeltme ve görüntü hizalama

Abstract

Doğru rakam bölütleme, el yazısı rakam tanımada kritik bir süreçtir. Yapılandırılmış belgelerde, rakamlar şablon dosyalarına dayalı olarak önceden tanımlanmış konumlara yazılır. Yaygın örneklerden biri, öğrencilerin kimlik numaralarının ve değerlendirme notlarının belirlenen bölgelere yazıldığı sınav kağıtlarıdır. Ancak, taranan belgelerde bu konumlar genellikle çarpıklık nedeniyle yanlış hizalanır ve bu da segmentasyon doğruluğunu olumsuz etkiler. Bu çalışma, el yazısı rakam tanıma için rakam bölütlemesini iyileştirmek amacıyla şablon eşleştirme tabanlı görüntü hizalama ile birlikte bir eğrilik algılama ve düzeltme yöntemi önermektedir. Genel amaçlı yöntemlerin aksine, önerilen yaklaşımımız yapılandırılmış sınav şablonlarına odaklanmakta ve öğrenci numaraları ile soru notları gibi sayısal girişlerin doğru şekilde çıkarılmasını sağlamaktadır. Bu sürecin otomatikleştirilmesi, özellikle kalabalık sınıflarda her bir sorunun notunun elle girilmesinin zaman alıcı bir işlem olması nedeniyle notlandırma açısından büyük önem taşımaktadır. 3.407 el yazısı rakam içeren 211 sınav kağıdı üzerinde yapılan deneysel sonuçlar, hizasızlıktan kaynaklı olarak 2.462 (%72) düzeltme gerektiğini göstermektedir. Önerilen hizalama yöntemi ile bu sayı yalnızca 333’e (%9.7) düşürülerek, yöntemimizin şablon tabanlı el yazısı rakam tanımadaki etkinliği ortaya konmuştur.

Keywords

• Görüntü işleme
• Çarpıklık düzeltme
• Rakam bölütleme
• Rakam tanıma

References

1. Y. Lecun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition”, Proceedings of the IEEE, c. 86, sy 11, ss. 2278-2324, Kas. 1998, doi: 10.1109/5.726791.
2. R. C. Gonzalez and R. E. Woods, Digital Image Processing, 3. bs. Prentice Hall, 2008.
3. G. Kumar and P. K. Bhatia, “Analytical Review of Preprocessing Techniques for Offline Handwritten Character Recognition”, Proceedings of 2nd International Conference on Emerging Trends in Engineering and Management, ICETEM, 2013.
4. S. Inunganbi, “A systematic review on handwritten document analysis and recognition”, Multimed Tools Appl, c. 83, sy 2, ss. 5387-5413, Oca. 2024, doi: 10.1007/s11042-023-15326-9.
5. Changming Sun and Deyi Si, “Skew and slant correction for document images using gradient direction”, içinde Proceedings of the Fourth International Conference on Document Analysis and Recognition, Ulm, Germany: IEEE Comput. Soc, 1997, ss. 142-146. doi: 10.1109/ICDAR.1997.619830.
6. A. M. Al-Shatnaw and K. Omar, “Skew Detection and Correction Technique for Arabic Document Images Based on Centre of Gravity”, J. of Computer Science, c. 5, sy 5, Art. sy 5, May. 2009, doi: 10.3844/jcssp.2009.363.368.
7. H. Fan, L. Zhu, and Y. Tang, “Skew detection in document images based on rectangular active contour”, IJDAR, c. 13, sy 4, Art. sy 4, Ara. 2010, doi: 10.1007/s10032-010-0119-3.
8. I. V. Konya, S. Eickeler, and C. Seibert, “Fast Seamless Skew and Orientation Detection in Document Images”, içinde 2010 20th International Conference on Pattern Recognition, Ağu. 2010, ss. 1924-1928. doi: 10.1109/ICPR.2010.474.

9. M. Makridis, N. Nikolaou, and N. Papamarkos, “An adaptive technique for global and local skew correction in color documents”, Expert Systems with Applications, c. 37, sy 10, Art. sy 10, Eki. 2010, doi: 10.1016/j.eswa.2010.03.041.
10. G. Meng, C. Pan, N. Zheng, and C. Sun, “Skew Estimation of Document Images Using Bagging”, IEEE Transactions on Image Processing, c. 19, sy 7, Art. sy 7, Tem. 2010, doi: 10.1109/TIP.2010.2045677.
11. A. Papandreou and B. Gatos, “A Novel Skew Detection Technique Based on Vertical Projections”, içinde 2011 International Conference on Document Analysis and Recognition, Eyl. 2011, ss. 384-388. doi: 10.1109/ICDAR.2011.85.
12. D. Brodi, C. A. B. Mello, and Z. N. Milivojevi, “An Approach to Skew Detection of Printed Documents”, J.UCS, c. 20, sy 4, 2014.
13. A. Papandreou, B. Gatos, S. J. Perantonis, and I. Gerardis, “Efficient skew detection of printed document images based on novel combination of enhanced profiles”, IJDAR, c. 17, sy 4, Art. sy 4, Ara. 2014, doi: 10.1007/s10032-014-0228-5.
14. A. Boukharouba, “A new algorithm for skew correction and baseline detection based on the randomized Hough Transform”, Journal of King Saud University - Computer and Information Sciences, c. 29, sy 1, Art. sy 1, Oca. 2017, doi: 10.1016/j.jksuci.2016.02.002.
15. S. B. Rezaei, J. Shanbehzadeh, and A. Sarrafzadeh, “Adaptive Document Image Skew Estimation”, Proceedings of the International MultiConference of Engineers and Computer Scientists, IMECS, 2017.
16. G. Köksal, “A Fast and Accurate Skew Detection Algorithm”, MSc Thesis, UNIVERSITY OF GAZİANTEP, Gaziantep, Turkey, 2018.
17. E. M. de Elias, P. M. Tasinaffo, and R. Hirata, “Alignment, Scale and Skew Correction for Optical Mark Recognition Documents Based”, içinde 2019 XV Workshop de Visão Computacional (WVC), Eyl. 2019, ss. 26-31. doi: 10.1109/WVC.2019.8876933.
18. O. Boudraa, W. K. Hidouci, and D. Michelucci, “Using skeleton and Hough transform variant to correct skew in historical documents”, Mathematics and Computers in Simulation, c. 167, ss. 389-403, Oca. 2020, doi: 10.1016/j.matcom.2019.05.009.
19. M. Chettat, D. Gaceb, and S. Belhadi, “A Fast High Precision Skew Angle Estimation of Digitized Documents”, IAJIT, c. 17, sy 5, Art. sy 5, Eyl. 2020, doi: 10.34028/iajit/17/5/16.
20. R. Ahmad, S. Naz, and I. Razzak, “Efficient skew detection and correction in scanned document images through clustering of probabilistic hough transforms”, Pattern Recognition Letters, c. 152, ss. 93-99, Ara. 2021, doi: 10.1016/j.patrec.2021.09.014.
21. L. Pham, P. H. Hoang, X. T. Mai, and T. A. Tran, “Adaptive Radial Projection on Fourier Magnitude Spectrum for Document Image Skew Estimation”, içinde 2022 IEEE International Conference on Image Processing (ICIP), Eki. 2022, ss. 1061-1065. doi: 10.1109/ICIP46576.2022.9897910.
22. B. Rocha et al., “Skew Angle Detection and Correction in Text Images Using RGB Gradient”, içinde Image Analysis and Processing – ICIAP 2022, S. Sclaroff, C. Distante, M. Leo, G. M. Farinella, ve F. Tombari, Ed., Cham: Springer International Publishing, 2022, ss. 249-262. doi: 10.1007/978-3-031-06430-2_21.
23. A. Rehman and T. Saba, “Document Skew Estimation and Correction: Analysis of Techniques, Common Problems and Possible Solutions”, Applied Artificial Intelligence, c. 25, sy 9, Art. sy 9, Eki. 2011, doi: 10.1080/08839514.2011.607009.
24. S. B. Rezaei, A. Sarrafzadeh, and J. Shanbehzadeh, “Skew Detection of Scanned Document Images”, International MultiConference of Engineers and Computer Scientists, IMECS, Hong Kong, 2013.
25. B. Biswas, U. Bhattacharya, and B. B. Chaudhuri, “An Overview of Existing Literature on Document Skew Detection”, MJCS, c. 36, sy 4, Art. sy 4, Eki. 2023, doi: 10.22452/mjcs.vol36no4.1.
26. D. Sankoff and J.B. Kruskal “Time Warps, String Edits, and Macromolecules: The Theory and Practice of Sequence Comparison”. Addison-Wesley, 1983.
27. Yujian, Li, and Liu Bo. “A normalized Levenshtein distance metric.” IEEE transactions on pattern analysis and machine intelligence 29.6, 1091-1095, 2007.