Correction of geometric distortion for mosaicing and applied in eye data

Abstract

Image processing is used in many sectors in parallel with the developing software and hardware technology. Differences are observed in the image techniques used according to the needs of the sectors. In this context, very precise measurements and powerful algorithms are required to be used in the field of health. In this article, an image mosaic was made on retinal images using datasets such as D-EYE and FIRE. Feature detection, feature matching, image matching, image wrapping and image mosaicing processes are applied on the images. Harris corner detector was used to find the corners in the image. The positions of the points in the 2 corresponding images were found with the corner detector. Scale-Invariant Feature Transform (SIFT) was used as the feature recognition algorithm between the coordinates. Feature and image matching processes were performed between the determined features. Weak spots are eliminated with the help of Random Sample Consensus (RANSAC). The homography is defined for the projective transformation with the remaining points. In the last step, a geometric transformation was made with the homography matrix. The image mosaic application in our study; It can be applied to a wide area, especially retinal images, unmanned aerial vehicle images, bacteria or tomography images. It has been tested with different data sets and a successful result has been obtained.

Keywords

• Image mosaicing
• Image wrapping
• Harris corner detection
• SIFT
• Perpective projection

Mozaiklemede geometrik bozulma düzeltme ve göz verilerinde uygulanması

Abstract

Görüntü işleme, gelişen yazılım ve donanım teknolojisine paralel olarak birçok sektörde kullanılmaktadır. Sektörlerin ihtiyaçlarına göre kullanılan görüntü tekniklerinde farklılık gözlemlenmektedir. Bu bağlamda sağlık alanında kullanılması çok hassas ölçümler ile güçlü algoritmalar gerekmektedir. Bu makalede, D-EYE ve FIRE gibi veri kümelerini kullanarak retina görüntüleri üzerinde görüntü mozaiği yapılmıştır. Görüntüler üzerinde özellik algılama, özellik eşleştirme, görüntü eşleştirme, görüntü sarmalama ve görüntü mozaikleme işlemleri uygulanmıştır. Görüntüdeki köşeleri bulmak için Harris köşe dedektörü kullanılmıştır. Köşe dedektörü ile karşılık gelen 2 görüntüdeki noktaların konumları bulunmuştur. Koordinatlar arasında öznitelik tanıma algoritması olarak Ölçek Değişmez Unsur Dönüşümü (SIFT) kullanılmıştır. Belirlenen öznitelikler arasında öznitelik ve görüntü eşleştirme işlemleri yapılmıştır. Rastgele Örnek Konsensüsü (RANSAC) yardımıyla zayıf noktalar ortadan kaldırılmıştır. Homografi, kalan noktalarla projektif dönüşüm için tanımlanmıştır. Son aşamada homografi matrisi ile geometrik bir dönüşüm yapılmıştır. Çalışmamızdaki görüntü mozaikleme uygulaması; retina görüntüleri, insansız hava aracı görüntüleri, bakteri veya tomografi görüntüleri başta olmak üzere geniş bir alana uygulanabilmektedir. Farklı veri setleri ile test edilmiş başarılı bir sonuç elde edilmiştir.

Keywords

• Görüntü mozaikleme
• Görüntü Sarmalama
• Harris köşe algılama
• SIFT
• Perspektif projeksiyonu

References

1. [1] Pavić D, Schönefeld V, Kobbelt L. Interactive Image Completion with Perspective Correction. The Visual Computer, 22 (9-11), 671-681, 2006.
2. [2] Gerum R. C, Richter S, Winterl A, Mark C, Fabry B, Le Bohec, C, Zitterbart DP. CameraTransform: A Python Package for Perspective Corrections and İmage Mapping. SoftwareX, 10, 100333, 2019.
3. [3] Li X, Zhang B, Sander PV, Liao J. Blind Geometric Distortion Correction on Images Through Deep Learning. IEEE Conference on Computer Vision and Pattern Recognition, Kaliforniya, 16-20 June 2019.
4. [4] Güvenoğlu E. Perspektiften Kaynaklanan Bozulmaların Geometrik Olarak Düzeltilmesi İçin Bir Yöntem. Erzincan Üniversitesi Fen Bilimleri Enstitüsü Dergisi, 11(2), 263-276, 2018.
5. [5] Clark P, Mirmehdi M. Estimating the Orientation and Recovery of Text Planes in a Single Image. In BMVC, Manchester, 10-13 September, 2001.
6. [6] Li X, Liu W, Fan W, Sun J, Satoshi N. (2016, November). Perspective correction using camera intrinsic parameters. In 2016 IEEE 13th International Conference on Signal Processing (ICSP), Chengdu, 6-10 November, 2016.
7. [7] Mohan, S, Avinash N, Murali S. Rectification of Perspective distortion using camera parameters -A Perspective Geometry Based Approach. ICGST International Journal on Graphics,Vision and Image Processing, 8(1), 1-7, 2013.
8. [8] Spitschan B, Ostermann J. Estimation of radial distortion using local spectra of planar textures. In 2017 Fifteenth IAPR International Conference on Machine Vision Applications (MVA), Nagoya, 8-12 May, 2017.

9. [9] Tahtırvancı A. İnsansız hava araçları ile iç ve dış ortam görüntülerinin mozaiklenmesi, Yüksek Lisans, Konya Teknik Üniversitesi, Konya, Türkiye, 2019.
10. [10] Müezzinoğlu T, Çolak F, Karaköse M. Görüntü Mozaikleme Algoritması İçin Deneysel Bir Çalışma. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 26(1), 17-25, 2014.
11. [11] Karaköse M, Yetiş H, Müezzinoğlu T. Optimizasyon Tabanlı Adaptif Görüntü Mozaikleme Algoritması. Bilişim Teknolojileri Dergisi, 10(4), 389-400, 2017.
12. [12] Yang H, Fu Y, Chen D, Peng Y. (2022, January). A Fast and Effective Panorama Stitching Algorithm on UAV Aerial Images. In 2022 14th International Conference on Computer Research and Development (ICCRD), Shenzhen, 7-9 January, 2022.
13. [13] Hossein-Nejad Z, Nasri M. Clustered redundant keypoint elimination method for image mosaicing using a new Gaussian-weighted blending algorithm. The Visual Computer, 38(6), 1991-2007, 2022.
14. [14] Nie L, Lin C, Liao K, Liu S, Zhao Y. (2022, June). Deep Rectangling for Image Stitching: A Learning Baseline. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, 18-24 June, 2022.
15. [15] Chen J, Li Z, Peng C, Wang Y, Gong W. UAV Image Stitching Based on Optimal Seam and Half-Projective Warp. Remote Sensing, 14(5), 1068, 2022.
16. [16] D-EYE Care,https://www.d-eyecare.com, (Erişim Tarihi: 18.11.2022).
17. [17] Hernandez-Matas C, Zabulis X, Triantafyllou A, Anyfanti P, Douma S, Argyros A.A. Journal for Modeling in Ophthalmology, 1(4), 16-28, 2017.
18. [18] Salvi M, Acharya UR, Molinari F, Meiburger KM. The impact of pre-and post-image processing techniques on deep learning frameworks: A comprehensive review for digital pathology image analysis. Computers in Biology and Medicine, 128, 104129, 2021.
19. [19] Chen H, Wang Y, Guo T, Xu C, Deng Y, Liu Z, Ma S, Xu C, Gao W. Pre-trained image processing transformer. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, 20-25 June, 2021.
20. [20] Høye TT, Ärje J, Bjerge K, Hansen OL, Iosifidis A, Leese F, Mann HMR, Meissner K, Melvad C, Raitoharju, J. Deep learning and computer vision will transform entomology. Proceedings of the National Academy of Sciences, 118(2), 2021.
21. [21] Çelik G. Yüksek Çözünürlüklü Görüntülerde Mozaikleme, Lisans Tezi, Kocaeli Üniversitesi, Kocaeli, Türkiye, 2015.
22. [22] Derpanis KG. The harris corner detector. York University, 2004.
23. [23] Sikka P, Asati AR, Shekhar C. Real time FPGA implementation of a high speed and area optimized Harris corner detection algorithm. Microprocessors and Microsystems, 80, 103514, 2021.
24. [24] Tareen SAK, Saleem Z. A comparative analysis of sift, surf, kaze, akaze, orb, and brisk. In 2018 International conference on computing, mathematics and engineering technologies (iCoMET), Sukkur, 3-4 March, 2018.
25. [25] Bellavia F. SIFT matching by context exposed. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022.
26. [26] Muja M, Lowe D. Flann-fast library for approximate nearest neighbors user manual. Computer Science Department, University of British Columbia, Vancouver, BC, Canada, 5, 2009.
27. [27] Ballard DH. Generalizing the Hough transform to detect arbitrary shapes. Pattern recognition, 13(2), 111-122, 1981.
28. [28] Cantzler H. Random sample consensus (ransac). Institute for Perception, Action and Behaviour, Division of Informatics, University of Edinburgh, 1981.
29. [29] Derpanis KG. Overview of the RANSAC Algorithm. Image Rochester NY, 4(1), 2-3, 2010.
30. [30] El-Saban M, Izz M, Kaheel A, Refaat M. Improved Optimal Seam Selection Blending for Fast Video Stitching of Videos Captured from Freely Moving Devices, Image Processing (ICIP), 2011 18th IEEE International Conference, Brussels, 11-14 September. 2011.
31. [31] Michahial US, Latha M, Akshatha S, Juslin F, Manasa B, Shivani U. Automatic Image Mosaicing Using Sift, Ransac and Homography, International Journal of Engineering and Innovative Technology (IJETT), 3(10), 247-251, 2014.
32. [32] Capel D. Image mosaicing. In Image Mosaicing and super-resolution, Springer, London, 47-79, 2004.
33. [33] Ghosh D, Kaabouch N. A survey on image mosaicing techniques. Journal of Visual Communication and Image Representation, 34, 1-11, 2016.