Detection of Eye Pressure Disease Using ViT-Based Hybrid Learning Methods

Abstract

Glaucoma is a disease that occurs after a certain age due to damage to the optic nerves. Today, machine learning methods can be successfully applied to detect such diseases. Instead of using the image data directly, the classification process is carried to a new representation space, which positively affects the classification performance. In this study, principal component analysis (PCA), linear discriminant analysis (LDA) and vision transformation (ViT) methods are used for feature extraction. In addition, CLAHE filtering technique before ViT B16 was used in one of the proposed models. The classification process was performed with six different models using these methods alone or in combination, and the results are presented comparatively. Fine Tune ViT-PCA-SVM and Fine Tune ViT-LDA-SVM models achieved 92% classification success. As a result, the combination of ViT, which is a deep learning method, and PCA or LDA, which are machine learning methods, as feature extraction methods increased the classification success.

Keywords

• Glaucoma
• Classification
• Vision transformer
• Principal Component Analysis
• Linear discriminant analysis

ViT Tabanlı Hibrit Öğrenme Yöntemleri ile Göz Tansiyonu Hastalığının Tespiti

Abstract

Glokom, belirli bir yaştan sonra görme sinirleri üzerinde oluşan bir hasardan dolayı ortaya çıkan bir rahatsızlıktır. Bu tür hastalıkların tespitini yapmada günümüzde makine öğrenmesi yöntemleri başarıyla uygulanabilmektedir. Görüntü verilerinin doğrudan kullanımı yerine yeni bir temsili uzaya taşınarak sınıflandırma işleminin gerçekleştirilmesi sınıflandırma performansını olumlu etkilemektedir. Bu çalışmada öznitelik çıkartmada temel bileşen analizi (PCA), doğrusal ayırım analizi (LDA) ve görü dönüştürücü (ViT) yönteminden yararlanılmıştır. Ayrıca önerilen modellerden birinde ViT B16 öncesi CLAHE filtremele tekniği kullanılmıştır. Bu yöntemlerin tek başına veya bir araya getirildiği altı farklı model ile sınıflandırma işlemi gerçekleştirilmiş olup sonuçlar karşılaştırmalı olarak verilmiştir. Fine Tune ViT-PCA-SVM ve Fine Tune ViT-LDA-SVM modelleri %92 oranında sınıflandırma başarısı elde etmiştir. Sonuç olarak derin öğrenme yöntemi olan ViT ve makine öğrenmesi yöntemlerinden olan PCA veya LDA’nın öznitelik çıkartma olarak bir arada kullanıldığı yöntemler sınıflandırma başarısını arttırmıştır.

Keywords

• Glokom
• Sınıflandırma
• Görü dönüştürücü
• Temel bileşen analizi
• Doğrusal ayırma analizi

References

1. [1] E. ŞATIR, F. AZBOY, A. AYDIN, H. ARSLAN, and Ş. HACIEFENDİOĞLU, “Veri İndirgeme ve Sınıflandırma Teknikleri ile Glokom Hastalığı Teşhisi,” El-Cezeri Fen ve Mühendislik Dergisi, vol. 3, no. 3, pp. 485–497, Sep. 2016, doi: 10.31202/ecjse.258576.
2. [2] Y. Yılmaz, A. Koytak, K. Erol, Y. Çınar, and Y. Özertürk, “Primer Açık Açılı Glokomda Fundus Floresein Anjiyografi,” Kartal Eğitim ve Araştırma Hastanesi Tıp Dergisi, vol. 17, no. 1, pp. 1–5, 2006.
3. [3] S. S. Hayreh, “Evaluation of Optic Nerve Head Circulation: Review of the Methods Used,” J Glaucoma, vol. 6, no. 5, pp. 319–330, 1997.
4. [4] J. E. Grunwald, J. Piltz, S. M. Hariprasad, J. Dupont, and M. G. Maguire, “Optic nerve blood flow in glaucoma: effect of systemic hypertension,” Am J Ophthalmol, vol. 127, no. 5, pp. 516–522, May 1999, doi: 10.1016/S0002-9394(99)00028-8.
5. [5] J. E. Grunwald, J. Piltz, S. M. Hariprasad, and J. DuPont, “Optic nerve and choroidal circulation in glaucoma.,” Invest Ophthalmol Vis Sci, vol. 39, no. 12, pp. 2329–2336, Nov. 1998.
6. [6] L. A. Yannuzzi et al., “Ophthalmic fundus imaging: today and beyond,” Am J Ophthalmol, vol. 137, no. 3, pp. 511–524, Mar. 2004, doi: 10.1016/j.ajo.2003.12.035.
7. [7] Kaya, Y., Yiner, Z., Kaya, M., & Kuncan, F. (2022). A new approach to COVID-19 detection from X-ray images using angle transformation with GoogleNet and LSTM. Measurement Science and Technology, 33(12), 124011.
8. [8] Şenol, A., & Kaya, M. (2024). An Investigation on the Use of Clustering Algorithms for Data Preprocessing in Breast Cancer Diagnosis. Türk Doğa ve Fen Dergisi, 13(1), 70-77.

9. [9] Z. Wang and M. Lemmon, “Stability analysis of weak rural electrification microgrids with droop-controlled rotational and electronic distributed generators,” in 2015 IEEE Power & Energy Society General Meeting, IEEE, Jul. 2015, pp. 1–5. doi: 10.1109/PESGM.2015.7286507.
10. [10] T. M. Lehmann, C. Gonner, and K. Spitzer, “Survey: interpolation methods in medical image processing,” IEEE Trans Med Imaging, vol. 18, no. 11, pp. 1049–1075, 1999, doi: 10.1109/42.816070.
11. [11] G. J. Grevera and J. K. Udupa, “An objective comparison of 3-D image interpolation methods,” IEEE Trans Med Imaging, vol. 17, no. 4, pp. 642–652, 1998, doi: 10.1109/42.730408.
12. [12] Şenol, A., Canbay, Y., & Kaya, M. (2021). Makine Öğrenmesi Yaklaşımlarını Kullanarak Salgınları Erken Evrede Tespit Etme Alanındaki Eğilimler. Bilişim Teknolojileri Dergisi, 14(4), 355-366.
13. [13] Utku, A., & Akcayol, M. A. (2024). Spread patterns of COVID-19 in European countries: hybrid deep learning model for prediction and transmission analysis. Neural Computing and Applications, 1-17.
14. [14] Ö. YILDIRIM and F. ALTUNBEY ÖZBAY, “Fundus Görüntülerinden Derin Öğrenme Teknikleri ile Glokom Hastalığının Tespiti,” European Journal of Science and Technology, vol. 44, pp. 1–6, Dec. 2022, doi: 10.31590/ejosat.1216404.
15. [15] M. UÇAR, “Glokom Hastalığının Evrişimli Sinir Ağı Mimarileri ile Tespiti,” Deu Muhendislik Fakultesi Fen ve Muhendislik, vol. 23, no. 68, pp. 521–529, May 2021, doi: 10.21205/deufmd.2021236815.
16. [16] A. Dey and S. Bandyopadhyay, “Automated Glaucoma Detection Using Support Vector Machine Classification Method,” Br J Med Med Res, vol. 11, no. 12, pp. 1–12, Jan. 2016, doi: 10.9734/BJMMR/2016/19617.
17. [17] A. Karrothu and A. Chunduru, “Glaucoma Detection Using Computer Vision and Vision Transformers,” International Journal of Computing and Digital Systems, vol. 14, no. 1, pp. 1–13, 2023.
18. [18] C.-W. Wu, H.-Y. Chen, J.-Y. Chen, and C.-H. Lee, “Glaucoma Detection Using Support Vector Machine Method Based on Spectralis OCT,” Diagnostics, vol. 12, no. 2, pp. 391–406, Feb. 2022, doi: 10.3390/diagnostics12020391.
19. [19] S. Phasuk et al., “Automated Glaucoma Screening from Retinal Fundus Image Using Deep Learning,” in 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), IEEE, Jul. 2019, pp. 904–907. doi: 10.1109/EMBC.2019.8857136.
20. [20] Z. Li, Y. He, S. Keel, W. Meng, R. T. Chang, and M. He, “Efficacy of a Deep Learning System for Detecting Glaucomatous Optic Neuropathy Based on Color Fundus Photographs,” Ophthalmology, vol. 125, no. 8, pp. 1199–1206, Aug. 2018, doi: 10.1016/j.ophtha.2018.01.023.
21. [21] H. Fu, J. Cheng, Y. Xu, D. W. K. Wong, J. Liu, and X. Cao, “Joint Optic Disc and Cup Segmentation Based on Multi-Label Deep Network and Polar Transformation,” IEEE Trans Med Imaging, vol. 37, no. 7, pp. 1597–1605, Jul. 2018, doi: 10.1109/TMI.2018.2791488.
22. [22] H. Fu et al., “Disc-Aware Ensemble Network for Glaucoma Screening From Fundus Image,” IEEE Trans Med Imaging, vol. 37, no. 11, pp. 2493–2501, Nov. 2018, doi: 10.1109/TMI.2018.2837012.
23. [23] A. Dosovitskiy et al., “An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,” arXiv preprint arXiv, vol. 11929, Oct. 2020.
24. [24] M. Turk and A. Pentland, “Eigenfaces for Recognition,” J Cogn Neurosci, vol. 3, no. 1, pp. 71–86, Jan. 1991, doi: 10.1162/jocn.1991.3.1.71.
25. [25] K. Etemad and R. Chellappa, “Discriminant analysis for recognition of human face images,” Journal of the Optical Society of America A, vol. 14, no. 8, p. 1724, Aug. 1997, doi: 10.1364/JOSAA.14.001724.