Classification of Brain MRI Images with Vision Transformer: Improving Performance with New Layers and Parameter Optimization

Öz

Recent advances in deep learning have revolutionized fields such as robotics, healthcare, and natural language processing. The Vision Transformer (ViT), which operates on self-attention block, has emerged as an alternative to Convolutional Neural Networks. In this study, an improved ViT architecture is proposed for the categorization of brain MRI images as tumorous and non-tumorous. While the standard ViT backbone is utilized for feature encoding, the conventional classification head has been replaced with a multi-stage architecture comprising sequential fully connected layers with 20, 4, and 2 neurons, integrated with Sigmoid and Linear activation functions. This architectural modification, which has been constructed via Greedy Search approach, aims to refine the feature mapping process and enhance the model's sensitivity towards pathological patterns in medical images. To evaluate the performance, a brain MRI dataset has been split into validation, test and training sets, and data augmentation was performed to prevent overfitting. Standard ViT, Swin Transformer, EfficientNet, ResNet and the proposed ViT models have been trained using an ablation technique to optimize network parameters. For the performance analysis, the models have been evaluated using the metrics such as Accuracy, F1-Score, Precision, Recall, AUC values and ROC curves. The results of this work indicate that the proposed ViT’s head structure improves classification success compared to the standard ViT architecture and the other models. Consequently, by redesigning the classification head and optimizing the network, a 13% improvement has been achieved, reaching macro F1-Score of 95.3% for brain image dataset 1 and macro F1-Score of 99.3% for brain image dataset 2.

Anahtar Kelimeler

• Vision transformer
• deep learning
• parameter optimization
• brain MR images
• classificiation
• tumor detection

Beyin MR Görüntülerinin Görüş Transformatörü ile Sınıflandırılması: Yeni Katmanlar ve Parametre Optimizasyonu ile Başarımın Artırılması

Öz

Derin öğrenmedeki son gelişmeler; robotik, sağlık hizmetleri ve doğal dil işleme gibi alanlarda devrim yaratmıştır. Öz-dikkat (self-attention) mekanizmaları üzerinde çalışan Görüş Transformatörü (ViT), Evrişimli Sinir Ağlarına (CNN) güçlü bir alternatif olarak ortaya çıkmıştır. Bu çalışmada, beyin MR görüntülerinin tümörlü ve tümörsüz olarak ikili sınıflandırılması için iyileştirilmiş bir ViT mimarisi önerilmiştir. Özellik kodlama için standart ViT omurgası kullanılırken, geleneksel sınıflandırma başlığı; Sigmoid ve Lineer aktivasyon fonksiyonları ile entegre edilmiş 20, 4 ve 2 nörondan oluşan ardışık tam bağlı katmanlara sahip çok aşamalı bir mimari ile değiştirilmiştir. Açgözlü (Greedy) Arama yaklaşımıyla yapılandırılan bu mimari değişiklik, özellik haritalama sürecini iyileştirmeyi ve modelin tıbbi görüntülerdeki patolojik örüntülere karşı hassasiyetini artırmayı amaçlamaktadır. Performansın değerlendirilmesi amacıyla, beyin MR veri setleri; eğitim, test ve doğrulama kümelerine ayrılmış ve aşırı öğrenmenin önlenmesi için veri artırma işlemi uygulanmıştır. Standart ViT, Swin Transformer, EfficientNet, ResNet ve önerilen ViT modelleri, ağ parametrelerini optimize etmek için ablasyon tekniği kullanılarak eğitilmiştir. Performans analizi kapsamında modeller; Doğruluk, F1-Skoru, Kesinlik, Duyarlılık, ROC eğrisi ve AUC değerleri kriterlerine göre değerlendirilmiştir. Bu çalışmanın sonuçları, önerilen ViT modelinin sınıflandırma yapısının, standart ViT mimarisine ve karşılaştırılan diğer modellere kıyasla sınıflandırma başarısını artırdığını göstermektedir. Bu doğrultuda, sınıflandırma başlığının yeniden tasarlanması ve ağın optimize edilmesiyle %13'lük bir iyileşme sağlanmış; birinci beyin görüntüsü veri seti için %95,3, ikinci beyin görüntüsü veri seti için ise %99,3 makro F1-Skoru değerlerine ulaşılmıştır.

Anahtar Kelimeler

• Görüş transformatörleri
• derin öğrenme
• parametre optimizasyonu
• beyin MR görüntüleri
• sınıflandırma
• tümör tespiti

Kaynakça

1. Altun, S., Alkan, A., 2023. LSTM-based deep learning application in brain tumor detection using MR spectroscopy. Journal of the Faculty of Engineering and Architecture of Gazi University, 38(2), 1193–1202. https://doi.org/10.17341/gazimmfd.1069632
2. Aslan, E., 2024. LSTM-ESA Hibrit Modeli ile MR Görüntülerinden Beyin Tümörünün Sınıflandırılması. Adıyaman Üniversitesi Mühendislik Bilimleri Dergisi, 22(2024), 63–81. https://doi.org/10.54365/adyumbd.1391157
3. Aslan, M., 2022. Deep Learning-Based Automatic Detection. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 34(1), 399–407. https://doi.org/10.35234/fumbd.1039825
4. Aydın, E., Demir, F., Şengür, A., 2024. MR görüntülerinden beyin tümörünün A-ESA tabanlı bir yaklaşımla otomatik sınıflandırılması. International Journal of Pure and Applied Sciences, 10(2), 325–341. https://doi.org/10.29132/ijpas.1398148
5. Cao, H., Wang, Y., Chen, J., Jiang, D., Zhang, X., Tian, Q., Wang, M., 2022. Swin-Unet: Unet-like pure transformer for medical image segmentation. European Conference on Computer Vision (ECCV) Workshops, pp. 205–218.
6. Carion, N., Massa, F., Synnaeve, G., Usunier, N., Kirillov, A., Zagoruyko, S., 2020. End-to-end object detection with transformers. European Conference on Computer Vision (ECCV), pp. 213–231.
7. Chen, C.-F., Chen, Y., Hebert, M., Wang, H., 2021a. Cross attention in vision transformer. arXiv preprint, arXiv:2106.05786.
8. Chen, C. F., Fan, Q., Panda, R., 2021b. CrossViT: Cross-Attention Multi-Scale Vision Transformer for Image Classification. IEEE/CVF, International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 2021, pp. 347–356.

9. Çakı, E. E., Aslan, T., 2023. Comparison of CNN-FL model performance based on activation functions in brain tumor diagnosis. Journal of Scientific Reports-B, 8, 43–55.
10. Dal, A., Eliaçık, B., Işık, A. H., 2023. Classification of brain tumor MRI images using convolutional neural networks. Uluborlu Mesleki Bilimler Dergisi, 6(1), 71–91.
11. Dandıl, E., Karaca, S., 2020. MR Spektroskopi Sinyalleri Kullanılarak LSTM Derin Sinir Ağları ile Beyinde Sahte Tümörlerin Tespiti. Avrupa Bilim ve Teknoloji Dergisi, (Special Issue), 426–433. https://doi.org/10.31590/ejosat.780675
12. Darendeli, B. N., Yılmaz, A., 2021. Convolutional Neural Network Approach to Predict Tumor Samples Using Gene Expression Data. Journal of Intelligent Systems: Theory and Applications, 4(2), 136–141. https://doi.org/10.38016/jista.946954
13. D’Ascoli, S., Touvron, H., Leavitt, M. L., Morcos, A. S., Biroli, G., Sagun, L., 2021. ConViT: Improving vision transformers with soft convolutional inductive biases. Proceedings of the 38th International Conference on Machine Learning, pp. 2286–2296.
14. Demir, K., Arı, B., Demir, F., 2023. Detection of brain tumor with a pre-trained deep learning model based on feature selection using MR images. Firat University Journal of Experimental and Computational Engineering, 2(1), 23–31. https://doi.org/10.5505/fujece.2023.36844
15. Demiroğlu, U., 2024. Tumor Detection by Classification of Brain MRI Images Using the Vision Transformers. Adıyaman University Journal of Science, 14(2), 140–156.
16. Dosovitskiy, A., Beyer, L., Kolesnikov, A., Weissenborn, D., Zhai, X., Unterthiner, T., Houlsby, N., 2020. An image is worth 16x16 words: Transformers for image recognition at scale. arXiv preprint, arXiv:2010.11929.
17. Duru, N., Eker, A. G., 2021. Deep learning applications in medical image processing. Acta Infologica, 5(2), 459–474. https://doi.org/10.26650/acin.927561
18. Eker, A. G., Korkmaz Erdem, G., Duru, N., 2023. Categorical and binary brain tumor classification using transfer learning techniques. Journal of Engineering Faculty, 1(1), 11–16.
19. Erçelik, Ç., Hanbay, K., 2023. Gauss filtreleme ve ResNET50 modeli kullanılarak beyin tümörlerinin sınıflandırılması. Journal of Computer Science, IDAP-2023, 109–115. https://doi.org/10.53070/bbd.1345848
20. Eryılmaz, F. D., Çetin, M., 2024. Evrişimli Sinir Ağları Kullanarak Beyin Tümörü Sınıflandırması. Ankara Science University, Researcher, 4(2), 176–183.
21. Han, K., Wang, Y., Tian, Q., Guo, J., Xu, C., Xu, C., 2021. Transformer in transformer. Advances in Neural Information Processing Systems, 34, pp. 15908-15919.
22. Hassani, A., Walton, S., Shah, N., Abuduweili, A., Li, J., Shi, H., 2021. Escaping the Big Data Paradigm with Compact Transformers. arXiv preprint, arXiv:2104.05704.
23. He, K., Zhang, X., Ren, S., Sun, J., 2016a. Deep residual learning for image recognition. Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), pp. 770–778.
24. He, K., Zhang, X., Ren, S., Sun, J., 2016b. Identity mappings in deep residual networks. European conference on computer vision (ECCV), pp. 630–645.
25. Gençtürk, T. H., Kaya Gülağız, F., Kaya, İ., 2023. Derin Öğrenme Yöntemleri Kullanılarak BT Taramalarında Beyin Kanaması Teşhisinin Karşılaştırmalı Bir Analizi. Journal of Intelligent Systems: Theory and Applications, 6(1), 75–84. https://doi.org/10.38016/jista.1215025
26. Graham, B., El-Nouby, A., Touvron, H., Stock, P., Joulin, A., Jegou, H., Douze, M., 2023. LeViT: A vision transformer in ConvNet’s clothing for faster inference. 2021 IEEE/CVF, International Conference on Computer Vision (ICCV), Montreal, QC, Canada, 2021, pp. 12239–12249. doi: https://doi.org/10.1109/ICCV48922.2021.01204
27. Kaya, Z., Aslan, Z., Güneş, A., Okatan, A., 2024. Classification of Brain Tumors Using Wavelet Transform and Inception V3 Convolutional Neural Network Model. Gazi Üniversitesi Mühendislik Bilimleri Dergisi, 39(3), 1945–1952. https://doi.org/10.17341/gazimmfd.1221952
28. Kırlı, O. A., Sansarcı, M., Özkaraca, O., Çetin, G., 2023. Manyetik rezonans görüntülerinden beyin tümörü tespitinde sınıflandırma algoritmalarının karşılaştırmalı analizi. Türk Mühendislik Araştırma ve Eğitimi Dergisi, 2(2), 113–122.
29. Kutan, F., Aynur, Ö., 2020. Evaluation of performance of noise filtering applications on medical images, Avrupa Bilim ve Teknoloji Dergisi. (Special Issue), 265–271. https://doi.org/10.31590/ejosat.779957
30. Li, Y., Zhang, K., Cao, J., Timofte, R., Magno, M., Benini, L., Van Gool, L., 2023. LocalViT: Analyzing Locality in Vision Transformers. IEEE/RSJ, International Conference on Intelligent Robots and Systems (IROS), Detroit, MI, USA, pp. 9598–9605. https://doi.org/10.1109/IROS55552.2023.10342025
31. Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., Sun, M., 2021. Swin transformer: Hierarchical vision transformer using shifted windows. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 1002–1012.
32. Liu, Z., Hu, H., Lin, Y., Yao, Z., Xie, Z., Wei, Y., Ning, J., Cao, Y., Zhang, Z., Dong, L., Wei, F., Guo, B., 2022. Swin transformer V2: Scaling up capacity and resolution. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 12009–12019.
33. Mathworks, 2025. Train Vision Transformer Network for Image Classification. Matlab Help Center. https://www.mathworks.com/help/vision/ug/transfer-learning-using-pretrained-vit-network.html (Accessed: 20.08.2025).
34. Nickparvar, M. 2021. Brain Tumor MRI Dataset. Kaggle. https://www.kaggle.com/dsv/2645886 (Accessed: 16.05.2025). https://doi.org/10.34740/KAGGLE/DSV/2645886
35. Orman, A., Köse, U., Yiğit, T., 2021. Brain tumor detection using explainable convolutional neural networks. El-Cezeri Journal of Science and Engineering, 8(3), 1323–1337. https://doi.org/10.31202/ecjse.924446
36. Pivoshenko, V. 2023. Brain MRI Scan Images. Kaggle. https://www.kaggle.com/datasets/volodymyrpivoshenko/brain-mri-scan-images-tumor-detection (Accessed: 11.05.2025).
37. Özer, M. S., 2024. Detection of Brain Tumor Using Boosting Algorithms Based on Feature Selection. Ankara Science University, Researcher, 4(2), 130–140.
38. Sevli, O., 2021. Performance comparison of different pre-trained deep learning models in classifying brain MRI images. Acta Infologica, 5(1), 141–154. https://doi.org/10.26650/acin.880918
39. Tan, M., Le, Q. V., 2019. EfficientNet: Rethinking model scaling for convolutional neural networks. International Conference on Machine Learning, pp. 6105–6114.
40. Tan, M., Le, Q. V., 2021. EfficientNetV2: Smaller models and faster training. International Conference on Machine Learning, pp. 10096–10106.
41. Taş, M. O., Ergin, S., 2020. Detection of the brain tumor existance using a traditional deep learning technique and determination of exact tumor locations using k-means segmentation from MR images. İleri Mühendislik Çalışmaları ve Teknolojileri Dergisi, 1(2), 91–97.
42. Taşçı, B., 2022. Classification of brain tumors from MRI images using mRMR-based feature selection. Journal of Scientific Reports-B, 6, 1–9.
43. Toptaş, A., Bozkurt, H., Ekinci, E., Güzey Aras, Y., 2025. Ensemble Deep Learning with Majority Voting for Parkinson’s Diagnosis via Facial Images. Journal of Intelligent Systems: Theory and Applications, 8(2), 95–104. https://doi.org/10.38016/jista.1640375
44. Touvron, H., Cord, M., Douze, M., Massa, F., Sablayrolles, A., Jégou, H., 2021. Training data-efficient image transformers & distillation through attention. Proceedings of the 38th International Conference on Machine Learning, PMLR 139, pp. 10347–10357.
45. Türkoğlu, M., 2021. Brain tumor detection using a combination of Bayesian optimization based SVM classifier and fine-tuned based deep features. Avrupa Bilim ve Teknoloji Dergisi, 27, 251–258. https://doi.org/10.31590/ejosat.963609
46. Uysal, F., Erkan, M., 2023. Classification of brain tumor magnetic resonance images using convolutional neural network-based deep learning models. EMO Bilimsel Dergi,13(2), 19–27.
47. Wang, W., Xie, E., Li, X., Fan, D., Song, K., Liang, D., Lu, J., 2021. Pyramid vision transformer: A versatile backbone for dense prediction without convolutions. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 568–578.
48. Xie, Q., Luong, M. T., Hovy, E., Le, Q. V., 2020. Self-training with noisy student improves ImageNet classification. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), pp. 10687–10698.
49. Xie, S., Girshick, R., Dollár, P., Tu, Z., He, K., 2017. Aggregated residual transformations for deep neural networks. Proceedings of the IEEE conference on computer vision and pattern recognition (CVPR), pp. 1492–1500.
50. Yenikaya, M. A., Oktaysoy, O., 2023. Yapay zeka uygulamalarının sağlık sektöründe kullanımı: Derin öğrenme yöntemiyle ön tanı. Sakarya Üniversitesi İşletme Enstitüsü Dergisi, 5(2), 127–131. https://doi.org/10.47542/sauied.1394746
51. Yuan, L., Huang, Z., Wang, J., Liu, Z., Chen, X., Mu, T., 2021. Tokens-to-token ViT: Training vision transformers from scratch on imagenet. Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV), pp. 558–567.
52. Yurttakal, A. H., Erbay, H., Arslan, R. S., 2020. Grading brain histopathological images using deep residual networks and support vector machine. Electronic Letters on Science & Engineering, 16(2), 77–83.
53. Zhou, D., Kang, B., Jin, X., Yang, L., Lian, X., Hou, Q., Feng, J., 2021. DeepViT: Towards deeper vision transformer. arXiv preprint, arXiv:2103.11886.
54. Zhu, X., Su, W., Lu, L., Li, B., Raposo, F., Yang, D., Dai, J., 2021. Deformable DETR: Deformable transformers for end-to-end object detection. ICLR.