Prediction of Microstructure and Inclusion Identification in AISI 4340 Steel Using a U-Net Deep Learning Model

Öz

The properties of materials can be definitively determined by examining their microstructure or characterisation. Microstructural imaging provides essential insights for both the characterization of novel materials and the optimization of manufacturing processes for existing materials. The analysis of these images is economically prohibitive and demands a high level of material-specific expertise. Despite expert analysis, the interpretation of microstructural images is susceptible to subjective bias, leading to erroneous conclusions. The precise, timely, and optimal assessment of microstructural images is of paramount importance in this field. Through the implementation of sophisticated artificial intelligence algorithms, the evaluation of microstructural images can be expedited, thereby reducing the likelihood of errors. Deep learning constitutes a sophisticated artificial intelligence algorithm. Deep learning models have exhibited a high degree of accuracy in image processing applications. The purpose of this research is to examine different microstructures of AISI 4340 steel by employing artificial intelligence algorithms. In order to produce bainitic, martensitic and pearlitic microstructures in AISI 4340 steel, austempering, quenching and normalization heat treatments were applied, respectively. Optical microscopy was employed to image diverse microstructures and inclusions resulting from different heat treatment processes, and the obtained images were compiled into a dataset. The VGG16 model was employed for microstructure classification, and the U-Net model was utilized for inclusion identification. The performance metrics of these models are as follows: The VGG16 model exhibited an accuracy of 93.33% in microstructure classification tasks. The U-Net model achieved an accuracy of 98.50% and a dice score of 73.59% for inclusion segmentation.

Anahtar Kelimeler

• Deep Learning
• Microstructure
• Metalography
• Phase Transformation
• Heat Treatment

U-Net Modeli Kullanılarak Derin Öğrenme ile AISI 4340 Çeliğinde Mikroyapı Tahminlerinin ve İnklüzyonların Belirlenmesi

Öz

Malzeme özellikleri veya malzemelerin mikro yapıları incelenerek ve karakterize edilerek kesin bir şekilde belirlenebilir. Yeni bir malzemenin karakterizasyonu veya var olan bir malzemenin üretimi esnasında mikro yapı görüntüleri yol göstericidir. Bu görüntülerin incelenmesi maliyetlidir ve incelenecek malzeme konusunda uzman olmayı gerektirir. Uzman kişilerce incelenmelerine rağmen mikro yapı görüntülerinin analizlerinde öznel yargılar nedeniyle kusurlu sonuçlara varılabilmektedir. Mikro yapı fotoğraflarının doğru, hızlı ve optimum koşullarda değerlendirilmesi bu bağlamda önem arz eder. Gelişen yapay zeka teknolojisi ile mikro yapı görüntülerinin incelenmesi, zaman tasarrufu sağlar ve hataları minimuma indirmeyi hedefler. Derin öğrenme gelişmiş bir yapay zeka algoritmasıdır. Derin öğrenme modelleri, görüntü işleme problemlerinde yüksek doğrulukta sonuçlar vermektedir. Bu çalışmanın amacı AISI 4340 çeliğinde çeşitli mikro yapı görüntülerinin yapay zeka algoritmalarıyla incelenmesidir. AISI 4340 çeliğinde beynitik, martenzitik ve perlitik mikro yapıları üretmek amacıyla sırasıyla östemperleme, su verme ve normalizasyon ısıl işlemleri uygulanmıştır. Isıl işlemler sonucu elde edilen farklı mikro yapılar ve inklüzyonlar optik mikroskopta görüntülenmiş ve veri seti oluşturulmuştur. Mikro yapı sınıflandırma görevi için VGG16 ve inklüzyon tanımlama görevi için ise U-Net modeli eğitilmiştir. Bu modellerden elde edilen sonuçlar ise şu şekildedir; VGG16 modeli %93,33 Doğruluk değeri ile mikro yapı tahmini yapmaktadır. U-Net modeli %98,50 Doğruluk ve %73,59 Dice skoru değerleri ile inklüzyon saptaması yapmaktadır.

Anahtar Kelimeler

• Derin Öğrenme
• Mikro Yapı
• Metalografi
• Faz Dönüşümü
• Isıl İşlem

Kaynakça

1. [1] Mishra, Surya Prakash, and M. R. Rahul. “A comparative study and development of a novel deep learning architecture for accelerated identification of microstructure in materials science.” Computational Materials Science 200: 110815, (2021).
2. [2] Han, Bing, et al. "A deep learning-based method for segmentation and quantitative characterization of microstructures in weathering steel from sequential scanning electron microscope images." Journal of Iron and Steel Research International 29.5: 836-845, (2022).
3. [3] Agrawal, Ankit, and Alok Choudhary. "Deep materials informatics: Applications of deep learning in materials science." Mrs Communications 9.3: 779-792, (2019).
4. [4] Ge, Mengshu, et al. “Deep learning analysis on microscopic imaging in materials science.” Materials Today Nano 11: 100087, (2020).
5. [5] Min, Seonwoo, Byunghan Lee, and Sungroh Yoon. “Deep learning in bioinformatics.” Briefings in bioinformatics 18.5: 851-869, (2017).
6. [6] Alzubaidi, L., Zhang, J., Humaidi, A.J. et al. “Review of deep learning: concepts, CNN architectures, challenges, applications, future directions.” J Big Data 8: 53, (2021).
7. [7] Larmuseau, Michiel, et al. "Race against the Machine: can deep learning recognize microstructures as well as the trained human eye?." Scripta Materialia 193: 33-37, (2021).
8. [8] Chowdhury, Aritra, et al. "Image driven machine learning methods for microstructure recognition." Computational Materials Science 123: 176-187, (2016).

9. [9] Biswas, M., Pramanik, R., Sen, S. et al. “Microstructural segmentation using a union of attention guided U-Net models with different color transformed images.” Sci Rep 13: 5737 (2023).
10. [10] Durmaz, A.R., Müller, M., Lei, B. et al. “A deep learning approach for complex microstructure inference.” Nat Commun 12, 6272 (2021).
11. [11] Lee, Woei-Shyan, and Tzay-Tian Su. "Mechanical properties and microstructural features of AISI 4340 high-strength alloy steel under quenched and tempered conditions." Journal of materials processing technology 87.1-3: 198-206, (1999).
12. [12] Sang, Yi, Guosheng Sun, and Jizi Liu. "A 4340 Steel with Superior Strength and Toughness Achieved by Heterostructure via Intercritical Quenching and Tempering." Metals 13.6: 1139, (2023).
13. [13] Nalcaci, B., Aydin, O.C., Yilmaz, S. et al. “Effect of Interrupted Quenching on the Microstructure, Mechanical Properties and Dislocation Density of Steel AISI 4340.” Met Sci Heat Treat (2023).
14. [14] H. Chandler, Heat Treater’s Guide: Practices and Procedures for Irons and Steels, 427-428, (2011).
15. [15] Feng, Jian, Timo Frankenbach, and Marc Wettlaufer. "Strengthening 42CrMo4 steel by isothermal transformation below martensite start temperature." Materials Science and Engineering: A 683: 110-115, (2017).
16. [16] Mumuni, Alhassan, and Fuseini Mumuni. "Data augmentation: A comprehensive survey of modern approaches." Array 16: 100258, (2022).
17. [17] Azimi, Seyed Majid, et al. "Advanced steel microstructural classification by deep learning methods." Scientific reports 8.1: 2128, (2018).
18. [18] İnik, Ö., and E. Ülker. "Derin Öğrenme ve Görüntü Analizinde Kullanılan Derin Öğrenme Modelleri.” Gaziosmanpaşa Bilimsel Araştırma Dergisi, 6 (3), 85-104." (2017).
19. [19] Tammina, Srikanth. "Transfer learning using vgg-16 with deep convolutional neural network for classifying images." International Journal of Scientific and Research Publications (IJSRP) 9.10: 143-150, (2019).
20. [20] Sharma, Shagun, et al. "A deep learning based convolutional neural network model with VGG16 feature extractor for the detection of Alzheimer Disease using MRI scans." Measurement: Sensors 24: 100506, (2022).
21. [21] Ying WEI, Yu Zhang, Junzhou Huang, Qiang Yang. Proceedings of the 35th International Conference on Machine Learning, PMLR 80:5085-5094, (2018).
22. [22] Esen, Furkan Alp, and Aytuğ Onan. "Derin Öğrenme Yöntemleri ile Bitki Yaprakları Üzerindeki Hastalıkların Sınıflandırılması." Avrupa Bilim ve Teknoloji Dergisi 40: 151-155, (2022).
23. [23] Sugata, T. L. I., and C. K. Yang. "Leaf App: Leaf recognition with deep convolutional neural networks." IOP Conference Series: Materials Science and Engineering. Vol. 273. No. 1. IOP Publishing, (2017).
24. [24] Karagöl, Selennur, et al. "Aktarımlı öğrenme ile Sentinel-2 görüntülerinden kıyı çizgisi bölütlemesi." Türkiye Uzaktan Algılama Dergisi, 3.1: 1-7, (2021).
25. [25] Ronneberger, O., Fischer, P., Brox, T. “U-Net: Convolutional Networks for Biomedical Image Segmentation.” Medical Image Computing and Computer-Assisted Intervention (MICCAI), Springer, LNCS, Vol.9351: 234-241, (2015).
26. [26] Ravuri, Suman, and Oriol Vinyals. "Classification accuracy score for conditional generative models." Advances in neural information processing systems 32 (2019).
27. [27] Karadağ, C., & ÖZDEMİR, D. “Comparative Analysis of Deep Learning Methods for Brain Tumor Detection.” Artificial Intelligence Studies, 6(1), 1-13, (2023).
28. [28] Karaca N., Karacı A., “Derin Öğrenme ve Görüntü İşleme Yöntemlerini Kullanarak Göğüs X-Işını Görüntülerinden Akciğer Bölgesini Tespit Etme” Int. J. of 3D Printing Tech. Dig. Ind., 6(3): 459-468, (2022).
29. [29] Lu, H., She, Y., Tie, J., & Xu, S. “Half-UNet: A simplified U-Net architecture for medical image segmentation.” Frontiers in neuroinformatics, 16, 911679, (2022).
30. [30] Baştuğ Koç, A., Akgün, D. “U-net Mimarileri ile Glioma Tümör Segmentasyonu Üzerine Bir Literatür Çalışması.” Avrupa Bilim ve Teknoloji Dergisi, (26), 407-414, (2021).