Deep Learning based Visual Quality Control

Öz

In this study, a deep learning–based visual quality control system was developed to detect enamel coating defects on stove burner caps obtained from the production process. For image classification, transfer learning–based Convolutional Neural Network architectures, namely MobileNetV2 and DenseNet121, were employed. Since the number of raw images was limited, data augmentation and normalization techniques were applied to enhance the model’s generalization capability. To mitigate class imbalance, the dataset was divided into training, validation, and test sets using stratified sampling, and class weights were incorporated during model training. The models’ performances were evaluated using metrics such as accuracy, loss, confusion matrix, and ROC curves. The results demonstrated that the developed models achieved over 91% classification accuracy with MobileNetV2 and over 90% with DenseNet121, effectively distinguishing defective products with high precision and sensitivity. These findings indicate that deep learning and image processing–based approaches provide an efficient, consistent, and automated solution for industrial quality control processes, reducing human error and inspection costs while offering strong potential for integration into Industry 4.0–compliant systems.

Anahtar Kelimeler

• Quality control
• CNN
• MobileNetV2
• DenseNet121
• image processing.

Derin Öğrenme Tabanlı Görsel Kalite Kontrol

Öz

Bu çalışmada, üretim sürecinde elde edilen ocak bek kapağı görselleri üzerinde emaye kaplama kusurlarının tespiti amacıyla derin öğrenme tabanlı bir görsel kalite kontrol sistemi geliştirilmiştir. Görsel verilerin sınıflandırılmasında Evrişimsel Sinir Ağı mimarilerinden MobileNetV2 ve DenseNet121 transfer öğrenme yöntemleri kullanılmıştır. Ham görüntü sayısının sınırlı olması nedeniyle, modellerin genelleme yeteneğini artırmak amacıyla veri artırma ve normalizasyon işlemleri uygulanmıştır. Sınıf dengesizliğini azaltmak adına veri kümesi, katmanlı örnekleme ile eğitim, test ve doğrulama kümelerine ayrılmış, sınıf ağırlıkları dikkate alınarak modellerin eğitimi gerçekleştirilmiştir. Modellerin performansı doğruluk, kayıp oranı, karışıklık matrisi, ROC eğrileri ve AUC değerleri gibi metrikler ile değerlendirilmiştir. Sonuçlar, MobileNetV2 mimarisinde %91’in üzerinde, DenseNet121 mimarisinde ise %90’ın üzerinde sınıflandırma doğruluğu ile geliştirilen modellerin kusurlu ürünleri yüksek hassasiyet ve duyarlılıkla ayırt edebildiğini ortaya koymuştur. Bu bulgular, derin öğrenme ve görüntü işleme tabanlı yaklaşımların endüstriyel kalite kontrol süreçlerinde etkin, tutarlı ve otomatik bir çözüm sunduğunu; insan hatalarını ve denetim maliyetlerini azaltarak Endüstri 4.0 uyumlu sistemlere entegrasyon için güçlü bir potansiyel taşıdığını göstermektedir.

Anahtar Kelimeler

• Kalite kontrol
• CNN
• MobileNetV2
• DenseNet121
• görüntü işleme.

Kaynakça

1. Orman S, Tiryaki F, Ulusoy A. Görüntü işleme uygulamalarıyla otomatik kalite kontrol sistemleri: Derin öğrenme tabanlı bir inceleme. Mühendislik Bilimleri Dergisi 2021; 27(2): 97–106.
2. Çelik H, Tekin M. Endüstriyel görüntü işlemede otomasyon sistemlerinin yeri. Sanayi ve Teknoloji Dergisi 2020; 14(1): 33–40.
3. Szeliski R. Computer Vision: Algorithms and Applications. Berlin, Germany: Springer, 2011.
4. Çelik H, Tekin M. Otomotiv sektöründe boya kusurlarının tespiti için görüntü işleme tabanlı yaklaşım. İmalat Teknolojileri Dergisi 2020; 15(3): 245–252.
5. Erdoğan M, Alıcı E. Tekstil iplik kusurlarının CNN destekli görüntü işleme ile tespiti. Uygulamalı Yapay Zekâ Dergisi 2021; 3(1): 17–25.
6. Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. In: NIPS; 2012. pp. 1097–1105.
7. Goodfellow I, Bengio Y, Courville A. Deep Learning. Cambridge, MA, USA: MIT Press, 2016.
8. Başaran E, Cömert Z, Şengür A. Evrişimsel sinir ağları ile orta kulak hastalıklarının tespiti. Bilgisayar Bilimleri Dergisi 2020; 13(1): 1–10.

9. Görgel P, Kavlak E. Rüzgar enerjisi üretiminde CNN-LSTM tabanlı tahmin modeli. Dicle Üniversitesi Mühendislik Dergisi 2020; 11(1): 69–80.
10. Değirmenciler A, Cengiz B, İleri K. COVID-19 için CNN tabanlı maske takma denetimi. Mühendislik Araştırmaları Dergisi 2022; 4(2): 259–265.
11. Türkdamar MU, Taşyürek M, Öztürk C. İnşaat sahalarında kask takma kontrolü için derin öğrenme uygulaması. Niğde Ömer Halisdemir Üniversitesi Mühendislik Bilimleri Dergisi 2023; 12(1): 39–51.
12. Sandler M, Howard A, Zhu M, Zhmoginov A, Chen LC. MobileNetV2: Inverted residuals and linear bottlenecks. In: CVPR; 2018. pp. 4510–4520.
13. Çelik Y, Dengiz B, Güney S. Ahşap ham maddelerde yüzey hatasını belirlemek için görüntü işleme tabanlı kalite kontrol sistemi. Mühendislik Bilimleri ve Tasarım Dergisi 2023; 11(4): 1365–1382.
14. Pınar Z, Gülağız FK, Altuncu MA, Şahin S. Denim kumaşlarda görüntü işleme ile hata tespiti. Bitlis Eren Üniversitesi Fen Bilimleri Dergisi 2020; 9(4): 1609–1620.
15. Köse F. Dişli çark hatalarının görüntü işleme yöntemleri ile ölçümü. 2005.
16. Örs ME, Özçelik Z. Görüntü işleme ve derin öğrenme ile kaynak hatalarının gerçek zamanlı tespiti. DCE Doğa Bilimleri Dergisi 2025; 5(2): 83–97.
17. Bayram RB. Metal sektörü için görüntü işleme tabanlı bir kusurlu ürün tespit sistemi. Yüksek Lisans Tezi, Bursa Uludağ Üniversitesi, 2019.
18. Parlak İE. Alüminyum döküm hatalarının derin öğrenme yaklaşımıyla tespiti ve sınıflandırılması. Doktora Tezi, Bursa Uludağ Üniversitesi, 2022.
19. Güçlü E, Aydın İ, Şener TK, Akın E. Çelik yüzeylerdeki kusurların tespiti için derin öğrenme tabanlı gömülü sistem tasarımı. EMO Bilimsel Dergi 2022; 12(2): 27–33.
20. Selamet F. Derin öğrenme yöntemleri ile metalik yüzeylerde kusur tespiti ve sınıflandırılması. 2023.
21. Gökkaya H. Derin öğrenme teknikleri ile anomali içeren metal somunların hata tespit ve sınıflandırılması. Yüksek Lisans Tezi, Dokuz Eylül Üniversitesi, 2020.
22. Konovalenko I, Maruschak P, Brezinová J, Prentkovskis O, Brezina J. Research of U-Net-based CNN architectures for metal surface defect detection. Machines 2022; 10(5): 327.
23. Lin HI, Wibowo FS. Image data assessment approach for deep learning-based metal surface defect-detection systems. IEEE Access 2021; 9: 47621–47638.
24. Chouhad H, El Mansori M, Knoblauch R, Corleto C. Smart data driven defect detection method for surface quality control in manufacturing. Measurement Science and Technology 2021; 32(10): 105403.
25. Balcıoğlu YS, Sezen B, Çerasi CC, Huang SH. Machine design automation model for metal production defect recognition with deep graph convolutional neural network. Electronics 2023; 12(4): 825.
26. Nguyen TP, Choi S, Park SJ, Park SH, Yoon J. Inspecting method for defective casting products with CNN. Int J Precision Eng Manufacturing-Green Technology 2021; 8(2): 583–594.
27. Leng Y, Liu J. Improved Faster R-CNN for steel surface defect detection in industrial quality control. Scientific Reports 2025; 15(1): 30093.
28. Citlak T, Pillay N. Real-time object classification on an enamel paint coating conveyor line using mask R-CNN. Automation 2024; 5(3): 213–229.
29. Bridges LW, Mort N. New approaches to on-line quality control for enamelled wire manufacture. Control Engineering Practice 1998; 6(11): 1397–1403.
30. Özcan H, Gençtürk HT, Genç G, Yıldırım TE, Durmuş F, Gürleyen A. Gerçek zamanlı kusur tespiti: LPG tüplerinde görüntü işleme ve makine öğrenimi. Afyon Kocatepe Üniversitesi Fen ve Mühendislik Bilimleri Dergisi 2024; 24(2): 330–340.
31. Özyer B, Taşpınar YS. Realising quality control of metal products used in industry through deep learning. Intelligent Methods in Engineering Sciences 2024; 3(4): 118–125.
32. LeCun Y, Bengio Y, Hinton G. Deep learning. Nature 2015; 521(7553): 436–444.
33. Li Z, Liu F, Yang W, Peng S, Zhou J. A survey of convolutional neural networks: Analysis, applications, and prospects. IEEE Transactions on Neural Networks and Learning Systems 2021; 33(12): 6999–7019.
34. Poojitha V, Baskar R. Improving the accuracy of detecting rice leaf disease using DenseNet algorithm comparing it with MobileNet algorithm. In: International Conference on Trends in Quantum Computing and Emerging Business Technologies; March 2024. IEEE. pp. 1–5.
35. Melyani NA, Lubis AF, Tatamara A, Haiban RR, Iltizam M, Rofiqi MA, Ismail MI. Analysis comparison classification image disease eye using the CNN algorithm, Inception V3, DenseNet 121 and MobileNet V2 architecture models. Public Research Journal of Engineering, Data Technology and Computer Science 2025; 3(1): 42–58.
36. Shorten C, Khoshgoftaar TM. A survey on image data augmentation for deep learning. Journal of Big Data 2019; 6(1): 1–48.
37. Howard AG, Zhu M, Chen B, Kalenichenko D, Wang W, Weyand T, Adam H. MobileNets: Efficient convolutional neural networks for mobile vision applications. arXiv preprint arXiv:1704.04861, 2017.
38. Huang G, Liu Z, Van Der Maaten L, Weinberger KQ. Densely connected convolutional networks. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition; 2017. pp. 4700–4708.
39. Srivastava N, Hinton G, Krizhevsky A, Sutskever I, Salakhutdinov R. Dropout: A simple way to prevent neural networks from overfitting. Journal of Machine Learning Research 2014; 15(1): 1929–1958.
40. Fawcett T. An introduction to ROC analysis. Pattern Recognition Letters 2006; 27(8): 861–874.