The impact of JPEG compression artifacts on YOLO-Based object detection models: A comparative study of YOLOv5m, YOLOv8m, and YOLOv11m

Abstract

Deep learning–based object detection systems are widely employed in various domains such as security, healthcare, mobile systems, and smart city infrastructures. The performance of these systems depends not only on the chosen architectures but also directly on the quality of the input data. Lossy compression formats such as JPEG can introduce visual distortions known as artifacts-especially at low quality levels-which significantly reduce detection accuracy and stability. This study systematically investigates the effects of different JPEG compression quality levels (QF=30, QF=60, QF=90) on deep learning–based object detection models. For this purpose, three versions of the YOLO (You Only Look Once) architecture (YOLOv5m, YOLOv8m, and YOLOv11m) were compared under identical data structures, parameters, and experimental conditions. During the revision process, the previously single-class dataset containing only the “person” category was extended to a multi-class dataset including “person,” “car,” “dog,” and “bicycle.” In addition, fine-tuning was performed on low-quality (QF=30) images to re-evaluate the robustness of the models. Experimental analyses focused on standard evaluation metrics such as mAP@0.5 (mean Average Precision), mAP@0.5:0.95, Precision, Recall, and FPS (Frames Per Second). The findings reveal that as JPEG quality decreases, all models experience performance degradation; however, fine-tuning significantly mitigates these losses. The YOLOv5m model demonstrated more stable performance on low-quality data, while YOLOv8m provided a balanced trade-off between accuracy and speed. YOLOv11m achieved the highest mAP values under high-quality conditions. This study comparatively examines both earlier and recent YOLO architectures to provide a comprehensive evaluation of model robustness against compression-induced distortions. The obtained results contribute to enhancing the reliability of AI-based object detection systems operating on compressed images and to guiding future research in this field. The proposed comparative framework can be extended to other degradation types such as blur, noise, and motion for broader generalization.

Keywords

• Deep learning
• JPEG compression
• Object detection
• Visual artifacts
• YOLO

JPEG sıkıştırma bozulmalarının YOLO tabanlı nesne tespit modellerine etkisi: YOLOv5m, YOLOv8m ve YOLOv11m karşılaştırması

Abstract

Günümüzde güvenlik, sağlık, mobil sistemler ve akıllı şehir altyapıları gibi birçok alanda yaygın biçimde kullanılan derin öğrenme tabanlı nesne tespiti sistemlerinin başarımı, yalnızca mimari tercihlere değil, aynı zamanda girdi verisinin kalitesine de doğrudan bağlıdır. JPEG gibi kayıplı sıkıştırma formatları, özellikle düşük kalite seviyelerinde, görsellerde artefakt adı verilen bozulmalar oluşturarak tespit doğruluğunu önemli ölçüde düşürebilmektedir. Bu çalışma, farklı JPEG sıkıştırma kalite seviyelerinin (QF=30, QF=60, QF=90) derin öğrenme tabanlı nesne tespiti modelleri üzerindeki etkisini sistematik biçimde incelemektedir. Bu amaçla, YOLO (You Only Look Once) mimarisine ait üç farklı sürüm (YOLOv5m, YOLOv8m ve YOLOv11m) aynı veri yapısı, aynı parametreler ve aynı deneysel koşullar altında karşılaştırılmıştır. Revizyon sürecinde, yalnızca “person” sınıfını içeren önceki tek sınıflı yapı genişletilerek “person”, “car”, “dog” ve “bicycle” sınıflarını içeren çok sınıflı bir veri seti oluşturulmuş; ayrıca düşük kaliteli (QF=30) görüntüler üzerinde fine-tuning işlemi uygulanarak model dayanıklılığı yeniden değerlendirilmiştir. Deneysel analizlerde mAP@0.5 (mean Average Precision), mAP@0.5:0.95, Precision, Recall ve FPS (Frames Per Second) değerleri incelenmiştir. Elde edilen bulgular, JPEG kalitesi azaldıkça tüm modellerde performans kayıpları yaşandığını, ancak fine-tuning sonrasında bu kayıpların önemli ölçüde azaldığını göstermektedir. YOLOv5m modeli düşük kalite verilerde daha kararlı bir performans sergilerken, YOLOv8m doğruluk ve hız arasında dengeli sonuçlar üretmiştir. YOLOv11m ise yüksek kalite koşullarında en yüksek mAP değerlerine ulaşmıştır. Çalışma hem eski hem de yeni nesil YOLO mimarilerini karşılaştırmalı biçimde ele alarak, sıkıştırma kaynaklı bozulmalara karşı model dayanıklılığını kapsamlı biçimde değerlendirmektedir. Bu sonuçlar, sıkıştırılmış görsellerle çalışan yapay zekâ sistemlerinin güvenilirliğini artırmaya yönelik gelecekteki çalışmalar için yol gösterici niteliktedir. Önerilen karşılaştırmalı yapı, bulanıklık, gürültü ve hareket kaynaklı bozulmalar gibi diğer bozulma türlerine de genişletilerek daha genel bir çerçevede değerlendirilebilir.

Keywords

• Derin öğrenme
• JPEG sıkıştırma
• Nesne algılama
• Görsel bozulmalar
• YOLO

References

1. [1] Redmon J, Divvala S, Girshick R, Farhadi A. “You only look once: Unified, real-time object detection”. IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 27-30 June 2016.
2. [2] Bochkovskiy A, Wang CY, Liao HYM. “YOLOv4: Optimal speed and accuracy of object detection”. arXiv, 2020. http://arxiv.org/abs/2004.10934.
3. [3] Shroff M. “Know your Neural Network Architecture More by Understanding These Terms”. https://velog.io/@peterkim/Object-Detection에서-말하는-Backbone-Neck-Head (02.07.2025).
4. [4] Wang CY, Bochkovskiy A, Liao HYM. “YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors”. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, Canada, 18-22 June 2023.
5. [5] Ultralytics. “Ultralytics YOLOv8 Documentation”. https://docs.ultralytics.com/models/yolov8#citations-and-acknowledgments (12.05.2025).
6. [6] Gandor T, Nalepa J. “First Gradually, Then Suddenly: Understanding the Impact of Image Compression on Object Detection Using Deep Learning”. Sensors, 22(3), 2022.
7. [7] Hao Y, Pei H, Lyu Y, Yuan Z, Rizzo JR, Wang Y, Fang Y. “Understanding the Impact of Image Quality and Distance of Objects to Object Detection Performance”. arXiv, 2022.
8. [8] Yoon J, Cho NI. “JPEG Artifact Reduction Based on Deformable Offset Gating Network Controlled by a Variational Autoencoder”. IEEE Access, 11, 2023.

9. [9] Boudechiche DE, Benierbah S. “Ensemble learning-CNN for reducing JPEG artifacts”. IEEE International Multi-Conference on Systems, Signals and Devices (SSD), Setif, Algeria, 20-23 March 2022.
10. [10] Ezumi S, Ikehara M. “MSARNet: Efficient JPEG Artifact Removal Using Multi-Stage Style Network”. IEEE International Conference on Consumer Electronics (ICCE), Las Vegas, NV, USA, 5-8 January 2024.
11. [11] Dodge S, Karam L. “Understanding how image quality affects deep neural networks”. International Conference on Quality of Multimedia Experience (QoMEX), Lisbon, Portugal, 6-8 June 2016.
12. [12] Kwon MJ, Yu IJ, Nam SH, Lee HK. “CAT-Net: Compression artifact tracing network for detection and localization of image splicing”. IEEE Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA, 5-9 January 2021.
13. [13] Quijas J, Fuentes O. “Removing JPEG blocking artifacts using machine learning”. IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI), San Diego, CA, USA, 6-8 April 2014.
14. [14] Michaelis C, Geirhos M, Ecker AS, Brendel W. “Benchmarking Robustness in Object Detection: Autonomous Driving When Winter Is Coming”. arXiv, 2020. http://arxiv.org/abs/1907.07484.
15. [15] Bianchi T, Piva A. “Image forgery localization via block-grained analysis of JPEG artifacts”. IEEE Transactions on Information Forensics and Security, 7(3), 1003-1017, 2012.
16. [16] Tahaoğlu G, Ulutaş G. “Copy-Move Forgery Detection and Localization with Hybrid Neural Network Approach”. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi, 28(5), 748-760, 2022.
17. [17] Beghdadi A, Mallem M, Beji L. “Benchmarking Performance of Object Detection Under Image Distortions in an Uncontrolled Environment”. arXiv, 2022. http://arxiv.org/abs/2210.15999.
18. [18] Lin TY, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P, Zitnick CL. “Microsoft COCO: Common Objects in Context”. European Conference on Computer Vision (ECCV), Zurich, Switzerland, 6-12 September 2014.
19. [19] Goodfellow I, Bengio Y, Courville A. Deep Learning. 1st Edition, Cambridge, MA, USA, MIT Press, 2016.
20. [20] Sun X, Wu P, Hoi SCH. “Face detection using deep learning: An improved Faster R-CNN approach”. Neurocomputing, 299, 42-50, 2018