Image Processing and Deep Learning Based Illumination Intensity (Lux) Estimation: An Application with MobileNetV2 Architecture

Abstract

This study presents a deep learning-based approach for estimating illuminance (Lux) from ambient photographs with high accuracy, as an alternative to physical luxmeter sensors. A unique dataset consisting of 729 ambient images at 1482x855 resolution and their corresponding lux values was used in the study. A customized cropping algorithm was developed to reduce noise (walls, ceilings, dead zones) in the images. The model architecture used the MobileNetV2 network, proven in image classification, and adapted it to the regression problem via transfer learning. After training, the model reduced the Mean Absolute Error (MAE) value to 0.78 Lux on the validation dataset. Furthermore, the model's R^2-score demonstrated high stability. The findings indicate that the developed method can precisely measure ambient illuminance using only camera images, without the need for expensive hardware.

Keywords

• Deep Learning
• MobilNetV2
• Lux Estimation
• Image Proccessing
• Regression

Ethical Statement

declare that this study is an original work; that I have acted in accordance with scientific ethical principles and rules in all stages of the study, including preparation, data collection, analysis, and presentation of information; that I have cited sources for all data and information not obtained within the scope of this study and included these sources in the bibliography; that I have not made any changes to the data used; and that I have complied with ethical duties and responsibilities by accepting all the terms and conditions of DergiPark Academic.

Görüntü İşleme ve Derin Öğrenme Tabanlı Aydınlatma Şiddeti (Lüx) Kestirimi: MobileNetV2 Mimarisi ile Bir Uygulama

Abstract

Bu çalışma, fiziksel lüxmetre sensörlerine alternatif olarak, ortam fotoğrafları üzerinden aydınlatma şiddetini (Lüx) yüksek doğrulukla tahmin edebilen derin öğrenme tabanlı bir yaklaşım sunmayı amaçlamaktadır. Çalışmada, 1482x855 çözünürlüğünde 729 adet ortam görüntüsü ve bunlara karşılık gelen lüx değerlerinden oluşan özgün bir veri seti kullanılmıştır. Görüntüler üzerinde gürültüyü (duvar, tavan, ölü alanlar) azaltmak amacıyla özelleştirilmiş bir kırpma (cropping) algoritması geliştirilmiştir. Model mimarisi olarak, görüntü sınıflandırmada başarısı kanıtlanmış MobileNetV2 ağı kullanılmış ve transfer öğrenme (transfer learning) yöntemiyle regresyon problemine uyarlanmıştır. Eğitim sonucunda model, doğrulama veri setinde Ortalama Mutlak Hata (MAE) değerini 0.78 Lüx seviyesine kadar düşürmüştür. Ayrıca modelin R^2-skoru yüksek bir kararlılık göstermiştir. Elde edilen bulgular, geliştirilen yöntemin pahalı donanımlara gerek kalmadan, sadece kamera görüntüleri kullanılarak ortam aydınlatmasının hassas bir şekilde ölçülebileceğini göstermektedir.

Keywords

• Derin Öğrenme
• MobilNetV2
• Lüx Tahmini
• Görüntü İşleme
• Regresyon

Ethical Statement

Bu çalışmanın, özgün bir çalışma olduğunu; çalışmanın hazırlık, veri toplama, analiz ve bilgilerin sunumu olmak üzere tüm aşamalarından bilimsel etik ilke ve kurallarına uygun davrandığımı; bu çalışma kapsamında elde edilmeyen tüm veri ve bilgiler için kaynak gösterdiğimi ve bu kaynaklara kaynakçada yer verdiğimi; kullanılan verilerde herhangi bir değişiklik yapmadığımı, çalışmanın DergiPark Akademik'in tüm şartlarını ve koşullarını kabul ederek etik görev ve sorumluluklara riayet ettiğimi beyan ederim.

References

1. Kizilkaya, Z., (2023). Çalışma Mekanlarında Aydınlatma Tasarım İlkeleri. Uluslararasi Akademik Birikim Dergisi. 6(4).
2. Aryani, S. M., Kusumawanto, A., Suryabrata, J. A., Airin, C. M., (2021, April). The effect of insufficient artificial lighting on workers’ moods and physiology: preliminary research. In IOP Conference Series: Earth and Environmental Science. 738(1): 012028. IOP Publishing.
3. Belany, P., Hrabovsky, P., Florkova, Z., Cajova Kantova, N., (2024). The impact of workplace lighting on employee well-being and productivity: a measurement study. System Safety: Human-Technical Facility-Environment. 6.
4. Doğan, C., (2021). Evden Çalışmada Sirkadiyen Aydınlatmanın Çalışma Verimliliğine Etkisi. Mimarlık ve Yaşam. 6(2): 519-528.
5. Edition, S. I., Erbe, D. H., Lane, M. D., Anderson, S. I., Baselici, P. A., Hanson, S., ... & Kurtz, R., (2010). Energy standard for buildings except low-rise residential buildings. ASHRAE. 44(6).
6. Galasiu, A., D., Veitch, J. A., (2006). Occupant preferences and satisfaction with the luminous environment and control systems in daylit offices: a literature review. Energy and buildings. 38(7): 728-742.
7. Rubinstein, F., Ward, G., Verderber, R., (1989). Improving the performance of photo-electrically controlled lighting systems. Journal of the Illuminating Engineering Society. 18(1): 70-94.
8. Koščević, K., Subašić, M., Lončarić, S., (2020). Deep learning-based illumination estimation using light source classification. IEEE access. 8, 84239-84247.

9. Aries, M. B. C., (2005). Human lighting demands. healthy lighting in an office environment. 23(2).
10. Braun, M., Stefani, O., Pross, A., Bues, M., Spath, D., (2009, July). Human factors in lighting. In International Conference on Ergonomics and Health Aspects of Work with Computers. 223-230.
11. Salmerón-Campillo, R. M., Bradley, A., Jaskulski, M., López-Gil, N., (2021). Measuring facial illuminance with smartphones and mobile devices. Applied Sciences. 11(16): 7566.
12. Xu, B., Liu, J., Hou, X., Liu, B., Qiu, G., (2020). End-to-end illuminant estimation based on deep metric learning. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 3616-3625.
13. Gardner, M. A., Sunkavalli, K., Yumer, E., Shen, X., Gambaretto, E., Gagné, C., Lalonde, J. F., (2017). Learning to predict indoor illumination from a single image. arXiv preprint arXiv:1704.00090.
14. Büyükarıkan, B., Ülker, E., (2022). Using convolutional neural network models illumination estimation according to light colors. Optik. 271:170058.
15. Dong, K., Zhou, C., Ruan, Y., Li, Y., (2020, December). MobileNetV2 model for image classification. In 2020 2nd International Conference on Information Technology and Computer Application (ITCA). 476-480. IEEE.
16. Kim, J., Zeng, H., Ghadiyaram, D., Lee, S., Zhang, L., Bovik, A. C., (2017). Deep convolutional neural models for picture-quality prediction: Challenges and solutions to data-driven image quality assessment. IEEE Signal processing magazine. 34(6): 130-141.
17. Nguyen, T. S., Stueker, S., Niehues, J., & Waibel, A. (2020, May). Improving sequence-to-sequence speech recognition training with on-the-fly data augmentation. In ICASSP 2020-2020 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 7689-7693). IEEE.