Uç bilişim ve kayan pencere analizi kullanarak yüz videosundan temassız hemoglobin tahmini

Öz

Hemoglobin, anemi taraması ve klinik karar destek sistemleri için önemli bir biyobelirteçtir. Bununla birlikte, standart ölçüm invazivdir ve saha ve afet senaryolarında hızlı, tekrarlanabilir değerlendirme için uygulanması zor olabilir. Bu durum, kaynak kısıtlı uç cihazlarda güvenilir bir şekilde çalışabilen temassız tahmin yaklaşımlarını motive etmektedir. Amaç— Bu çalışma, açık bir uç bilgi işlem bakış açısıyla yüz videolarından temassız periferik hemoglobin (SpHb) tahminini araştırmaktadır. Temel amaç, kayan pencere uzunluğunun, (i) tahmin doğruluğunu, (ii) ardışık çıktıların zamansal kararlılığını ve (iii) gömülü bir platformda güç/enerji maliyetini birlikte yöneten sistem düzeyinde bir tasarım parametresi olarak nasıl davrandığını nicelleştirmektir. Yöntem— Veri seti, her biri tek bir SpHb etiketiyle eşleştirilmiş 279 yüz videosu içermektedir. Her video beş bölüme ayrılmıştır ve 30, 60, 90 ve 120 karelik kayan pencere konfigürasyonları kullanılarak eğitim örnekleri oluşturulmuştur. Veri sızıntısını önlemek için, değerlendirme özne bağımsız bir bölme yöntemiyle yapılmıştır. Algoritmik olarak, 3D CNN temel modelleri hibrit uzamsal-zamansal mimarilerle (CNN–VAN–Transformer) karşılaştırılmıştır. Performans, regresyon metrikleri (RMSE/MAE) kullanılarak değerlendirilmiş ve farklı pencere uzunlukları altında çıktı kararlılığını tartışmak için temsili videolar üzerinde zaman serisi incelemesiyle desteklenmiştir. Sonuçlar—60 karelik segmentlerde, 3D CNN 0,4808'lik bir RMSE elde ederken, CNN–VAN–Transformer 0,7128'lik bir RMSE vermiştir. 90 karelik segmentlerde, CNN–VAN–Transformer 0,6946'lık bir RMSE ile en iyi doğruluğu sağlarken, 3D CNN 0,8894'lük bir RMSE elde etmiştir; V1-3DCNN 1,5828'e düşmüştür, bu da daha uzun bağlamın iyileşmeyi garanti etmediğini ve pencere-mimari etkileşiminin önemli olduğunu göstermektedir. Video düzeyindeki MAE, içeriğe ve hedef aralığına göre değişir: örneğin, en iyi MAE, HEM022 (0,350) ve HEM188 (0,150) için 120 karede, HEM086 (0,161) için 60 karede ve HEM028 (0,512) için 30 karede elde edilir; bu da konular/videolar arasında evrensel bir optimum pencere uzunluğunun olmadığını vurgular. Sonuç—ACS711 akım sensörü ve mikrodenetleyici tarafından tetiklenen kayıt kullanılarak Raspberry Pi 5 üzerinde yapılan kenar ölçümleri, pencere boyutuyla monoton bir enerji artışı göstermektedir: ortalama güç 2,481 W'tan (30 kare) 3,951 W'a (120 kare) ve ortalama enerji 1,029 J'den 5,047 J'ye yükselmektedir. Ölçülen maksimum enerji 7,14 J (HEM022, 120 kare), minimum ise 0,48 J'dir (HEM028, 30 kare); tepe güç 120 kare ayarında 6,80 W'a ulaşmaktadır. Bu bulgular, kayan pencere uzunluğunun sadece bir ayar düğmesi değil, pratik, konuşlandırılabilir SpHb tahmin sistemlerinde doğruluk, çıktı kararlılığı ve enerji bütçesini doğrudan dengeleyen birincil bir tasarım kararı olduğunu göstermektedir.

Anahtar Kelimeler

• Temassız hemoglobin tahmini
• yüz videosu
• kayan pencere
• uç bilişim
• enerji tüketimi

Contactless hemoglobin estimation from facial video using edge computing and sliding-window analysisUç bilişim ve kayan pencere analizi kullanarak yüz videosundan temassız hemoglobin tahmini

Abstract

Hemoglobin is a key biomarker for anemia screening and clinical decision support. Yet, standard measurement is invasive and can be difficult to deploy for rapid, repeatable assessment in field and disaster scenarios. This motivates contactless estimation approaches that can run reliably on resource-constrained edge devices. Objective—This study investigates contactless peripheral hemoglobin (SpHb) estimation from facial videos with an explicit edge-computing viewpoint. The central aim is to quantify how sliding-window length acts as a system-level design parameter that jointly governs (i) prediction accuracy, (ii) temporal stability of sequential outputs, and (iii) power/energy cost on an embedded platform. Method—The dataset contains 279 facial videos, each paired with a single SpHb label. Each video is divided into five segments, and training samples are generated using sliding-window configurations of 30, 60, 90, and 120 frames. Evaluation follows a subject-independent split to prevent data leakage. Algorithmically, 3D CNN baselines are compared with hybrid spatiotemporal architectures (CNN–VAN–Transformer). Performance is assessed using regression metrics (RMSE/MAE) and complemented by time-series inspection on representative videos to discuss output stability under different window lengths. Results—On 60-frame segments, the 3D CNN achieves an RMSE of 0.4808, while the CNN–VAN–Transformer yields an RMSE of 0.7128. On 90-frame segments, the CNN–VAN–Transformer provides the best accuracy with an RMSE of 0.6946, compared with 0.8894 for the 3D CNN; V1-3DCNN degrades to 1.5828, indicating that longer context does not guarantee improvement and that window–architecture interaction is substantial. Video-level MAE varies by content and target range: for example, the best MAE occurs at 120 frames for HEM022 (0.350) and HEM188 (0.150), at 60 frames for HEM086 (0.161), and at 30 frames for HEM028 (0.512), highlighting the absence of a universal optimum window length across subjects/videos. Conclusion—Edge measurements on a Raspberry Pi 5 using an ACS711 current sensor and microcontroller-triggered logging show a monotonic energy increase with window size: mean power rises from 2.481 W (30-frame) to 3.951 W (120-frame), and mean energy from 1.029 J to 5.047 J. The maximum measured energy is 7.14 J (HEM022, 120-frame), while the minimum is 0.48 J (HEM028, 30-frame); peak power reaches 6.80 W in the 120-frame setting. These findings demonstrate that sliding-window length is not merely a tuning knob but a primary design decision that directly balances accuracy, output stability, and energy budget in practical, deployable SpHb estimation systems.

Keywords

• Contactless hemoglobin estimation
• facial video
• sliding window
• edge computing
• energy consumption

Kaynakça

1. [1] E. J. Wang, W. Li, D. Hawkins, T. Gernsheimer, C. Norby-Slycord, S. N. Patel, “HemaApp: noninvasive blood screening of hemoglobin using smartphone cameras”, ACM International Joint Conference on Pervasive and Ubiquitous Computing (UbiComp), Heidelberg, Germany, 12-16 September 2016, 593–604.
2. [2] R. G. Mannino, D. R. Myers, E. A. Tyburski, C. Caruso, J. Boudreaux, T. Leong, G. D. Clifford, W. A. Lam, “Smartphone app for non-invasive detection of anemia using only patient-sourced photos,” Nature Communications, 9, (2018), 4924.
3. [3] A. X. Zhang, J. J. Lou, Z. J. Pan, J. Q. Luo, X. M. Zhang, H. Zhang, J. P. Li, L. L. Wang, X. Cui, B. Ji, L. Chen, “Prediction of anemia using facial images and deep learning technology in the emergency department”, Frontiers in Public Health, 10, (2022), 964385.
4. [4] Y. W. Chen, X. Y. Hu, Y. Z. T. Zhu, X. Liu, B. Yi, “Real-time non-invasive hemoglobin prediction using deep learning-enabled smartphone imaging”, BMC Medical Informatics and Decision Making, 24(1), (2024), 187.
5. [5] D. Botina-Monsalve, Y. Benezeth, J. Miteran, “RTrPPG: An ultra light 3DCNN for real-time remote photoplethysmography”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 18-24 June 2022, 2145–2153.
6. [6] U. Bal, F. E. Oguz, K. M. Sunnetci, A. Alkan, A. Bal, E. Akkus, H. Erol, A. Ç. Seçkin, “Estimation of Total Hemoglobin (SpHb) from Facial Videos Using 3D Convolutional Neural Network-Based Regression”, Biosensors-Basel, 15(8), (2025), 485.
7. [7] P. P. Kumar, A. Pal, K. Kant, “Resource Efficient Edge Computing Infrastructure for Video Surveillance”, IEEE Transactions on Sustainable Computing, 7(4), (2022), 774–785.
8. [8] M. A. Khan, R. Hamila, A. Erbad, M. Gabbouj, “Distributed Inference in Resource-Constrained IoT for Real-Time Video Surveillance”, IEEE Systems Journal, 17(1), (2023), 1512–1523.

9. [9] Y. Y. He, P. Yang, T. Qin, J. W. Hou, N. Zhang, “Joint Encoding and Enhancement for Low-Light Video Analytics in Mobile Edge Networks”, IEEE Transactions on Mobile Computing, 24(4), (2025), 3330–3345.
10. [10] M. E. Isenkul, “Energy-aware deep learning for real-time video analysis through pruning, quantization, and hardware optimization”, Journal of Real-Time Image Processing, 22(3), (2025), 125.
11. [11] T. Y. Gao, J. Suto, “Acceleration of Image Classification and Object Tracking by the Intel Neural Compute Stick 2 with Power Efficiency Evaluation on Raspberry Pi 4B”, Sensors, 25(6), (2025), 1794.
12. [12] J. N. Yang, T. T. Qian, F. Zhang, S. U. Khan, “Real-time facial expression recognition based on edge computing”, IEEE Access, 9, (2021), 76178–76190.
13. [13] D. Tran, L. Bourdev, R. Fergus, L. Torresani, M. Paluri, “Learning Spatiotemporal Features with 3D Convolutional Networks”, IEEE International Conference on Computer Vision, Santiago, Chile, 11-18 December 2015, 4489–4497.
14. [14] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, I. Polosukhin, “Attention Is All You Need”, 31st Annual Conference on Neural Information Processing Systems (NIPS), Long Beach, CA, USA, 04-09 December 2017.
15. [15] M.-H. Guo, C. Z. Lu, Z. N. Liu, M. M. Cheng, S. M. Hu, “Visual attention network”, Computational Visual Media, 9(4), (2023), 733–752.
16. [16] Z. Liu, J. Ning, Y. Cao, Y. X. Wei, Z. Zhang, S. Lin, H. Hu, “Video Swin Transformer”, IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, 18-24 June 2022, 3192–3201.
17. [17] D. Velasco-Montero, J. Fernández-Berni, R. Carmona-Galán, A. Rodríguez-Vázquez, “Performance analysis of real-time DNN inference on Raspberry Pi”, Conference on Real-Time Image and Video Processing, Orlando, FL; USA, 16-17 April 2018.
18. [18] A. Abbas, A. A. Ibrahim, “Energy Optimization of Fog Computing and IoT Application”, Avrupa Bilim ve Teknoloji Dergisi, Özel Sayı, (2020), 472–475, doi: 10.31590/ejosat.780969.
19. [19] T. Ercan, “Importance of Edge Computing in Critical Manufacturing Systems: FPGA Implementation”, Avrupa Bilim ve Teknoloji Dergisi, 43, (2022), 41–47.
20. [20] R. K. B. Singh, J. K. Dash, K. H. K. Reddy, “The role of Edge-AI in edge enabled IoT systems: A comprehensive performance analysis”, Peer-to-Peer Networking and Applications, 19(1), (2025), 35.