IMPROVING DEPTH MAP BASED ON CONVOLUTIONAL NEURAL NETWORK

Abstract

Depth information of an environment is used extensively in many applications that require depth information such as three-dimensional (3D) reconstruction and autonomous systems. Obtaining depth information using stereo image pairs is one of the prominent study topics for many years. In recent years, developments in the field of deep learning have also affected the studies in the field of obtaining depth using stereo images. These studies mostly focus on obtaining and correcting depth (disparity) maps. In deep learning based depth map correction, correction operations over matching costs have enabled more successful results. However, it is not always possible to get matching costs directly. Disparity maps produced by some of the existing systems are provided to the end-user. In this study, a network structure that corrects only one image and disparity map are proposed. The proposed network has been tested on KITTI 2012 and KITTI 2015 datasets. As a result, it is shown with quantitative and qualitative results that the proposed network structure can be used to increase the accuracy of the entrance depth maps.

Keywords

• Stereo matching
• Depth map
• Depth map correction
• Convolutional neural networks

EVRİŞİMLİ SİNİR AĞI TABANLI DERİNLİK HARİTASI İYİLEŞTİRME

Abstract

Bir ortamın derinlik bilgisi üç boyutlu yeniden oluşturma, otonom sistemler gibi derinlik bilgisine ihtiyaç duyulan birçok uygulamada yoğun olarak kullanılmaktadır. Stereo görüntü çiftleri kullanılarak derinlik bilgisi elde edilmesi, uzun yıllardır öne çıkan çalışma konuları arasında yer almaktadır. Son yıllarda derin öğrenme alanındaki gelişmeler, stereo görüntüler kullanılarak derinlik elde edilmesi alanında yapılan çalışmaları da etkilemiştir. Son dönemde, derin öğrenme tabanlı stereo eşleştirme alanındaki çalışmalar daha çok derinlik (eşitsizlik) haritalarının elde edilmesi ve düzeltilmesi alanında yoğunlaşmaktadır. Derin öğrenme tabanlı derinlik haritası düzeltme işlemlerinde eşleşme maliyetleri üzerinden yapılan düzeltme işlemleri daha başarılı sonuçlar üretilmesini sağlamıştır. Fakat eşleşme maliyetlerine doğrudan ulaşmak her zaman mümkün olmamaktadır. ZED ve Intel RealSense gibi hazır sistemler tarafından üretilen derinlik haritaları son kullanıcıya sunulmaktadır. Çalışmada sadece sol görüntü ve derinlik haritası aracılığıyla düzeltme işlemi yapan bir ağ yapısı önerilmiştir. Önerilen ağ, KITTI 2012 ve KITTI 2015 veri kümeleri üzerinde test edilmiştir. Deneysel çalışmalar sonucunda olarak giriş derinlik haritalarının doğruluğunun arttırılması için önerilen ağ yapısının kullanılabileceği nicel ve nitel sonuçlar ile gösterilmiştir.

Keywords

• Stereo Eşleşme
• Derinlik Haritası
• Derinlik Haritası Düzeltme
• Konvolüsyonel Sinir Ağları

References

1. J. Žbontar and Y. LeCun, "Computing the stereo matching cost with a convolutional neural network", In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 1592-1599.
2. W. Luo, A. G. Schwing, and R. Urtasun, “Efficient deep learning for stereo matching”, In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2016, pp. 5695-5703.
3. D. Scharstein and R. Szeliski, “A taxonomy and evaluation of dense two-frame stereo correspondence algorithms”, International Journal of Computer Vision, vol 47, pp. 7 42, 2002.
4. A. Emlek, M. Peker and K. F. Dilaver, "Variable window size for stereo image matching based on edge information," In. Proc. International Artificial Intelligence and Data Processing Symposium, 2017, pp. 1-4.
5. A. Emlek, M. Peker and M. K. Yalçin, "Improving the cost-volume based local stereo matching algorithm," In Proc. Signal Processing and Communications Applications Conference, 2018, pp. 1-4.
6. J. Sun, N. N. Zheng and H. Y. Shum, "Stereo Matching Using Belief Propagation", IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 25, no. 7, pp. 787-800, 2003.
7. L. Hong and G. Chen, "Segment-based stereo matching using graph cuts", In Proc. Conference on Computer Vision and Pattern Recognition, 2004, pp. 74–81.
8. P. Brandao, E. Mazomenos and D. Stoyanov, “Widening siamese architectures for stereo matching”, Pattern Recognition Letters, vol. 120, pp. 75-81, 2018.

9. M. Poggi and S. Mattoccia, “Learning from scratch a confidence measure”, In Proc. British Machine Vision Conference, 2016, pp. 46.1-46.13.
10. M. Poggi and S. Mattoccia, "Learning to Predict Stereo Reliability Enforcing Local Consistency of Confidence Maps", In. Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2017, pp. 4541-4550.
11. A. Seki and M. Pollefeys, "Patch Based Confidence Prediction for Dense Disparity Map", In Proc. British Machine Vision Conference, 2016, pp. 23.1-23.13.
12. F. Cheng, X. He, and H. Zhang,"Learning to refine depth for robust stereo estimation", Pattern Recognition, vol. 74, pp. 122–133, 2018.
13. N. Mayer, E. Ilg, P. Hausser, P. Fischer, D. Cremers, A. Dosovitskiy and T. Brox, "A Large Dataset to Train Convolutional Networks for Disparity, Optical Flow, and Scene Flow Estimation", In Proc. Computer Vision and Pattern Recognition, 2016, pp. 4040-4048.
14. S. Kim, D. Min, S. Kim and K. Sohn, "Unified Confidence Estimation Networks for Robust Stereo Matching", IEEE Transactions on Image Processing, vol. 28, no. 3, pp. 1299-1313, 2019.
15. S. Kim, S. Kim, D. Min and K. Sohn, "LAF-Net: Locally Adaptive Fusion Networks for Stereo Confidence Estimation", In Proc. Computer Vision and Pattern Recognition, 2019, pp. 205-214.
16. J. Pang, W. Sun, J. S. Ren, C. Yang and Q. Yan, "Cascade Residual Learning: A Two-Stage Convolutional Neural Network for Stereo Matching", In Proc. International Conference on Computer Vision Workshops, 2017, pp. 878-886.
17. J. Chang and Y. Chen, "Pyramid Stereo Matchin Network", In Proc. IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2018, pp. 5410-5418.
18. A. Geiger, P. Lenz and R. Urtasun, “Are we ready for Autonomous Driving? The KITTI Vision Benchmark Suite", In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2012, pp. 3354-3361.
19. M. Menze and A. Geiger, "Object scene flow for autonomous vehicles", In Proc. IEEE Conference on Computer Vision and Pattern Recognition, 2015, pp. 3061-3070.