Augmented and Virtual Reality Tools in the Military Field: Systems, Challenges and Solutions

Abstract

Many modern armies around the world are investing in Augmented Reality (AR) and Virtual Reality (VR) tools to upgrade their systems, outdo the opposing force, and avoid casualties on the battlefield. These investments significantly change the balance of power in the world and provide considerable advantageous to win a war. In this study, AR/VR tools used to support military applications and training were examined. These tools were evaluated by taking into account immersion and training capabilities in the field of education in addition to hardware features, usage areas and military skills. According to the scope of this study; augmented and virtual reality systems used in the military field, the current AR/VR tools and solutions used during military operations, the factors limiting the inclusion of AR / VR tools in military applications, and the difficulties encountered in the creation and use of AR / VR systems were examined and solutions to the problems were proposed. In the last part, a general evaluation was made on the future and risks of AR/VR systems. As a conclusion preliminary information was revealed that will guide approaches for the designing, implementing and training of AR / VR systems for the future.

Keywords

• Augmented Reality
• Virtual Reality
• Military
• Training.

Askerî Alanda Artırılmış ve Sanal Gerçeklik Araçlar: Sistemler, Zorluklar ve Çözümler

Abstract

Dünyadaki birçok modern ordu, kendi sistemlerini daha üst seviyeye çıkartmak, rakip güç karşısında üstün gelmek ve savaş alanındaki can kayıplarının önüne geçmek için Artırılmış Gerçeklik (AR) ve Sanal Gerçeklik (VR) araçlarına yatırım yapmaktadır. Bu yatırımlar, dünyadaki güç dengelerini önemli ölçüde değiştirebilir ve bir savaşı kazanma için dikkate değer avantajlar sağlayabilir. Bu çalışmada, askerî uygulamalara ve eğitimlere destek amacıyla kullanılan AR/VR araçları incelenmiştir. Bu araçlar; donanımsal özellikleri, kullanım alanları ve askerî alandaki yeteneklerinin yanı sıra eğitim alanındaki daldırma ve eğitim yetenekleri de dikkate alınarak değerlendirilmiştir. Belirlenen bu kapsama göre askerî alanda kullanılan artırılmış ve sanal gerçeklik sistemleri; askerî operasyonlar sırasında kullanılan güncel AR/VR araçları ve çözümleri, AR/VR araçlarının askerî uygulamalara dâhil edilmesini sınırlayan faktörleri ve AR/VR sistemlerinin oluşturulmasında ve kullanımında karşılaşılan zorluklar dikkate alınarak inceleme yapılmış ve problemlere çözümler önerilmiştir. Son bölümde ise AR/VR sistemlerinin geleceği ve riskleri üzerine genel bir değerlendirme yapılmıştır. Sonuç olarak gelecekte yapılacak AR/VR sistemlerin tasarımı, uygulaması ve eğitimi yaklaşımlarına yol gösterecek ön bir bilgi ortaya konmuştur.

Keywords

• Artırılmış Gerçeklik
• Sanal Gerçeklik
• Askerî
• Eğitim.

References

1. Burdea, G.C. ve Coiffet, P. (2003). Virtual reality technology. John Wiley & Sons.
2. Creveld, M. V. (2010). Technology and war: From 2000 BC to the present. Simon and Schuster.
3. Endsley, M. R. (2016). Designing for situation awareness: An approach to user-centered design. CRC press.
4. Fairclough, G. (2018). Savaşın Değişen Karakteri. Özel, Y, İnaltekin, E., Savaşın Değişen Modeli: Hibrit Savaş. İstanbul: Milli Savunma Üniversitesi Basımevi.
5. Gutiérrez, M., Vexo, F. ve Thalmann, D. (2008). Stepping into Virtual Reality. London: Springer London.
6. Karlsson, M. (2015). Challenges of designing Augmented Reality for Military use.
7. Vego, M.N. (2009). Joint Operational Warfare: Theory and Practice. Government Printing Office.
8. Wassom, B. D. (2015). Augmented Reality Law, Privacy, and Ethics. Law, Society, and Emerging AR. Elsevier.

9. Amburn, C.R., Vey, N. L., Boyce, M.W. ve Mize, M.J.R. (2015). The Augmented Reality Sandtable (ARES). Technical report, US Army Research Laboratory.
10. Azuma, R.T. (1997). A Survey of Augmented Reality. Teleoperatorsand Virtual Environments, 6(4), 355-385.
11. Brown, M. ve Lowe, D. G. (2007). Automatic panoramic image stitching using invariant features. International journal of computer vision, 74(1), 59-73.
12. Caudell, T.P. ve Mizell, D.W. (1992). Augmented reality: An application of heads-up display technology to manual manufacturing processes. Hawaii international conference on system sciences, 659-669.
13. Carroll, M., Surpris, G., Strally, S., Archer, M., Hannigan, F., Hale, K. ve Bennett, W. (2013, July). Enhancing HMD-based F-35 training through integration of eye tracking and electroencephalography technology. International Conference on Augmented Cognition, Springer, Berlin, Heidelberg, 21-30.
14. Chambers, C.M., Curry, D., McGinn, L.A. ve Merillat, D. (2020). Processes systems and methods for improving virtual and augmented reality applications. U.S. Patent No. 10,531,127, Washington, DC: U.S. Patent and Trademark Office.
15. Chewning, E.G. ve Harrell, A.M. (1990). The effect of information load on decision makers'cue utilization levels and decision quality in a financial distress decisiontask. Accounting, Organizations and Society, 15(6), 527-542.
16. Çakıroğlu, Ü. ve Gökoğlu, S. (2019). Development of fire safety behavioral skills via virtual reality. Computers & Education, 133, 56-68.
17. Draper, M.H., Calhoun, G.L., ve Nelson, J. (2006). Evaluation of synthetic vision overlay concepts for UAV sensor operations: landmark cues and picture-in-picture. Human Factors and Ergonomic Society 50th Annual Meeting, San Francisco, CA
18. Endsley, M. R. (1995). Toward a theory of situation awareness in dynamic systems. Human factors, 37(1), 32-64.
19. Eppler, M. J. ve Mengis, J. (2004). The concept of information overload: A review of literature from organization science, accounting, marketing, MIS, and related disciplines. The information society, 20(5), 325-344.
20. Fuchs, H. ve Ackerman, J. (1999). Displays for augmented reality: Historical remarks and future prospects. Mixed Reality Merging Real and Virtual Worlds, 1, 31-40.
21. Gobbetti, E. ve Scateni, R. (1998). Virtual reality: past, present and future. Stud Health Technol Inform, 58, 3-20.
22. Gorski, B. ve Brian P. (2017). Military Equipment Framework: Synthetic Training Environment. Leavenworth, Kan.: MITRE, MP160204.
23. İçten, T. ve Bal, G. (2017a). Artırılmış Gerçeklik Teknolojisi Üzerine Yapılan Akademik Çalışmaların İçerik Analizi. Bilişim Teknolojileri Dergisi, 10(4), 401-414.
24. İçten, T. ve Bal, G. (2017b). Artırılmış gerçeklik üzerine son gelişmelerin ve uygulamaların incelenmesi. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 5(2), 111-136.
25. Jin, Y., Ma, M. ve Liu, Y. (2020, July). Interactive Narrative in Augmented Reality: An Extended Reality of the Holocaust. International Conference on Human-Computer Interaction, Springer, Cham, 249-269.
26. Ling, H. ve Rui, L. (2016, August). VR glasses and leap motion trends in education. 2016 11th International Conference on Computer Science & Education (ICCSE), IEEE, 917-920.
27. Livingston, M., Rosenblum, L., Julier, S., Brown, D., Baillot, Y., Swan, J., Gabbard, J. ve Hix, D. (2002). An augmented reality system for military operations in urban terrain. Proceedings of the Interservice / Industry Training, Simulation, & Education Conference, Orlando, Florida, 1-8.
28. Livingston, M.A., Rosenblum, L.J., Brown, D.G., Schmidt, G.S., Julier, S.J., Baillot, Y., Swan, E., Ai, Z. ve Maassel, P. (2011). Military applications of augmented reality. Handbook of Augmented Reality, Springer, New York, NY, 671-706.
29. Mekni, M. ve Lemieux, A. (2014). Augmented reality: Applications, challenges and future trends. Applied Computational Science, 205-214.
30. Meydan, C.H. (2015). Dünya Ordularında Yeniden Yapılanmanın Kaynakları Üzerine Bir İnceleme. Güvenlik Stratejileri Dergisi, 11(21), 1-38.
31. Milgram, P. ve Kishino, F. (1994). A taxonomy of mixed reality visual displays. IEICE Transactions on Information Systems, 77(12), 1321- 1329.
32. McCartney, R., Yuan, J. ve Bischof, H.P. (2015). Gesture Recognition with the Leap Motion Controller. Proceedings of the International Conference on Image Processing, Computer Vision, & Pattern Recognition, Sydney, Australia.
33. Ren, K., Lou, W. ve Zhang, Y. (2008). LEDS: Providing location-aware end-to-end data security in wireless sensor networks. Mobile Computing, IEEE Transactions on, 7(5), 585-598.
34. Uluyol, Ç. (2016). Bir Arttırılmış Gerçeklik Uygulamasının Geliştirilmesi ve Öğrenci Görüşleri. Türkiye Sosyal Araştırmalar Dergisi, 20(3), 793-823.
35. Vyas, D. A. ve Bhatt, D. (2017). Augmented Reality (AR) Applications: A survey on Current Trends, Challenges, & Future Scope. International Journal of Advanced Research in Computer Science, 8(5), 2724-2730.
36. You, X., Zhang, W., Ma, M., Deng, C. ve Yang, J. (2018). Survey on urban warfare augmented reality. ISPRS International Journal of Geo-Information, 7(2), 46.
37. Weichert, F., Bachmann, D., Rudak, B. ve Fisseler, D. (2013). Analysis of the accuracy and robustness of the leap motion controller. Sensors, 13(5), 6380-6393.
38. Wang, Y., Zhai, G., Chen, S., Min, X., Gao, Z., & Song, X. (2019). Assessment of eye fatigue caused by head-mounted displays using eye-tracking. Biomedical engineering online, 18(1), 111.
39. Azuma, R.T. (2018). AR, VR and MR One Day Industry Conference. 25 Eylül 2020’de https://www.youtube.com/watch?v=kuAuQLUim10&feature= youtu.be adresinden alınmıştır.
40. Flores, P. (2013). Virtual simulators provide realistic training. 20 Kasım 2020’de https://www.jbmdl.jb.mil/News/Article-Display/Article/243602/ virtual-simulators-provide-realistic-training/ adresinden alınmıştır.
41. Harper, J. (2016). Army to Build Synthetic Training Environments. 19 Kasım 2020’de https://www.nationaldefensemagazine.org/articles/2016/11/17/ army-to-build-synthetic-training-environments adresinden alınmıştır.
42. Kipman, A. (2019). Controversy around HoloLens 2 Field of View continues. 12 Ekim 202’de https://mspoweruser.com/controversy-around-hololens-2-field-of-view-continues/ adresinden alınmıştır.
43. Millisavunma.com (2020). Songar Silahli Drone Sistemi 20 Kasım 2020’de http://www.millisavunma.com/songar-silahli-drone-sistemi/ adresinden alınmıştır.
44. Palladino, T. (2019). Airbus Previews Military Sandbox App for HoloLens. 20 Kasım 2020’de https://hololens.reality.news/news/airbus-previews-military-sandbox-app-for-hololens-0203995/%C2%A0 adresinden alınmıştır.
45. STM ThinkTech, (2019). Artırılmış Gerçeklik ve Harekât Sahasında Kullanımı. 18 Kasım 2020’de https://thinktech.stm.com.tr/detay.aspx?id=228 adresinden alınmıştır.
46. STM ThinkTech, (2018). Askeri Eğitimde Son Teknolojinin Kullanımı, 12 Eylül 2020’ de https://thinktech.stm.com.tr/detay.aspx?id=190 adresinden alınmıştır.
47. Warren, R. (2016). Microsoft's HoloLens could power tanks on a battlefield. 29 Kasım 2020’de https://www.theverge.com/2016/11/3/13507278/ microsoft-hololens-military-helmet-concept adresinden alınmıştır.