Development of an Intelligent Robot System with Capabilities of Deep Learning Based Object Recognition

Abstract

In daily life, many auxiliary functions for humans have begun to be performed by robots. Robot arms, especially used in industry, identify the objects coming into the work area, determine the properties of the relevant object, and can make decisions close to human intelligence in production by adjusting the holding power and position that should be applied accordingly. Among these functions, recognition, positioning, and retention are performed by artificial intelligence algorithms based on people's thinking and solution generation systems. Deep learning, which is one of the artificial intelligence approaches, has been used for many different problems recently and it has been seen that successful results have been obtained. The aim of this study is to position the object in order to reach the holding position for a classical robot arm and to provide a system that can automatically determine the appropriate grip parameters for the object to be held and lifted. In the creation of the mechanical system of the robot arm, the models produced from 3D drawing programs were printed using a 3D printer. In this way, information on how to use 3D printer technology in such a system was shared. In addition, thanks to this technology, low cost, and easily configurable models have been created. A deep learning algorithm based on Convolutional Neural Networks (CNN), one of the artificial intelligence methods, has been used in order to realize the real-time object recognition function and to make the system intelligent and learnable. Detailed information is given about the preliminary preparation processes that must be done in order for the algorithm to work efficiently. From the results obtained with the simulation tests, it has been seen that the proposed system successfully performs these functions.

Keywords

• Robot Arm
• Deep Learning
• Convolutional Neural Networks
• Object Detection
• Faster R-CNN

Derin Öğrenme Tabanlı Nesne Tanıma Yeteneklerine Sahip Akıllı Robot Sisteminin Geliştirilmesi

Abstract

Günlük yaşamda insanlar için birçok yardımcı işlevi robotlar tarafından gerçekleştirilmeye başlanmıştır. Özellikle endüstride kullanılan robot kollar, çalışma alanına gelen nesneleri tanımlayarak, ilgili nesnenin özelliklerini belirlemekte, buna göre uygulanması gereken tutma gücünü ve pozisyonunu ayarlayarak üretimde insan zekasına yakın kararlar verebilmektedir. Bu işlevlerden tanıma, konumlandırma ve tutma insanların düşünme ve çözüm üretme sistemleri baz alınarak oluşturulan yapay zeka algoritmaları ile gerçekleştirilmektedir. Yapay zeka yaklaşımlarından olan derin öğrenme son zamanlarda birçok farklı problem için kullanılmış ve başarılı sonuçlar elde edildiği görülmüştür. Bu çalışmanın amacı, klasik bir robot kol için nesnenin tutma pozisyonuna ulaşmak amacıyla konumlandırılması ve nesnenin tutup kaldırılabilmesi için uygun kavrama parametrelerini otomatik olarak belirleyebilen bir sistemin oluşturulmasının sağlanmasıdır. Robot kolun mekanik sisteminin oluşturulmasında 3 boyutlu çizim programlarından üretilen modeller 3 boyutlu yazıcı kullanılarak basılmıştır. Bu sayede 3 boyutlu yazıcı teknolojisinin bu tür bir sistemde nasıl kullanılacağı bilgisi paylaşılmıştır. Ayrıca bu teknoloji sayesinde düşük maliyetli ve rahatlıkla konfigüre edilebilen modeller oluşturulması sağlanmıştır. Gerçek zamanlı nesne tanıma işlevini gerçekleştirebilmek, sistemi zeki ve öğrenebilir hale getirmek amacıyla, yapay zeka methodlarından, Evrişimli Sinir Ağları(CNN) temelli derin öğrenme algoritması kullanılmıştır. Algoritmanın verimli çalışabilmesi için yapılması gereken ön hazırlık süreçleri hakkında detaylı bilgi verilmiştir.Yapılan simülasyon testleri ile elde edilen sonuçlardan, önerilen sistemin bu işlevleri başarıyla gerçekleştirdiği görülmüştür.

Keywords

• Robot Kol
• Derin Öğrenme
• Evrişimli Sinir Ağları
• Nesne Tanıma
• Faster R-CNN

References

1. Ali, Md Hazrat et al. 2018. “Vision-Based Robot Manipulator for Industrial Applications.” Procedia Computer Science 133: 205–12.
2. ÇELEBİ, Ahu, Adem KORKMAZ, Tuğcan YILMAZ, and Halil TOSUN. 2019. “3 Boyutlu Yazıcı İle 6 Eksenli Robot Kol Tasarım Ve İmalatı.” International Journal of 3D Printing Technologies and Digital Industry 3(3): 269–78.
3. Cömert, Onur, Mahmut Hekim, and Kemal ADEM. 2019. “Faster R-CNN Kullanarak Elmalarda Çürük Tespiti.” Uluslararası Mühendislik Araştırma ve Geliştirme Dergisi 11(1):335–41.
4. Fatih IŞIK, Mehmet. 2016. “Doğru Akım Servo Motorun Device-Net Ağı Üzerinden Uzaktan Kontrolü.” BEU Journal of Science 5(2): 203–9.
5. González-Galván, Emilio J. et al. 2001. “A Graphical User Interface for Industrial Robot Programming in Non-Repetitive Tasks.” Human Friendly Mechatronics: 67–71.
6. Khosravı Malekı, Farshid, Ebucihat Aktaş, Evren Cantürk, and Mehmet Akyemiş. 2021. “Kaynak Yapımında Kullanılan Robotik Kolun Maliyetinin Azaltılması İçin Bir Öneri.” Gazi Mühendislik Bilimleri Dergisi 7(1): 67–80.
7. Kulkarni, Ajay, Deri Chong, and Feras A. Batarseh. 2020. “Foundations of Data Imbalance and Solutions for a Data Democracy.” Data Democracy: At the Nexus of Artificial Intelligence, Software Development, and Knowledge Engineering: 83–106.
8. Li, Cui jin, Zhong Qu, Sheng ye Wang, and Ling Liu. 2021. “A Method of Cross-Layer Fusion Multi-Object Detection and Recognition Based on Improved Faster R-CNN Model in Complex Traffic Environment.” Pattern Recognition Letters 145: 127–34.

9. Maruyama, Tsugito, and Muneshige Yamazaki. 2001. “Autonomous Mobile Robot for Carrying Food Trays to the Aged and Disabled.” Human Friendly Mechatronics: 93–98.
10. Özkaya, Semih, Çağlar Conker, and Hasan Hüseyin Bilgiç. 2021. “Esnek Robot Kol Sistemi İçin Lqr Denetleyici Parametrelerinin Metasezgisel Algoritmalar Kullanılarak Belirlenmesi.” Konya Mühendislik Bilimleri Dergisi 9(3): 735–52.
11. Özkaya, Umut, Öztürk, Şaban, Melgani, Farid, and Seyfi, Levent 2021. “Residual CNN+ Bi-LSTM model to analyze GPR B scan images.” Automation in Construction, 123, 103525.
12. Papapaschos, Vasileios, Evgenios Bontarenko, and Agathoklis A. Krimpenis. 2020. “HydraX, a 3D Printed Robotic Arm for Hybrid Manufacturing. Part II: Control, Calibration & Programming.” Procedia Manufacturing 51: 109–15.
13. Pathak, Ajeet Ram, Manjusha Pandey, and Siddharth Rautaray. 2018. “Application of Deep Learning for Object Detection.” Procedia Computer Science 132: 1706–17.
14. Sin, Lee Tin, Abdul R. Rahmat, and Wan A.W.A. Rahman. 2013. “Overview of Poly(Lactic Acid).” Handbook of Biopolymers and Biodegradable Plastics: Properties, Processing and Applications: 11–54.
15. Sloane, Elliot B., and Ricardo J. Silva. 2019. “Artificial Intelligence in Medical Devices and Clinical Decision Support Systems.” Clinical Engineering Handbook, Second Edition: 556–68.
16. TDS. “R-CNN, Fast R-CNN, Faster R-CNN, YOLO — Object Detection Algorithms | by Rohith Gandhi | Towards Data Science.” https://towardsdatascience.com/r-cnn-fast-r-cnn-faster-r-cnn-yolo-object-detection-algorithms-36d53571365e (February 24, 2022).
17. TG.” https://www.thingiverse.com/thing:1838120 (February 22, 2022).
18. WEIR, R. 2002. “Robotics and Manipulators.” Clinician’s Guide to Assistive Technology: 281–93.
19. Willer, Derrick. 1984. “Computer Aıded Manufacturıng.” CME. Chartered mechanical engineer 31(7–8): 22–24.
20. Yang, Su et al. 2018. “Faster R-CNN Based Microscopic Cell Detection.” 2017 International Conference on Security, Pattern Analysis, and Cybernetics, SPAC 2017 2018-January: 345–50.
21. Yusoff, Mohd Ashiq Kamaril, Reza Ezuan Samin, and Babul Salam Kader Ibrahim. 2012. “Wireless Mobile Robotic Arm.” Procedia Engineering 41: 1072–78.