Production of Six-Axis Robot Arms with Additive Manufacturing and Classification of Image Processing and Artificial Intelligence Based Products

Abstract

In the study, it is aimed that a robot arm with 5+1 degrees of freedom can detect an object in a certain position and in a certain shape and provide control accordingly. It is aimed to use the studied theoretical and algorithmic structure in real and simulation applications. Real-time and smart applications have been realized in the application of the robot arm. During the design phase, the necessary calculations were made for the control of the robot arm by using 6 stepper motors. The ability of the robot to determine the object to which it will go, has been realized by using image processing and artificial intelligence methods. First, the robot arm was designed with the help of design programs. The designed robot arm was manufactured using Biopolymer Polylactic Acid (PLA) material with the additive manufacturing method. A suitable motor and programming card (PLC) has been applied to the designed robot arm. Six axes are programmed with the software prepared in PLC. D-H table was calculated according to the limb lengths and axis movements of the robot arm. Forward and inverse kinematics calculations were made by obtaining transformation matrices for each axis. In the study, image processing and U2-Net artificial intelligence technique were used to detect objects and calculate centers of gravity. Background deletion was performed on the obtained RGB images using the U2-Net artificial intelligence model, and the color spaces were converted to HSV color space to detect objects by color. A total of 20 experiments were carried out using image processing and artificial intelligence techniques of a robot arm that can move on an axis with 5+1 degrees of freedom, the parts of which were produced and the software of which was produced, and it was determined that the margins of error varied between 0 mm and 22 mm, and the average margin of error was It was determined as 10.5 mm.

Keywords

• Robot arm
• Robotics
• Additive Manufacturing
• Image processing
• Artificial Intelligence.

Eklemeli İmalat Yöntemiyle Üretilen Altı Eksenli Robot Kol ile Görüntü İşleme ve Yapay Zeka Tabanlı Ürünlerin Tasniflemesi

Öz

Çalışmada, 5+1 serbestlik derecesine sahip bir robot kolunun belirli bir konumdaki ve belirli biçimdeki bir objeyi tespit edip buna göre kontrol sağlaması amaçlanmıştır. Çalışılan teorik ve algoritmik yapının gerçek ve simülasyon uygulamalarında kullanılması hedeflenmiştir. Robot kolun uygulamasında gerçek zamanlı ve akıllı uygulamalar gerçekleştirilmiştir. Tasarım aşamasında 6 adet adım motor kullanılarak robot kolun kontrolü için gerekli hesaplamalar yapılmıştır. Robota gideceği konumu alacağı objeyi belirleme yeteneği görüntü işleme ve yapay zekâ yöntemleri kullanılarak gerçekleştirilmiştir. İlk olarak tasarım programları yardımıyla robot kol tasarlanmıştır. Tasarlanan robot kol eklemeli imalat yöntemiyle Biopolimer Polilaktik Asit (PLA) malzemesi kullanılarak imal edilmiştir. Tasarlanan robot kola uygun motor ve programlama kartı (PLC) uygulanmıştır. PLC hazırlanan yazılım ile altı eksen de programlanmıştır. Robot kolun uzuv uzunlukları ve eksen hareketlerine göre D-H tablosu hesaplanmıştır. Her bir eksen için dönüşüm matrisleri elde edilerek ileri ve ters kinematik hesaplamaları yapılmıştır. Çalışmada nesnelerin tespiti ve ağırlık merkezleri hesaplamak için görüntü işleme ve U2-Net yapay zekâ tekniği kullanılmıştır. Elde edilen RGB görüntüler üzerinde U2-Net yapay zekâ modeli kullanılarak arka plan silme işlemi gerçekleştirilmiş ve nesnelerin renge göre tespit edebilmek için renk uzayları HSV renk uzayına dönüştürülmüştür. Gerçekleştirilen çalışma ile parçaları üretilen ve yazılımı gerçekleştirilen robot kol 5+1 serbestlik dereceli eksende hareket edebilen bir robot kolun görüntü işleme ve yapay zekâ tekniği kullanılarak toplam 20 adet deney yapılarak hata payları 0 mm ile 22 mm arasında değişen değerler aldığı belirlenmiş ve ortalama hata payı 10,5 mm olarak belirlenmiştir.

Anahtar Kelimeler

• Robot Kol.
• Robotik
• Eklemeli İmalat
• Görüntü İşleme
• Yapay Zeka

References

1. Altun Y., Öztürk Z., Özüberk H., Bulanık mantık ve arduino kullanarak step motorun hız kontrolü. Düzce Üniversitesi Bilim ve Teknoloji Dergisi, 4(2), 672-680, 2016.
2. ASTM Committee F42 on Additive Manufacturing Technologies. Subcommittee F42, Standard Terminology for Additive Manufacturing General Principles—Terminology, ASTM International, 2012.
3. Awad A., Goyanes A., Basit A. W., Zidan A. S., Xu C., Li, W., Chen R.K., A Review of State-of-the-Art on Enabling Additive Manufacturing Processes for Precision Medicine. Journal of Manufacturing Science and Engineering, 145(1), 010802, 2023.
4. Ayyıldız M., Çetinkaya K., Predictive modeling of geometric shapes of different objects using image processing and an artificial neural network. Proceedings of the Institution of Mechanical Engineers, Part E: Journal of Process Mechanical Engineering, 231(6), 1206-1216, 2017.
5. Barutçuoğlu E. I., Robotların Tarihçesi, Boğaziçi Üniversitesi, İstanbul, 2001.
6. Berki K., Yapay Sinir Ağları ile Robot Kolu Kontrolü. (Yüksek Lisans Tezi, Dokuz Eylül Üniversitesi, Fen Bilimleri Enstitüsü), 2013.
7. Bilic P., Christ P., Li H. B., Vorontsov E., Ben-Cohen A., Kaissis G., Menze B., The liver tumor segmentation benchmark (lits). Medical Image Analysis, 84, 102680, 2023.
8. Brambilla C. R., Okafor-Muo O. L., Hassanin H., ElShaer A., 3D printing of oral solid formulations: A systematic review. Pharmaceutics, 13(3), 358, 2021.

9. Butters L., Xu Z., Klette R., Using machine vision to command a 6-axis robot arm to act on a randomly placed zinc die cast product. Proceedings of the 2nd International Conference on Control and Computer Vision, 8-12, 2019.
10. Büyükkoçak Y., Görüntü işleme tabanlı aydınlatma ölçüm sistemi tasarımı ve uygulaması. MS thesis. Bilecik Şeyh Edebali Üniversitesi, Fen Bilimleri Enstitüsü, 2018.
11. Cristalli C., Lattanzi L., Massa D., Angione G. Cognitive robot referencing system for high accuracy manufacturing task. Procedia Manufacturing, 11, 405-412, 2017.
12. Doğan S., Akar F., Baran A., Geliştirilmiş Sobel Kenar Bulma Operatörünün Farkli Renk Uzaylarindaki Performansinin Değerlendirilmesi. Mühendislikte Güncel Araştırmalar, 8, 142-153, 2022.
13. Elhedda W., Mehri M., Mahjoub M. A., A comparative study of filtering approaches applied to color archival document images. Proceedings of The International Arab Conference on Information Technology (ed M Kherallah), Hammamet, TN, USA, IEEE Explore, 1–8, 2017.
14. Grapcad., https://grabcad.com/library/eklemeli-imalat-yontemiyle-uretilen-alti-eksenli-robot-kol-ile-urunlerin-goruntu-isleme-ve-yapay-zeka-tabanli-tasniflenmesi-1, Erişim tarihi 04.04.2023
15. Guida R., De Simone M. C., Dašić P., Guida, D., Modeling techniques for kinematic analysis of a six-axis robotic arm. IOP Conference Series: Materials Science and Engineering, 568, IOP Publishing, 1-6, 2019.
16. Havusoğlu H., Robot kol tasarımı, kinematik analizi ve etkileşimli kontrolü. (Yüksek Lisans Tezi, Dokuz Eylül Üniversitesi, Fen Bilimleri Enstitüsü), 2014.
17. Jhang L. H., Santiago C., Chiu C. S., Multi-sensor based glove control of an industrial mobile robot arm. 2017 International Automatic Control Conference (CACS), 1-6, IEEE, 2017.
18. Joubair A., Zhao L. F., Bigras P., Bonev I. A., Use of a force-torque sensor for self-calibration of a 6-DOF medical robot. Sensors, 16(798), 1-19, 2016.
19. Joubair A., Zhao L. F., Bigras P., Bonev I., Absolute accuracy analysis and improvement of a hybrid 6-DOF medical robot. Industrial Robot: An International Journal, 42(1), 44-53, 2015.
20. Kayışlı K., Uğur M., 3 Serbestlik Dereceli Bir Robot Kolun Bulanık Mantık ve PID ile Kontrolü. Gazi Üniversitesi Fen Bilimleri Dergisi Part C: Tasarım ve Teknoloji, 5(4), 223-234, 2017.
21. Küçük S., Bingül Z., Robot kinematics: Forward and inverse kinematics. London, UK: INTECH Open Access Publisher, 4, 117-148, 2006.
22. Lattanzi L., Cristalli C., Massa D., Boria S., Lépine P., Pellicciari M., Geometrical calibration of a 6-axis robotic arm for high accuracy manufacturing task. The International Journal of Advanced Manufacturing Technology, 111, 1813-1829, 2020.
23. Li K., Xu Y., Zhao Z., Meng M. Q. H., External and internal sensor fusion based localization strategy for 6-dof pose estimation of a magnetic capsule robot. IEEE Robotics and Automation Letters, 7(3), 6878-6885, 2022.
24. Li L., Haghighi A., Yang Y., A Novel 6-Axis Hybrid Additive-Subtractive Manufacturing Process: Design and Case Studies. Journal of Manufacturing Processes, 33, 150-160, 2018.
25. Öğülmüş A. S., Yedi Serbestlik Dereceli iki Küresel Bir Doğrusal Eyleyicili Robot Kolu Sisteminin Tasarımı ve Dinamik Analizi, Necmettin Erbakan Üniversitesi, Fen Bilimleri Enstitüsü, Doktora Tezi, 2022.
26. Özsoy K, Aksoy B, Salman O. K. M., Investigation of the dimensional accuracy using image processing techniques in powder bed fusion. Proceedings of the Institution of Mechanical Engineers, Part E: Journal of Process Mechanical Engineering, 235(5), 1587-1597, 2021.
27. Ramírez I. S., Márquez F. P. G., Papaelias M., Review on additive manufacturing and non-destructive testing. Journal of Manufacturing Systems, 66, 260-286, 2023.
28. Russ J. C., Neal F. B., The image processing handbook. Boca Raton: CRC Press, 2016.
29. Sahu S., Choudhury B. B., Biswal B. B., A vibration analysis of a 6axis industrial robot using FEA. Materials Today: Proceedings, 4(2), 2403-2410, 2017.
30. Schaler E. W., Wisnowski J., Iwashita Y., Edlund J. A., Sly J. H., Raff, W., Townsend J. A., Two-stage calibration of a 6-axis force-torque sensor for robust operation in the Mars 2020 robot arm. Advanced Robotics,35(21-22), 1347-1358, 2021.
31. Shao J., Zhou K., Cai Y. H., Geng, D. Y., Application of an Improved U2-Net Model in Ultrasound Median Neural Image Segmentation. Ultrasound in Medicine & Biology, 48(12), 2512-2520, 2022.
32. Siemens, Erişim Adresi: www.siemens.com.tr Erişim Tarihi: 01/12/2022.
33. Talli A., Meti V. K. V., Design, simulation, and analysis of a 6-axis robot using robot visualization software. IOP Conference Series: Materials Science and Engineering, IOP Publishing, 872, 1-9, 2020.
34. Ye Z., Wei J., Lin Y., Guo Q., Zhang J., Zhang H., Yang K., Extraction of olive crown based on UAV Visible images and the U2-Net deep learning model. Remote Sensing, 14(6), 1523, 2022.
35. Yılmaz A. Real time security application with image processing using camera. Haliç Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi, 2007.
36. You N., Han L., Zhu D., Song W. Research on Image Denoising in Edge Detection Based on Wavelet Transform. Applied Sciences, 13(1837), 1-13, 2023.
37. Zhang Z., Feng S., Almotairy A., Bandari S., Repka M. A., Development of multifunctional drug delivery system via hot-melt extrusion paired with fused deposition modeling 3D printing techniques. European Journal of Pharmaceutics and Biopharmaceutics, 183(February), 102-111, 2023.
38. Zhou S., Canchila C., Song W., Deep learning-based crack segmentation for civil infrastructure: data types, architectures, and benchmarked performance. Automation in Construction, 146(February-104678), 1-20, 2023.