Doğal dil işleme ve derin öğrenme algoritmaları ile makine dili modellemesi

Abstract

İnsanlar ve tüm canlılar için dil, iletişim konusunda en önemli unsurlardandır. Literatürde dillerin oluşumu ve doğal dil işleme süreçleri ile ilgili oldukça fazla sayıda çalışmalar yapılmış; bu çalışmalarda analiz, yaklaşım ve yöntem açısından farklılıklar içerdiği görülmüştür. Çalışmada literatüre katkı olarak makinelerin kendi dilini oluşturabilmesi için bir model önerilmiştir. Bu bakış açısı ile makinelerin kendi aralarında insanlar gibi kendi dilleri ile iletişim kurarak tüm süreçlerin verimliliğinde artış olacağı düşüncesine katkıda bulunulmuştur. Makinelerin kendi dillerini üretebilmesi adına bir yaklaşım geliştirilmesi amacı ile çalışmada evrişimli derin sinir ağları yöntemi ile canlıların seslerini sınıflandırarak ayırt etmesi ve yeni sesler türetebilmesi hedeflenmiştir. Çalışmada, kullanılacak olan alfabenin ne olacağı sistem tarafından karar verilmesi sağlanmış; daha sonrasında Yinelemeli Yapay Sinir Ağları, Mel Frekans Cepstral Katsayısı ve Dinamik Zaman Çözgü metodolojileri ile birlikte kullanılarak benzer sesler oluşturulmuş ve canlılar ilgili sesler ile isimlendirilmiştir. Benzer çalışmalardan farklı olarak Kaggle açık veri deposundan “Audio Cats and Dogs” verisetindeki ses dosyaları üzerinden elde edilen MFCC görsel bir veri olarak kullanılmıştır. Bunun yanında CNN ağları ile model desteklenerek daha iyi performans elde edilmesi sağlanmıştır.

Keywords

• Makine dili
• makine öğrenmesi
• doğal dil işleme
• evrişimsel sinir ağları

Modelling the machines’ language with natural language processing and deep learning algorithms

Abstract

Language is one of the most important elements of communication for people and all living things. A large number of studies have been conducted in the literature on the formation of languages and natural language processing processes. It has been observed that these studies contain differences in terms of analysis, approach and method. In the study, a model has been proposed for machines to create their own language as a contribution to the literature. With this point of view, it has been contributed to the idea that the efficiency of all processes will increase by communicating with each other in their own language like humans. With the aim of developing an approach for machines to produce their own languages, it is aimed to distinguish the sounds of living things by classifying them and to generate new sounds by using convolutional deep neural network method. In the study, the applied alphabet was decided by the system. In next step, Regenerative Artificial Neural Networks were used together with Mel Frequency Cepstral Coefficient and Dynamic Time Warp methodologies to create similar sounds and the living things were named with their respective sounds. Unlike similar studies, a visual data was applied which was converted from the audio files that was obtained from Kaggle open data repository "Audio Cats and Dogs" dataset. In addition, the model was supported with CNN networks to achieve effective performance.

Keywords

• Machine language
• machine learning
• natural language processing
• convolutional neural networks

References

1. [1] A. M. Turing, “Computing machinery and intelligence,” Mind, vol. 59, no. 236, pp. 433-460, 1950.
2. [2] T. Winograd, “Five lectures on artificial intelligence,”, 1st ed., Standford University, 1974.
3. [3] J. Searle, “Minds, brains and programs,” The Behavioral and Brain Sciences. 1980.
4. [4] A. Dayan, “Doğal dil işleme ile makinelerin kendi dilini modellemesi,” M.S. thesis, Dept. Computer. Eng., Beykent Univ., İstanbul, Türkiye, 2022.
5. [5] Kaggle audio cats and dogs dataset [Online]. Available: https://www.kaggle.com/datasets/mmoreaux/audio-cats-and-dogs, Accessed on: Aug. 10, 2021
6. [6] P. J. Rani, J. Bakthakumar, B. P. Kumar, U. P. Kumaar and S. Kumar, “Voice controlled home automation system using natural language processing(NLP) and internet of things(IoT),” in Proc. ICONSTEM, 2017, pp. 368-373.
7. [7] G. Alexakis, S. Panagiotakis, A. Fragkakis, E. Markakis, E. and K. Vassilakis, “Control of smart home operations using natural language processing, voice recognition and IoT technologies in a multi-tier architecture,” Designs, vol. 3, no. 3, pp. 32, 2019.
8. [8] J. Mass, S. N. Srirama, H. Flores, and C. Chang, “Proximal and social-aware device-to-device communication via audio detection on cloud,” In Proc. 13th International Conference on Mobile and Ubiquitous Multimedia, 2014, pp. 143-150.

9. [9] M. E. Almahdi, “Doğal dillerin zaman ve konuma bağlı değişimlerinin nicel olarak ölçülmesi,” M.S. thesis, Fen Bilimleri Enstitüsü, Gebze Teknik Üniversitesi, Kocaeli, Türkiye, 2020.
10. [10] A. Toprak, “Doğal dil işleme ile ingilizce otomatik sözlük oluşturma,” M.S. thesis, İstanbul Ticaret Üniversitesi Fen Bilimleri Enstitüsü, İstanbul, Türkiye, 2019.
11. [11] B. Büyüköz, “Doğal dil işlemede bağlam odaklı derin öğrenme yöntemlerinin transfer kapasitesinin metin sınıflandırması problemi üzerinden incelenmesi,” M.S. thesis, Boğaziçi Üniversitesi Fen Bilimleri Enstitüsü, İstanbul, Türkiye, 2016.
12. [12] D. G. Özcan, “Doğal dil işleme tekniklerinin incelenmesi ve seyahat-turizm sesli asistanı için Türkçe varlık ismi tanıma aracı geliştirilmesi,” M.S. thesis, Akdeniz Üniversitesi Fen Bilimleri Enstitüsü, Antalya, Türkiye, 2020.
13. [13] A. Yılmaz, “Yapay Zekâ,”. Kodlab Yayınevi, İstanbul, Türkiye, 2020.
14. [14] E. Brill, and R. J. Mooney, “An Overview of Empirical Natural Language Processing,” AI Magazine, vol. 18, no. 4, 1997.
15. [15] K. R. Chowdhary, “Fundamentals of Artificial Intelligence,” Springer, 2020.