Twitter Üzerindeki Finansal Tweetlerin LSTM Sinir Ağı Algoritması ile Duygu Analizi

Abstract

Bu çalışmada, duygu analizi yöntemiyle EUR/USD hareket yönünü tahmin etmek için geliştirilen Uzun-Kısa Vadeli Bellek (LSTM) Modeli sunulmaktadır. Çalışmada veri setlerinin belirlenmesi ile modelin eğitimi/testi olmak üzere iki uygulama yapılmıştır. Çalışmada yapılan ilk uygulama kullanılacak veri setinin oluşturulması aşamalarını içermektedir. Bu veri seti ilk defa bu çalışma kapsamında oluşturulmuştur. Veri setinin oluşturulmasında ilk olarak 2005 yılından günümüze kadar Twitter üzerindeki #eurusd konu etiketli veya eurusd kelimesini barındıran filtrelenmiş İngilizce tweet mesajları içeriklerine göre duygu analizi yöntemiyle sınıflandırılmıştır. Bu maksatla her bir tweetin olumlu, olumsuz veya tarafsız (nötr) olup olmadığı belirlenmiş ve günlük olarak bu tweetlerin duygu oranlarının ortalamaları hesaplanmıştır. Veri setinin oluşturulmasında ikinci olarak finance.yahoo.com sitesinden EUR/USD değerleri günlük bazda elde edilmiştir. Veri setinin oluşturulmasındaki son aşama ise anlatılan birinci ve ikinci adımlarda elde edilen zaman serisine dayalı veriler. csv formatında bir veri seti yapısında birleştirilmiştir. Böylelikle yüksek tahmin başarı oranına sahip LSTM modelinin eğitilmesi ve testi aşamalarında kullanılacak olan zaman serisi verilerine dayalı veri seti elde edilmiştir. Veri seti belirlendikten sonra LSTM tahmin modelinin eğitimi ve testi aşamasına geçilmiştir. Çalışmada yapılan ikinci uygulama modelin eğitimi/testi aşamalarını içermektedir. Bu aşamada en yüksek başarı oranına sahip LSTM tahmin modelini belirlemek maksadıyla eğitim adımlarının ve LSTM sinir ağı katman yapısının değiştirilmesi suretiyle farklı deneyler yapılmıştır. Yapılan bu deneyler sonucunda %94,48 başarı oranına sahip en iyi LSTM modeli belirlenmiştir. Çalışma neticesinde elde edilen sonuçlar geliştirilen LSTM tahmin modelinin para piyasalarında EUR/USD hareket yönünün yüksek doğrulukta tahmin edilmesinde yardımcı bir araç olarak kullanılabileceği yönündedir. Araştırmanın sonuçları Yapay zeka algoritmaları ile duygu analizi açısından önemli bilgiler içermesinin yanı sıra, gelecekte farklı sektörlerde uygulanması açısından değer taşımaktadır.

Keywords

• Derin öğrenme
• LSTM
• Finansal Analiz
• EUR/USD Tahmini
• Duygu Analizi.

Sentiment Analysis of Financial Twitter Posts on Twitter with the LSTM Neural Network Algorithm

Abstract

This study presents the Long-Short-Term Memory (LSTM) model developed to predict the direction of movement of the EUR/USD through sentiment analysis. Two applications are carried out in the study, namely, determination of data sets and training/testing of the model. The first application in the study involves the stages of creating the dataset to be used. This dataset is created for the first time in this study. In creating the dataset, filtered English tweet messages with the hashtag #eurusd or the word eurosd on Twitter from 2005 to the present are first classified according to their content using sentiment analysis. For this purpose, each tweet is determined to be positive, negative or neutral (neutral) and the average of the sentiment scores of these tweets is calculated on a daily basis. Secondly, EUR/USD values are obtained from finance.yahoo.com on a daily basis to create the dataset. The last step in the creation of the dataset is to summarise the data based on the time series obtained in the first and second steps described in a dataset structure in csv format. In this way, a dataset based on time series data is obtained, which is used in the training and testing phase of the LSTM model and has a high prediction success rate. Once the dataset is determined, the training and testing phase of the LSTM prediction model is started. The second application in the study involves the training/testing phases of the model. In this phase, various experiments are conducted in which the training steps and the structure of the LSTM layers of the neural network are changed to determine the LSTM prediction model with the highest success rate. As a result of these experiments, the best LSTM model is determined with a success rate of 94.48%. The results of the study show that the developed LSTM prediction model can be used as a helpful tool for estimating the direction of movement of EUR/USD in money markets with high accuracy. The results of the research are valuable in terms of application in different sectors in the future, as well as containing important information in terms of Artificial Intelligence algorithms and sentiment analysis.

Keywords

• Deep learning
• LSTM
• Financial Analysis
• EUR/USD Forecast
• Sentiment Analysis

References

1. Altemur N., Karaca S., “Türkiye için finansal belirsizlik endeksi önerisi”. Uluslararası Yönetim Eğitim ve Ekonomik Perspektifler Dergisi. 9(1), 64-77, 2021.
2. Şak N., "Finansal piyasalar ve risk algısı: Türkiye üzerine bir inceleme”. Finansal Araştırmalar ve Çalışmalar Dergisi. 13(25), 717-731, 2021.
3. Doru Ö., Düşünceli F., " Türkiye’de ticari dışa açıklık ve enflasyon ilişkisi: ardl sınır testi ve nedensellik analizi”. Finansal Araştırmalar ve Çalışmalar Dergis Kafkas Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi. 12(23), 37-54, 2021.
4. Çoban Ö., Özyer GT., “Twitter duygu analizinde terim ağırlıklandırma yönteminin etkisi”. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi. 24(2), 283-91, 2018.
5. Namlı E., Ünlü R., Gül E., “Fiyat tahminlemesinde makine öğrenmesi teknikleri ve doğrusal regresyon yöntemlerinin kıyaslanması; Türkiye’de satılan ikinci el araç fiyatlarının tahminlenmesine yönelik bir vaka çalışması”. Konya Mühendislik Bilimleri Dergisi, 7(4), 806-821, 2019
6. Aydın C., Darıcı B., Çelik U., “Tekstil fiyatları taminlemesinde YSA ve KNEA model Karşılaştırması”. International Conference on Empirical Economics and Social Sciences (ICEESS’18), Bandırma, Türkiye, 27-28 Temmuz 2018.
7. Çelik U., Başarır Ç., “ARPS düşüş eğrisi modelinden genişletilen çok değişkenli doğrusal olmayan model ile altın fiyatlarının analiz edilmesi”. International Conference on Empirical Economics and Social Sciences (ICEESS’18), Bandırma, Türkiye, 27-28 Temmuz 2018.
8. Taş T., Selim S., “Türkiye'de vadeli işlem ve opsiyon piyasası'nın etkinliği ve sözleşmelerin karşılaştırmalı fiyat öngörüsü”. Ege Akademik Bakış Degisi, 19(4), 469-485, 2019.

9. Özçalıcı M., “Aşırı öğrenme makineleri ile hisse senedi fiyat tahmini”. Hacettepe Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 35(1), 67-88, 2017.
10. Özçalıcı M., “Yapay sinir ağları ile çok aşamalı fiyat tahmini: BIST30 senetleri üzerine bir araştırma”. Dokuz Eylül Üniversitesi İktisadi İdari Bilimler Fakültesi Dergisi, 31(2), 209-227, 2016.
11. Kayaalp K., Süzen A. A., “Derin Öğrenme ve Türkiye’deki Uygulamaları”. Türkiye, IKSAD International Publishing House, 2018.
12. Ervural B. Ç., Sarı İ. U., Koçyiğit B., “Kural tabanlı bulanık yaklaşımla talep tahmini ve hızlı tüketim sektöründe bir uygulama”. Pamukkale Üniversitesi Mühendislik Bilimleri Dergisi. 24(1), 83-93, 2018.
13. İnik Ö., Ülker E., “Derin öğrenmede kullanılan veri setleri ve yazılım kütüphaneleri”. 1st International Symposium on Multidisciplinary Studies and Innovative Technologies Proceedings Book, Tokat, Turkey, 2-4 Kasım 2017.
14. Özkişi H., Topaloğlu M., “Fotovoltaik hücrenin verimliliğinin yapay sinir ağı ile tahmini”. Bilişim Teknolojileri Dergisi, 10(3), 247-253, 2017.
15. Ser G., Bati C. T., “Derin sinir ağları ile en iyi modelin belirlenmesi: mantar verileri üzerine Keras uygulaması”. Yüzüncü Yıl Üniversitesi Tarım Bilimleri Dergisi, 29(3), 406-417, 2019.
16. Şenocak F., “Elektrik Piyasa Takas Fiyatı Ağırlıklı Ortalamasının Anfıs ve Yapay Sinir Ağları ile Tahmini”. Doktora Tezi, Karadeniz Teknik Üniversitesi, Trabzon, Türkiye 2018.
17. Özçalıcı M., “Eşik değerinin hisse senedi fiyat tahmin performansına etkisinin incelenmesi”. Hacettepe University Journal of Economics & Administrative Sciences/Hacettepe Üniversitesi Iktisadi ve Idari Bilimler Fakültesi Dergisi, 35(4), 97-114, 2017.
18. Yılmaz V., “Finansmanı öğrenen makineler”. 4th International Symposium on Innovative Approaches in Social, Human and Administrative Sciences, Samsun, Türkiye, 22-24 Kasım 2019.
19. Afşar A., Yılmazel Ö., Yılmazel S., “konut fiyatlarini etkileyen faktörlerin Hedonik model ile belirlenmesi: Eskişehir örneği”. Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 37, 195-205, 2017.
20. Çelik Ö., Osmanoğlu U.Ö., “Prediction of the prices of second-hand cars”. Avrupa Bilim ve Teknoloji Dergisi, 16, 77-83, 2019.
21. Hayrullahoğlu G., Aliefendioğlu Y., Tanrıvermiş H, Hayrullahoğlu A. C., “Konut piyasalarında Hedonik değerleme modeli tahmini: Ankara ili Çankaya ilçesi Çukurambar bölgesi örneği”. Proceedings of 2 nd International Conference on Scientific Cooperation for the Future in the Economics and Administrative Sciences, Selanik, Yunanistan, 6-8 Eylül 2017.
22. Özçalıcı M., “Hisse senedi fiyat tahmininde genetik algoritma ile değişken seçimi”. Anadolu Üniversitesi Sosyal Bilimler Dergisi, 17(3), 109-124, 2017.
23. Akşehir Z. D., Kılıç E., “Makine öğrenmesi teknikleri ile banka hisse senetlerinin fiyat tahmini”. Türkiye Bilişim Vakfı Bilgisayar Bilimleri ve Mühendisliği Dergisi, 12(2), 30-39, 2019.
24. Pabuçcu H., “Borsa endeksi hareketlerinin tahmini: trend belirleyici veri”. Selçuk Üniversitesi Sosyal Bilimler Meslek Yüksekokulu Dergisi, 22(1), 246-256, 2019.
25. Kanat E., Dilek Ş., “Pay senedi fiyatlarının bulanık mantık yaklaşımı ile tahmin edilmesi”. Uluslararası Yönetim İktisat ve İşletme Dergisi, 14(4), 977-1002, 2018.
26. Gencer A. H., Sakız B., “Yapay sinir ağları ile bitcoin fiyatını tahminleme”. Internatıonal Conference On Eurasıan Economıes, Taşkent, Özbekistan, 18-20 Haziran 2018.
27. Sarıkaya G., “Yapay sinir ağları ve regresyon modelleri ile Bist Ulusal-100 endeksinin tahmini”. 21. Yüzyılda Eğitim ve Toplum Eğitim Bilimleri ve Sosyal Araştırmalar Dergisi, 8(23), 325-340, 2019.
28. Onocak D., Koç S., “Yapay sinir ağları ile emeklilik yatırım fonu hisse senedi fiyatlarının tahmini”. Finans Ekonomi ve Sosyal Araştırmalar Dergisi, 3(3), 590-600, 2018.
29. Erdoğan N. K., “Finansal zaman serilerinin fraktal analizi”. Aksaray Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 9(4), 49-54, 2017.
30. Büyükşahin Ü. Ç., Ertekin Ş., “Tek değişkenli zaman serileri tahmini için öznitelik tabanlı hibrit ARIMA-YSA modeli”. Journal of the Faculty of Engineering & Architecture of Gazi University, 35(1), 467-478, 2020.
31. Can Ş., Gerşil M., “Manisa pamuk fiyatlarının zaman serisi analizi ve yapay sinir ağı teknikleri ile tahminlenmesi ve tahmin performanslarının karşılaştırılması”. Yönetim ve Ekonomi: Celal Bayar Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 25(3), 1017-1031, 2018.
32. Çam S., Ballı E., Sigeze Ç., “Petrol fiyatlarındaki oynaklığın Arch/Garch modelleri ve yapay sinir ağları algoritması ile tahmini”. Uluslararası Yönetim İktisat ve İşletme Dergisi, 13(5), 588-597, 2017.
33. Yiğiter Ş. Y., Sarı S. S., Başakın E. E., “Hisse senedi kapanış fiyatlarının yapay sinir ağları ve bulanık mantık çıkarım sistemleri ile tahmin edilmesi”. Kahramanmaraş Sütçü İmam Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 7(1), 1-22, 2017.
34. Yiğiter Ş. Y., Sarı S. S., Karabulut T., Başakın E. E., “Kira sertifikası fiyat değerlerinin makine öğrenmesi metodu ile tahmini”. Uluslararası İslam Ekonomisi ve Finansı Araştırmaları Dergisi, 4(3), 74-82, 2018.
35. Mazed M., Stock Price Prediction Using Time Series Data. PhD Thesis, Dakka, Bangladeş, Brac University, 2019.
36. Kilimci Z. H., “Borsa tahmini için derin topluluk modellleri (DTM) ile finansal duygu analizi”. Gazi Üniversitesi Mühendislik Mimarlık Fakültesi Dergisi, 35(2), 635-650, 2020.
37. Sezer Ö. B., Güdelek M. U., Özbayoğlu A. M., “Financial time series forecasting with deep learning: a systematic literature review: 2005–2019”. Applied Soft Computing, 90(106181), 2020.
38. Sakarya Ş., Yılmaz Ü., “Derin öğrenme mimarisi kullanarak BİST30 indeksinin tahmini”. European Journal of Educational and Social Sciences, 4(2), 106-121, 2019.
39. Çayır A., Yenidoğan İ., Dağ H., “Konutların günlük elektrik güç tüketimi tahmini için uygun model seçimi”. Fırat Üniversitesi Mühendislik Bilimleri Dergisi, 30(3), 15-21, 2018.
40. Mudinas A., Zhang D., Levene M., (2019). Market trend prediction using sentiment analysis: lessons learned and paths forward. arXiv preprint arXiv:1903.05440.
41. Xing F., Hoang D. H., Vo D. V., “High-frequency news sentiment and its application to forex market prediction”. In Proceedings of the 54th Hawaii International Conference on System Sciences (HICSS), 2020.
42. Bustos O., Pomares-Quimbaya A., “Stock market movement forecast: A Systematic review”. Expert Systems with Applications, 156, 113464, 2020.
43. Basiri M. E., Nemati S., Abdar M., Cambria E., Acharya U. R., “ABCDM: An attention-based bidirectional CNN-RNN deep model for sentiment analysis”. Future Generation Computer Systems, 115, 279-294, 2021.
44. Farha I. A., Magdy W., “A comparative study of effective approaches for arabic sentiment analysis”. Information Processing & Management, 58(2), 102438, 2021.
45. Birjali M., Kasri M., Beni-Hssane A., “A comprehensive survey on sentiment analysis: Approaches, challenges and trends”. Knowledge-Based Systems, 107134, 2021.
46. Sucu İ., “Yapay Zekânın toplum üzerindeki etkisi ve yapay zekâ (AI) filmi bağlamında yapay zekâya bakış”. Uluslararası Ders Kitapları ve Eğitim Materyalleri Dergisi, 2(2), 203-215, 2019.
47. Ömrüuzun B., Saldanlı A., “Yapay Sinir Ağları ile Kripto Paraların Fiyat Modellemesi”. MSc Thesis, Istanbul University, İstanbul, Türkiye, 2019.
48. Öztemel E., Yapay Sinir Ağları. Üçüncü baskı. İstanbul, Türkiye, Papatya Yayıncılık, 2012.
49. Ivakhnenko A., Grigorʹevich O., “Cybernetic predicting devices.” Purdue Unıv Lafayette Ind School Of Electrıcal Engıneerıng, 1966.
50. Şenkal S., Emeksiz C., “Gauss fonksiyonları ile pencerelenmiş polinom aktivasyon fonksiyonu kullanan dalgacık sinir ağı ile yapay sinir ağlarının, çok kısa vadeli rüzgâr hızı tahmininde, tahmin başarımlarının karşılaştırılması”. 3nd International Symposium on Innovative Approaches in Scientific Studies, Ankara, Türkiye, 19-21 Nisan 2019.
51. Brownlee J., “Develop Sequence Prediction Models With Deep Learning”. Machine Learning Mastery, 2017.
52. Berman D., “A survey of deep learning methods for cyber security”. Information, 10(4),122, 2019.
53. Şeker A., Diri B., Balık H. H., “Derin öğrenme yöntemleri ve uygulamaları hakkında bir inceleme”. Gazi Mühendislik Bilimleri Dergisi (GMBD), 3(3), 47-64, 2017.
54. Eşref Y., “Türkçe Dizi Etiketleme için Sinir Ağ Modelleri”. Master's Thesis, Hacattepe Üniversitesi, Ankara, Türkiye, 2019.
55. Işık G., “Türkçe Ağızların Tanınmasında Derin Öğrenme Tekniğinin Kullanılması”. Doktora Tezi, Hacettepe Üniversitesi, Ankara, Türkiye, 2019.
56. Güdelek M. U., “Zaman Serisi Analiz ve Tahmini: Derin Öğrenme Yaklaşımı”. Yüksek Lisans Tezi. TOBB Ekonomi ve Teknoloji Üniversitesi, Ankara, Türkiye, 2019.
57. Kızrak M. A, Bolat B., “Derin öğrenme ile kalabalık analizi üzerine detaylı bir araştırma”. Bilişim Teknolojileri Dergisi, 11(3), 263-286, 2018.
58. Latıfoğlu L., Nuraşam K. B., “Tekil spektrum analizi ve uzun-kısa süreli bellek ağları ile nehir akım tahmini”. Avrupa Bilim ve Teknoloji Dergisi, 376-381, 2020
59. Liang X., Ge Z., Sun L., He M., Chen H., “LSTM with wavelet transform based data preprocessing for stock price prediction.” Mathematical Problems in Engineering, 1-8, 2019.
60. Keçeli A.S., Kaya A., “Video görüntülerinde şiddet içeren aktivitelerin LSTM ağı ile tespiti”. Dokuz Eylül Üniversitesi Mühendislik Fakültesi Fen ve Mühendislik Dergisi, 21(63), 933-939, 2019.
61. Cakar T., “Otomotiv endüstrisinde yapay sinir ağı kullanarak maliyet tahmin modeli geliştirme”. Karaelmas Science and Engineering Journal, 7(1), 237-249, 2017.
62. Çam S., Kılıç S. B., “Altın fiyatı günlük getirilerinin yapay sinir ağları algoritması ve Markov Zincirleri modelleri ile tahmini”. Uluslararası İktisadi ve İdari İncelemeler Dergisi, 681-694, 2018.
63. Yasar H., Kilimci Z. H., “US Dollar/Turkish lira exchange rate forecasting model based on deep learning Methodologies and Time Series Analysis”. Symmetry. 12(9), 1-18, 2020.
64. Bilen B., Horasan F., “LSTM Network based Sentiment Analysis for Customer Reviews”. Politeknik Dergisi. 1(1). 2021.
65. TwitterScraper. “Twitter Scraper”. https://github.com/taspinar/twitterscraper (11.12.2020).
66. TextBlob. “TextBlob: Simplified Text Processing”. https://textblob.readthedocs.io/en/dev/ (07.07.2021).