Borsa tahmini için Derin Topluluk Modellleri (DTM) ile finansal duygu analizi

Öz

Borsa tahmini, hisse senedi fiyatlarının ya da yönlerinin tahmin edilmesinde analistler ve yatırımcılar için önemli ve aktif araştırma konusu olmuştur. Bu çalışmada, finansal duygu analizi yapılarak Borsa İstanbul 100 endeksinin yönünün tahminlenmesi amaçlanmıştır. Bildiğimiz kadarıyla bu çalışma, borsa yönü tahminlemesinde hem haber kaynağı olarak Twitter ortamını kullanması hem de bunun derin topluluk modelleriyle yapılması açısından literatürdeki ilk çalışmadır. Ancak, Twitter gibi kullanıcı fikirlerini ifade etmede boyut sınırlaması sorunuyla karşılaşılan sosyal ağlarda sınıflandırma performansı, önemli ölçüde etkilenmektedir. Buradan hareketle, veri kümelerinin anlamsal açıdan çeşitli yöntemlerle zenginleştirilmesi ve topluluk öğrenmesi yaklaşımının derin öğrenme algoritmalarıyla harmanlanarak sınıflandırma performansının iyileştirilmesi hedeflenmektedir. Bu çalışmanın literatüre katkısı dört aşamada özetlenebilir: Birincisi, Twitter ortamındaki boyut sınırlaması problemini ortadan kaldırmak amacıyla özellik kümesi anlamsal olarak zenginleştirilmiştir. İlk aşamada, veri kümesini ifade edebilecek en anlamlı özellikler, bilgi kazanımı (IG) ve karınca kolonisi optimizasyonu (ACO) yöntemleriyle seçilmiştir. Sonrasında, seçilen bu özelliklere veri kümesini anlam, bağlam ve söz dizimi açısından ifade edebilecek, borsa tahminlemesinde daha önce kullanılmamış Avg(Word2vec), Avg(Glove), Avg(Word2vec)+Avg(Glove), TF-IDF+Avg(Word2vec), TF-IDF+Avg(Glove) gibi farklı doküman gösterim teknikleri uygulanmıştır. İkincisi, sınıflandırmayı tek bir öğrenme algoritmasıyla gerçekleştirmek yerine birden fazla öğrenme algoritmalarıyla yaparak sistem performansının iyileştirilmesi amaçlanmıştır. Burada, geleneksel sınıflandırma algoritmalarını kullanmak yerine Konvolüsyonel Sinir Ağları (CNN), Tekrarlayan Sinir Ağları (RNN), Uzun Kısa Vadeli Hafıza Ağları (LSTM) gibi derin öğrenme mimarilerinin harmanlanmasıyla derin topluluk modeli (DTM) oluşturulmuştur. Üçüncüsü, derin topluluk modelinin nihai kararını elde etmek için çoğunluk oylaması (majority voting) ve yığıtlama (stacking) yöntemleri kullanılmıştır. Dördüncü olarak önerilen yaklaşımın sınıflandırma performasını iyileştirdiğini kanıtlamak amacıyla herkesin kullanımına açık Türkçe ve İngilizce Twitter veri kümeleri kullanılmıştır. Sonuç olarak, deney sonuçları önerilen modelin literatür çalışmalarıyla kıyaslandığında önceki çalışmalardan önemli ölçüde üstün olduğunu göstermektedir.

Anahtar Kelimeler

• Borsa tahmini,derin topluluk modeli,duygu analizi

Kaynakça

1. Leung M.T., Daouk H., Chen A.S., Forecasting stock indices: A comparison of classification and level estimation models, International Journal of Forecasting, 16, 173-190, 2000.
2. Manish K. ve Thenmozhi M., Forecasting stock index movement: A comparison of support vector machines and random forest, Indian Institute of Capital Markets Conference, Hindistan, 20-36, 2005.
3. Abu-Mostafa Y.S. ve Atiya A.F, Introduction to financial forecasting, Applied Intelligence, 16(3), 205-213, 1996.
4. Tan T.Z., Quek C., See N.G, Biological brain-inspired genetic complementary learning for stock market and bank failure prediction, Computational Intelligence, 23(2), 236-261, 2007.
5. Goonatilake R. ve Herath S., The volatility of the stock martket and news, International Research Journal of Finance and Economics, 3(11), 53-65, 2007.
6. Young T., Hazarika D., Poria S., Cambria, E., Recent trends in deep learning based natural language processing, IEEE Computational Intelligence Magazine, 13(3), 55-75, 2018.
7. Mikolov T., Chen K., Corrado G., Dean J., Efficient estimation of word representations in vector space, International Conference on Learning Representations, Arizona, 1-12, 2013.
8. Mikolov T., Sutskever I., Chen K., Corrado G, Dean J., Distributed representations of words and phrases and their compositionality, Neural Information Processing Systems Conference, Lake Tahoe, 3111–3119, 2013.

9. Pennington J., Socher R., Manning C., GloVe: Global vectors for word representation, Empirical Methods in Natural Language Processing Conference, Katar, 1532– 1543, 2014.
10. Brown G., Wyatt J.L., Tino P., Managing diversity in regression ensembles, Journal of Machine Learning Research, 6, 1621-1650, 2005.
11. Rokach L., Ensemble-based classifiers, Artificial Intelligence Review, 33, (1-2), 1–39, 2010.
12. Polikar R., Ensemble based systems in decision making, IEEE Circuits and Systems Magazine, 6(3), 21-45, 2006.
13. Gopika D. ve Azhagusundari B., An analysis on ensemble methods in classification tasks, International Journal of Advanced Research in Computer and Communication Engineering, 3(7), 7423–7427, 2014.
14. Ren Y., Zhang L., Suganthan P. N., Ensemble classification and regression-recent developments, applications and future directions, IEEE Computational Intelligence Magazine, 11(1), 41-53, 2016.
15. Mangai U. G., Samanta S., Das S., Chowdhury P. R., A survey of decision fusion and feature fusion strategies for pattern classification, IETE Technical Review, 27(4), 293-307, 2010.
16. Woźniak M., Graña M., Corchado E., A survey of multiple classifier systems as hybrid systems, Information Fusion, 16, 3-17, 2014.
17. Tsoumakas G., Angelis L., Vlahavas I., Selective fusion of heterogeneous classifiers, Intelligent Data Analysis, 9(6), 511-525, 2005.
18. Gündüz H., Yaslan Y., Çataltepe Z., Finansal haberler kullanılarak derin öğrenme ile borsa tahmini, IEEE Sinyal İşleme Ve İletişim Uygulamaları Kurultayı, İzmir, 1-4, 2018.
19. Ghosal D., Bhatnagar S., Akhtar M.S., IITP at SemEval-2017 Task 5: An ensemble of deep learning and feature based models for financial sentiment analysis, International Workshop on Semantic Evaluations, Canada, 899-903, 2017.
20. Warikoo N., Chang Y.C., Dai H.J., Hsu W.L., An ensemble neural network model for benefiting pregnancy health stats from mining social media, Asia Information Retrieval Symposium, Taiwan, 3-15, 2018.
21. Liao S., Wang J., Yu R., Sato K., Cheng Z., CNN for situations understanding based on sentiment analysis of twitter data, Procedia Computer Science, 111, 376–381, 2017.
22. Santos C. N., Gatti M., Deep convolutional neural networks for sentiment analysis of short texts, International Conference on Computational Linguistics, Ireland, 69-78, 2014.
23. Hu F., Li L., Zhang Z., Wang J., Xu X., Emphasizing essential words for sentiment classification based on recurrent neural networks, Journal of Computer Science and Technology, 32(4), 785–795, 2017.
24. Chen Q., Guo Z., Sun C., Li W., Research on Chinese micro-blog sentiment classification based on recurrent neural network, International Conference on Computer Science and Technology, China, 859–867, 2017.
25. Zhao Z., Lu H., Cai D., He X., Zhuang Y., Microblog sentiment classification via recurrent random walk network learning, International Conference on Artificial Intelligence, Australia, 3532–3538, 2017.
26. Becker W., Wehrmann J., Cagnini H.E.L., Barros R.C., An efficient deep neural architecture for multilingual sentiment analysis in Twitter, International Conference on Florida Artificial Intelligence Research Society, Florida, 246–251, 2017.
27. Uysal A.K., Murphey Y.L., Sentiment classification: Feature selection based approaches versus deep learning, IEEE International Conference on Computer and Information Technology, Finland, 23-30, 2017.
28. Nozza D., Fersini E., Messina E., Deep learning and ensemble methods for domain adaptation, International Conference on Tools with Artificial Intelligence, USA, 184–189, 2011.
29. Araque O., Corcuera-Platas I., Sánchez-Rada J.F., Iglesias C.A., Enhancing deep learning sentiment analysis with ensemble techniques in social applications, Expert Systems and Applications, 77, 236–246, 2017.
30. Gündüz H., Çataltepe Z., Borsa Istanbul (BIST) daily prediction using financial news and balanced feature selection, Expert Systems with Applications, 42, 9001-9011, 2015.
31. Chaurasia V., Pal S., Data mining techniques: To predict and resolve breast cancer survivability, International Journal of Computer Science and Mobile Computing, 3(1), 10-22, 2014.
32. Uysal A.K., Gunal S., The impact of preprocessing on text classification, Information Processing and Management, 50(1), 104–112, 2014.
33. Zheng Z., Wu X., Srihari R., Feature selection for text categorization on imbalanced data, SIGKDD Explorations, 6(1), 80–89, 2004.
34. Young T., Hazarika D., Poria S., Cambria E., Recent Trends in Deep Learning Based Natural Language Processing, IEEE Computational Intelligence Magazine, 13(3), 55-75, 2018.
35. Lecun Y., Bottou L., Bengio Y., Haffner P., Gradient-based learning applied to document recognition, Proceedings of the IEEE, 86(11), 2278-2324, 1998.
36. Schmidhuber J., Deep learning in neural networks: An overview, Neural Networks, 61, 85–117, 2015.
37. LeCun Y., Bengio Y., Hinton G., Deep learning, Nature, 521, 436–444, 2015.
38. Johnson R. ve Zhang T., Effective use of word order for text categorization with convolutional neural networks, Annual Conference of the North American Chapter of the Association for Computational Linguistics, USA, 20-30, 2015.
39. Graves A. ve Jaitly N., Towards end-to-end speech recognition with recurrent neural networks, International Conference on Machine Learning, China ,1764–1772, 2014.
40. Karpathy A. ve Fei-Fei L., Deep visualsemantic alignments for generating image descriptions, IEEE Conference on Computer Vision and Pattern Recognition, USA, 3128–3137, 2015.
41. Wang P., Xu B., Xu J., Tian G., Liu C.L., Hao H., Semantic expansion using word embedding clustering and convolutional neural network for improving short text classification, Neurocomputing, 174, 806-814, 2016.
42. Graves A. ve Schmidhuber J., Framewise phoneme classification with bidirectional LSTM and other neural network architectures, Neural Networks, 18(5-6), 602–610, 2005.
43. Graves A., Mohamed A., Hinton G., Speech recognition with deep recurrent neural networks, IEEE International Conference on Acoustics, Speech and Signal Processing, Canada ,6645–6649, 2013.
44. Fernández S., Graves A., Schmidhuber J., An application of recurrent neural networks to discriminative keyword spotting, International Conference on Artificial Neural Networks, Portugal, 220–229, 2007.
45. Baccouche M., Mamalet F., Wolf C., Garcia C., Baskurt A., Sequential deep learning for human action recognition, Springer, Berlin, Heidelberg, 29–39, 2011.
46. Schmidhuber J., Gers F., Eck D., Learning nonregular languages: A comparison of simple recurrent networks and LSTM, Neural Computation, 14(9), 2039–2041, 2002.
47. Džeroski S. ve Ženko B., Is combining classifiers with stacking better than selecting the best one?, Machine Learning, 54(3), 255-273, 2004.
48. Adnan M.N., Islam M.Z., Comprehensive method for attribute space extension for random forest, International Conference on Computer and Information Technology, Bangladesh, 25–29, 2014.
49. Amasyalı M.F., Ersoy O.K., Classifier ensembles with the extended space forest, IEEE Transactions on Knowledge and Data Engineering, 26(3), 549–562, 2014.
50. Kilimci Z.H., Akyokus S., Omurca S.İ., The evaluation of heterogeneous classifier ensembles for Turkish texts, IEEE International Conference on INnovations in Intelligent SysTems and Applications, Poland, 307-311, 2017.
51. Kilimci Z.H., Akyokus S., Deep Learning-and Word Embedding-Based Heterogeneous Classifier Ensembles for Text Classification, Complexity, 2018, 1-10, 2018.
52. Kanakaraj M. ve Guddeti R.M.R., Performance analysis of Ensemble methods on Twitter sentiment analysis using NLP techniques, IEEE International Conference on Semantic Computing, USA, 169-170, 2015.
53. Turkish Pre-trained Word2vec Model, https://github.com/akoksal/Turkish-Word2Vec
54. Kara Y., Boyacioglu M.A., Baykan Ö.K., Predicting direction of stock price index movement using artificial neural networks and support vector machines: The sample of the Istanbul Stock Exchange, Expert Systems with Applications, 38(5), 5311-5319, 2011.