A Comparative Study of Autoencoder Approaches to the Data Sparsity Problem in Recommender Systems

Abstract

Recommendation systems are systems that predict future preferences of users based on their past preferences. However, users may not always indicate their preferences to the systems. This causes data sparseness, which is one of the biggest problems when designing recommender systems. Autoencoders from deep learning algorithms solve the data sparsity problem by re-populating the sparse user matrix based on insights learned from the data. In this study, performances of deep learning algorithms were compared against data sparsity by using four different autoencoder models, namely Vanilla Autoencoder, Denoising Autoencoder, Sparse Autoencoder and Variational Autoencoder. The MovieLens-100K dataset, which contains 93.6% sparse data, was used as the data set. It has been observed that automatic encoder models provide more successful results in item-based recommendation systems than user based recommendation systems. It has been observed that Vanilla Autoencoder provides better performance in item-based recommendation systems, while Vanilla Autoencoder and Sparse Autoencoder provide very close performance in user-based recommendation systems.

Keywords

• Recommendation System
• Deep Learning
• Autoencoder
• Data Sparsity

Öneri Sistemlerinde Veri Seyrekliği Problemine Otomatik Kodlayıcı Yaklaşımlarının Karşılaştırmalı Bir Çalışması

Abstract

Öneri sistemleri kullanıcıların geçmişteki tercihlerinden hareketle gelecekteki tercihlerini tahmin eden sistemlerdir. Fakat kullanıcılar her zaman tercihlerini sistemlere belirtmeyebilir. Bu durum, öneri sistemleri tasarlanırken karşılaşılan en büyük sorunlardan biri olan veri seyrekliğine neden olur. Derin öğrenme algoritmalarından otomatik kodlayıcılar, seyrek kullanıcı matrisini verilerden öğrendiği iç görülerden hareketle yeniden doldurarak veri seyrekliği probleminin çözülmesini sağlar. Bu çalışmada derin öğrenme algoritmalarından Temel Otomatik Kodlayıcı, Gürültü Giderici Otomatik Kodlayıcı, Seyrek Otomatik Kodlayıcı ve Varyasyonel Otomatik Kodlayıcı olmak üzere dört farklı otomatik kodlayıcı modeli kullanılarak veri seyrekliğine karşı performansları karşılaştırılmıştır. Veri seti olarak %93,6 oranında seyrek veri içeren MovieLens-100K veri seti kullanılmıştır. Otomatik kodlayıcı modelleri öğe tabanlı öneri sistemlerinde kullanıcı tabanlı öneri sistemlerine göre daha başarılı sonuçlar sağladığı gözlemlenmiştir. Öğe tabanlı öneri sistemlerde Temel Otomatik Kodlayıcı daha iyi performans sağlarken, kullanıcı tabanlı öneri sistemlerinde ise Temel Otomatik Kodlayıcı ve Seyrek Otomatik Kodlayıcı birbirlerine çok yakın bir performans sağladıkları gözlemlenmiştir.

Keywords

• Öneri Sistemleri
• Derin Öğrenme
• Otomatik Kodlayıcılar
• Veri Seyrekliği

References

1. [1] Zhang, S., Yao, L., Sun, A., & Tay, Y. (2019). Deep learning based recommender system: A survey and new perspectives. ACM Computing Surveys (CSUR), 52(1), 1-38.
2. [2] Dong, M., Yuan, F., Yao, L., Wang, X., Xu, X., & Zhu, L. (2022). A survey for trust-aware recommender systems: A deep learning perspective. Knowledge-Based Systems, 249, 108954.
3. [3] Da’u, A., & Salim, N. (2020). Recommendation system based on deep learning methods: a systematic review and new directions. Artificial Intelligence Review, 53(4), 2709-2748.
4. [4] Anwar, T., Uma, V., & Srivastava, G. (2021). Rec-cfsvd++: Implementing recommendation system using collaborative filtering and singular value decomposition (svd)++. International Journal of Information Technology & Decision Making, 20(04), 1075-1093. [5] Joorabloo, N., Jalili, M., & Ren, Y. (2020). Improved collaborative filtering recommendation through similarity prediction. IEEE Access, 8, 202122-202132.
5. [6] Karpus, A., Raczynska, M., & Przybylek, A. (2019). Things You Might Not Know about the k-Nearest Neighbors Algorithm. In KDIR (pp. 539-547).
6. [7] Ferreira, D., Silva, S., Abelha, A., & Machado, J. (2020). Recommendation system using autoencoders. Applied Sciences, 10(16), 5510.
7. [8] Yi, B., Shen, X., Liu, H., Zhang, Z., Zhang, W., Liu, S., & Xiong, N. (2019). Deep matrix factorization with implicit feedback embedding for recommendation system. IEEE Transactions on Industrial Informatics, 15(8), 4591-4601.
8. [9] Batmaz, Z., Yurekli, A., Bilge, A., & Kaleli, C. (2019). A review on deep learning for recommender systems: challenges and remedies. Artificial Intelligence Review, 52(1), 1-37.

9. [10] Sedhain, S., Menon, A. K., Sanner, S., & Xie, L. (2015, May). Autorec: Autoencoders meet collaborative filtering. In Proceedings of the 24th international conference on World Wide Web (pp. 111-112).
10. [11] Cao, S., Yang, N., & Liu, Z. (2017, May). Online news recommender based on stacked auto-encoder. In 2017 IEEE/ACIS 16th International Conference on Computer and Information Science (ICIS) (pp. 721-726). IEEE.
11. [12] He, M., Meng, Q., & Zhang, S. (2019). Collaborative additional variational autoencoder for top-N recommender systems. IEEE Access, 7, 5707-5713.
12. [13] Zhu, Y., Wu, X., Qiang, J., Yuan, Y., & Li, Y. (2021). Representation learning with collaborative autoencoder for personalized recommendation. Expert Systems with Applications, 186, 115825.
13. [14] Zhang, Y., Zhao, C., Chen, M., & Yuan, M. (2021). Integrating stacked sparse auto-encoder into matrix factorization for rating prediction. IEEE Access, 9, 17641-17648.
14. [15] Chen, S., & Wu, M. (2020). Attention collaborative autoencoder for explicit recommender systems. Electronics, 9(10), 1716.