Representation Learning based on Clothing MetaData for Outfit Recommendation System

Abstract

Recently, online consumer shopping through e-commerce platforms that bring products and services to consumers has increased significantly in many categories such as clothing, shoes, make-up, and household goods. In online shopping environments, where there are many options, it has become an important problem to reduce the transaction costs of finding and selecting products and to recommend the relevant products to the users. Online shopping companies use recommendation systems to increase revenue and satisfy customers by offering similar product options based on their purchasing history and behavior. For this reason, intelligent recommendation systems are developed that make recommendations reflecting the most appropriate, personalized and preferred style tastes according to the shopping behaviors of the customers. Recently, researchers focus on developing new methods that model the similarity and compatibility between products through the analysis of products’s metadata, thereby trying to increase customer satisfaction in finding and choosing products. In this study, a new approach is proposed that models the similarity between products through metadata such as material, pattern, color and style using random walk and Skipgram methods. The proposed method explores the high-level correlations between the properties of the products and learns low-dimensional vector representations that reflect the affinity between the products. For this purpose, the products are transformed into a weighted graph structure where each node represents the products and each edge represents the relationships between the products. Thanks to these representations learned from outfit graph, a recommendation system framework is presented that allows the most appropriate recommendations to the customers and according to their shopping behavior, and recommends complementary items to the query outfits.

Keywords

• Outfit Recommendation System
• Weighted Random Walks
• Word Embedding
• Outfit Representation Learning

Project Number

166

Kıyafet Öneri Sistemi için Giyim Metaverilerine dayalı Temsil Öğrenimi

Abstract

Son zamanlarda, ürün ve hizmetleri tüketiciler ile buluşturan e-ticaret platformları üzerinden çevrimiçi tüketici alışverişi giyim, ayakkabı, makyaj, ev eşyası gibi birçok kategoride önemli ölçüde artmıştır. Çok sayıda seçeneğin mevcut olduğu çevrimiçi alışveriş ortamlarında, ürün bulma ve seçme işlem maliyetlerini azaltmak ve verimli bir şekilde ilgili ürünleri kullanıcılara iletmek önemli bir problem haline gelmiştir. Alışveriş şirketleri, müşterilerin satın alma geçmişlerine ve davranışlarına göre müşterilere benzer ürün seçenekleri sunarak gelirlerini artırmak ve müşterileri memnun etmek için öneri sistemleri kullanmaktadır. Bu nedenle, müşterilerin alışveriş davranışlarına göre en uygun, kişiselleştirilmiş ve tercih edilen tarz zevklerini yansıtan önerilerde bulunan akıllı öneri sistemler geliştirilmektedir. Son zamanlarda, ürünlerin metaverilerinin analizi ile ürünler arasındaki benzerliği ve uyumluluğu modelleyen ve bu sayede müşterilerin ürün bulma ve seçme işlemlerindeki memnuniyetini artırmaya çalışan yeni yöntemler sunulmaktadır. Bu çalışmada, rastgele yürüyüş ve Skipgram yöntemleri kullanarak ürünlere ait malzeme, desen, renk ve stil gibi metaveriler üzerinden ürünler arasındaki benzerliği modelleyen yeni bir yaklaşım önerilmektedir. Önerilen yöntem, ürünlere ait özellikler arasındaki üst düzey korrelasyonları keşfederek, ürünler arasındaki yakınlığın yansıtıldığı düşük boyutlu vektörel temsiller öğrenir. Bu amaçla, ürünler her bir düğümün ürünleri ve her bir kenarın ürünler arasındaki ilişkileri temsil ettiği ağırlıklı bir graf yapısına dönüştürülmüştür. Graf üzerinden öğrenilen bu temsiller sayesinde, müşterilerin alışveriş davranışına göre onlara en uygun önerilerin ve kombin tamamlayıcı ürünlerin sunulmasını sağlayan bir öneri sistemi sunulmaktadır.

Keywords

• Kıyafet Öneri Sistemi
• Ağırlıklı Rastgele Yürüyüş
• Kelime Gömme
• Giyim Temsil Öğrenimi

Supporting Institution

İstanbul Ticaret Üniversitesi

Project Number

166

Thanks

Bu araştırma için beni yönlendiren, karşılaştığım zorlukları bilgi ve tecrübesi ile aşmamda yardımcı olan değerli Danışman Hocam Dr. Öğr. Üyesi, Arzu Gorgulu Kakisim’a teşekkürlerimi sunarım.

References

1. Orendorff A (2019) The state of the ecommerce fashion industry: statistics, trends and strategy. https://www.shopify.com/enterprise/ecommerce-fashion-industry. Erişim tarihi 13 Ocak 2020.
2. Mikolov, Tomas & Corrado, G.s & Chen, Kai & Dean, Jeffrey. (2013). Efficient Estimation of Word Representations in Vector Space. 1-12.
3. Li, J., Huang, G., Fan, C., Sun, Z., & Zhu, H. (2019). Key word extraction for short text via word2vec, doc2vec, and textrank. Turkish Journal of Electrical Engineering & Computer Sciences, 27(3), 1794-1805.
4. Barkan O, Koenigstein N (2016) Item2vec: neural item embedding for collaborative filtering. In: 2016 IEEE 26th international workshop on machine learning for signal processing (MLSP). IEEE, pp 1–6.
5. Grbovic M, Radosavljevic V, Djuric N, Bhamidipati N, Savla J, Bhagwan V, Sharp D (2015) E-commerce in your inbox: product recommendations at scale. In: Proceedings of the 21th ACM SIGKDD international conference on knowledge discovery and data mining. ACM, pp 1809–1818.
6. Vasile F, Smirnova E, Conneau A (2016) Meta-prod2vec: product embeddings using sideinformation for recommendation. In: Proceedings of the 10th ACM conference on recommender systems. ACM, pp 225–232.
7. Jaradat, Shatha & Dokoohaki, Nima & Matskin, Mihhail. (2020). Outfit2Vec: Incorporating Clothing Hierarchical MetaData into Outfits’ Recommendation. 10.1007/978-3-030-55218-3_5.
8. Won MS, Lee JH.: Embedding for Out of Vocabulary Words Considering Contextual and Morphosyntactic Information. In2018 International Conference on Fuzzy Theory and Its Applications (iFUZZY) 2018 Nov 14 (pp. 212-215). IEEE.

9. Al-Matham RN, Al-Khalifa HS. Synoextractor: a novel pipeline for Arabic synonym extraction using Word2Vec word embeddings. Complexity. Erişim tarihi 27 Şubat 2021.
10. Gori, Maria & Pucci, Augusto. (2006). Research Paper Recommender Systems: A Random-Walk Based Approach. Proceedings of the 2006 IEEE/WIC/ACM International Conference on Web Intelligence. 778-781. 10.1109/WI.2006.149.
11. Perozzi, Bryan & Al-Rfou, Rami & Skiena, Steven. (2014). DeepWalk: Online Learning of Social Representations. Proceedings of the ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. 10.1145/2623330.2623732.
12. Nat Dunn, Python Color Constants Module, https://www.webucator.com/article/python-color-constants-module. Erişim tarihi 27 Temmuz 2021.
13. Han, Xintong & Wu, Zuxuan & Jiang, Yu-Gang & Davis, Larry. (2017). Learning Fashion Compatibility with Bidirectional LSTMs. 10.1145/3123266.3123394.
14. Chen W, Huang P, Xu J, Guo X, Guo C, Sun F, Li C, Pfadler A, Zhao H, Zhao B (2019) POG: personalized outfit generation for fashion recommendation at Alibaba iFashion. In: Proceedings of the 25th ACM SIGKDD international conference on knowledge discovery & data mining, 25 Jul 2019, pp 2662–2670.
15. Laenen K., Moens MF. (2020) Attention-Based Fusion for Outfit Recommendation. In: Dokoohaki N. (eds) Fashion Recommender Systems. Lecture Notes in Social Networks. Springer, Cham.