Real-Time Virtual Jewelry Try-On System Using Augmented Reality and Computer Vision

Abstract

With the rapid development of augmented reality and computer vision technologies, virtual try-on systems have become increasingly popular in digital shopping applications. In particular, the jewelry industry has shown growing interest in interactive systems that allow users to visualize accessories virtually before purchase. In this study, a real-time virtual jewelry try-on system was developed using Unity and OpenCV technologies. The proposed system enables users to virtually experience different jewelry categories, including rings, bracelets, necklaces, and earrings, through a camera-based interactive environment. Different tracking approaches were implemented according to the structural characteristics of each accessory type. Hand landmark tracking was used for ring and bracelet positioning, shoulder-based pose estimation for necklace placement, and facial landmark detection for earring positioning. In addition, real-time smoothing and positioning adjustments were integrated to improve tracking stability and visual consistency. The developed system provides users with an interactive virtual jewelry experience without requiring physical product trials. Experimental results demonstrated that the proposed approach can successfully perform real-time accessory tracking and virtual object placement under different usage conditions. However, lighting conditions, camera angle, and the lack of depth information may affect positioning accuracy and visual realism in certain situations.

Keywords

• Augmented Reality
• Virtual Jewelry
• Computer Vision
• Unity

Artırılmış Gerçeklik ve Bilgisayarlı Görü Kullanılarak Gerçek Zamanlı Sanal Takı Deneme Sistemi

Abstract

Artırılmış gerçeklik ve bilgisayarlı görü teknolojilerindeki hızlı gelişmelerle birlikte sanal deneme sistemleri dijital alışveriş uygulamalarında giderek daha yaygın hale gelmiştir. Özellikle mücevher sektörü, kullanıcıların satın alma öncesinde aksesuarları sanal olarak görüntüleyebilmesine olanak sağlayan etkileşimli sistemlere artan ilgi göstermektedir. Bu çalışmada Unity ve OpenCV teknolojileri kullanılarak gerçek zamanlı bir sanal takı deneme sistemi geliştirilmiştir. Önerilen sistem; yüzük, bileklik, kolye ve küpe olmak üzere farklı takı kategorilerinin kamera tabanlı etkileşimli bir ortamda sanal olarak deneyimlenmesini sağlamaktadır. Her aksesuar türünün yapısal özelliklerine uygun farklı takip yaklaşımları uygulanmıştır. Yüzük ve bileklik konumlandırması için el işaret noktası takibi, kolye yerleşimi için omuz tabanlı poz tahmini ve küpe konumlandırması için yüz işaret noktası tespit yöntemleri kullanılmıştır. Ayrıca takip kararlılığını ve görsel tutarlılığı artırmak amacıyla gerçek zamanlı yumuşatma ve konum düzeltme işlemleri sisteme entegre edilmiştir. Geliştirilen sistem, fiziksel ürün denemesi gerektirmeden kullanıcıya etkileşimli bir sanal takı deneyimi sunmaktadır. Deneysel sonuçlar, önerilen yaklaşımın farklı kullanım koşulları altında gerçek zamanlı aksesuar takibi ve sanal nesne yerleştirme işlemlerini başarılı şekilde gerçekleştirebildiğini göstermiştir. Bununla birlikte ışık koşulları, kamera açısı ve derinlik bilgisinin bulunmaması bazı durumlarda konum doğruluğunu ve görsel gerçekçiliği etkileyebilmektedir.

Keywords

• Artırılmış Gerçeklik
• Sanal Takı
• Bilgisayarlı Görü
• Unity
• OpenCV

References

1. [1] P. Thapa, P. Niraula, S. T. Magar, S. B. Singh and S. Shrestha, “A Web-Based AR-Powered Virtual Eyewear Try-On System,” International Journal on Engineering Technology, vol. 2, no. 2, pp. 114–125, 2025.
2. [2] Q. Zhang, Y. Guo, P. Y. Laffont, T. Martin and M. Gross, “A Virtual Try-On System For Prescription Eyeglasses,” IEEE Computer Graphics and Applications, vol. 37, no. 4, pp. 84–93, 2017.
3. [3] J. Prajapat, M. Sathe, S. Shah and C. Raut, “Jewellery Tryon using AR,” International Journal of Computer Engineering in Research Trends, vol. 9, no. 4, pp. 66–72, Apr. 2022.
4. [4] V. W. Cheng, S. H. Choi and H. H. Cheung, “Mixed Reality for Virtual Jewellery Fitting,” Journal of Marketing Development and Competitiveness, vol. 13, no. 3, pp. 99–110, 2019.
5. [5] B. Rajan and P. Paul, “Real-Time Virtual Jewellery Try-On System Using Augmented Reality,” in Proc. National Conference on Emerging Computer Applications (NCECA), vol. 5, no. 1, pp. 636–638, 2023
6. [6] H. Patel, J. Purohit and S. Patel, “Enhancing The Virtual Jewelry Try-On Experience With Computer Vision,” in 2024 IEEE Applied Sensing Conference (APSCON), pp. 1–4, 2024.
7. [7] X. Zhang-Wu, “AR Technology in Jewellery Display,” Master’s thesis, Degree Programme in Information Technology, Metropolia Univ. Appl. Sci., Helsinki, Finland, 2023.
8. [8] Swarovski, “Swarovski brand.” [Online]. Available: https://www.swarovski.com/en-FI/s-brand/. Accessed: May 17, 2026.

9. [9] Van Cleef & Arpels, “The Maison.” [Online]. Available: https://www.vancleefarpels.com/us/en/the-maison.html. Accessed: May 17, 2026.
10. [10] Ş. İmre and T. Özseven, “Virtual Jewelry Experiences In The Jewelry Industry: A Review On Virtual And Augmented Reality Applications,” in 2024 8th International Symposium on Innovative Approaches in Smart Technologies (ISAS), pp. 1–4, 2024.
11. [11] Unity Technologies, “Unity Real-Time Development Platform.” [Online]. Available: https://unity.com/. Accessed: May 17, 2026.
12. [12] C. Li and B. Tang, “Research on the Application of AR Technology Based on Unity3D in Education,” Journal of Physics: Conference Series, vol. 1168, no. 3, Art. no. 032045, 2019.
13. [13] C. Isar, “A Glance into Virtual Reality Development Using Unity,” Informatica Economica, vol. 22, no. 3, pp. 14–22, 2018.
14. [14] G. Bradski and A. Kaehler, Learning OpenCV: Computer Vision with the OpenCV Library, 1st ed. Sebastopol, CA, USA: O’Reilly Media, 2008.
15. [15] OpenCV, “Open source computer vision library.” [Online]. Available: https://opencv.org/. Accessed: May 17, 2026.
16. [16] M. T. Parvez, M. M. Rahman and M. R. Islam, “Advanced Driver Fatigue Detection By Integration Of OpenCV DNN Module And Deep Learning,” Engineering Proceedings, vol. 34, no. 1, p. 15, 2023.
17. [17] OpenCV for Unity, “OpenCV for Unity (Version 2.6.0) [Unity Asset Store plugin].” [Online]. Available: https://assetstore.unity.com/packages/tools/integration/opencv-for-unity-21088. Accessed: May 17, 2026.
18. [18] CGTrader, “CGTrader: 3D models for VR, AR, and CG projects.” [Online]. Available: https://www.cgtrader.com/. Accessed: May 17, 2026.
19. [19] Unity Technologies, “Vector3.Lerp,” Unity Scripting API. [Online]. Available: https://docs.unity3d.com/. Accessed: May 17, 2026.