Two-Stage Sequential Losses based Automatic Hash Code Generation using Siamese Network

Year 2020, Ejosat Special Issue 2020 (ICCEES), 39 - 46, 05.10.2020

Şaban Öztürk

https://doi.org/10.31590/ejosat.801927

Cited By: 2

Abstract

Today, large-scale image retrieval methods are used for fast access to increasing visual information. Hashing methods are an image retrieval approach that provides computationally effective and high-speed access. Hash codes created with hand-crafted features extracted from images in the past are now built with deep learning architectures. Convolutional neural network (CNN)'s an impressive performance using optimized features strengthens this trend day by day. However, it contradicts the hash codes consisting of '0' and '1' values and the procedure of updating the parameters and output of CNN architectures. To solve this problem, solutions such as bringing the bits in the CNN output to '0' and '1' values with a threshold value, and converting the output bits to binary values with the help of loss functions in the CNN output are presented in the literature. It is very useful for studies involving loss function solutions for end-to-end training. However, in these studies, loss weights are generally empirical. In order to solve this situation, a framework consisting of two steps is suggested in this study. In the first stage, Euclidean distance is used in the output of a CNN architecture that is trained in a pairwise manner. After reducing the distance between the two images below the specified value, in the second step, the network parameters are transferred, and the output is drawn to binary values with binarization loss. Thus, binary hash codes are obtained automatically for each image without using any additional weight.

Keywords

CNN, Content-based image retrieval, CBIR, medical image retrieval, hashing, binarization loss, Euclidean distance

Supporting Institution

TÜBİTAK

Project Number

120E018

Thanks

This research is funded by the Scientific and Technological Research Council of Turkey (TÜBİTAK) under grant number 120E018.

Siamese Network kullanarak İki Aşamalı Sıralı Kayıplara dayalı Otomatik Hash Kodu Üretimi

Abstract

Günümüzde, artan görsel bilgiye hızlı erişim için büyük ölçekli görüntü erişimi yöntemleri kullanılmaktadır. Hashing yöntemleri, hesaplama açısından etkili ve çok hızlı erişim sağlayan görüntü erişimi yaklaşımlarındandır. Geçmişte görüntülerden çıkarılan el yapımı özelliklerle oluşturulan karma kodlar artık derin öğrenme mimarileriyle oluşturulmaktadır. Evrişimli sinir ağının (CNN) optimize edilmiş özellikleri kullanan etkileyici performansı, bu eğilimi her geçen gün güçlendirmektedir. Ancak, '0' ve '1' değerlerinden oluşan karma kodlarla ve CNN mimarilerinin parametrelerini ve çıktılarını güncelleme prosedürü ile çelişir. Bu problemi çözmek için CNN çıktısındaki bitlerin eşik değeri ile '0' ve '1' değerlerine getirilmesi ve CNN çıkışındaki kayıp fonksiyonları yardımıyla çıkış bitlerinin ikili değerlere çevrilmesi gibi çözümler bulunmaktadır. Uçtan uca eğitim için kayıp fonksiyonu çözümlerini içeren çalışmalar için çok kullanışlıdır. Ancak bu çalışmalarda kayıp ağırlıkları genellikle ampiriktir. Bu durumu çözmek için bu çalışmada iki aşamadan oluşan bir çerçeve önerilmektedir. İlk aşamada, çift olarak eğitilmiş bir CNN mimarisinin çıktısında Öklid mesafesi kullanılır. İki görüntü arasındaki mesafe belirtilen değerin altına indirildikten sonra ikinci adımda ağ parametreleri aktarılır ve çıktı ikili değerlere çekilir. Böylelikle herhangi bir ek ağırlık kullanılmadan her görüntü için ikili hash kodları otomatik olarak elde edilir.

Keywords

CNN, içerik tabanlı görüntü erişimi, CBIR, tıbbi görüntü erişimi, hashing, ikilileştirme kaybı, Öklid mesafesi

Project Number

120E018

References

• Ashraf, R., Ahmed, M., Ahmad, U., Habib, M. A., Jabbar, S., & Naseer, K. (2020). MDCBIR-MF: multimedia data for content-based image retrieval by using multiple features. Multimedia tools and applications, 79(13), 8553-8579.
• Öztürk, Ş. (2020). Stacked auto-encoder based tagging with deep features for content-based medical image retrieval. Expert Systems with Applications, 161, 113693.
• Demir, B., & Bruzzone, L. (2015). Hashing-based scalable remote sensing image search and retrieval in large archives. IEEE transactions on geoscience and remote sensing, 54(2), 892-904.
• Alsmadi, M. K. (2020). Content-Based Image Retrieval Using Color, Shape and Texture Descriptors and Features. Arabian Journal for Science and Engineering, 1-14.
• Mukherjee, A., & Gaurav, K. (2016). Content based image retrieval using GLCM. International Journal of Innovative Research in Computer and Communication Engineering, 4(11), 20142-20149.
• Liu, X., He, J., & Lang, B. (2014). Multiple feature kernel hashing for large-scale visual search. Pattern Recognition, 47(2), 748-757.
• Ng, W. W., Li, J., Tian, X., Wang, H., Kwong, S., & Wallace, J. (2020). Multi-level supervised hashing with deep features for efficient image retrieval. Neurocomputing.
• Li, Y., Zhang, R., Miao, Z., & Wang, J. (2019, October). CapsHash: Deep Supervised Hashing with Capsule Network. In 2019 11th International Conference on Wireless Communications and Signal Processing (WCSP) (pp. 1-5). IEEE.
• Chen, Y., Lu, X., & Li, X. (2020). Supervised deep hashing with a joint deep network. Pattern Recognition, 105, 107368.
• Gionis, A., Indyk, P., & Motwani, R. (1999, September). Similarity search in high dimensions via hashing. In Vldb (Vol. 99, No. 6, pp. 518-529).
• Weiss, Y., Torralba, A., & Fergus, R. (2009). Spectral hashing. In Advances in neural information processing systems (pp. 1753-1760).
• Gong, Y., Lazebnik, S., Gordo, A., & Perronnin, F. (2012). Iterative quantization: A procrustean approach to learning binary codes for large-scale image retrieval. IEEE transactions on pattern analysis and machine intelligence, 35(12), 2916-2929.
• Jin, S., Zhou, S., Liu, Y., Chen, C., Sun, X., Yao, H., & Hua, X. S. (2020). SSAH: Semi-Supervised Adversarial Deep Hashing with Self-Paced Hard Sample Generation. In AAAI (pp. 11157-11164).
• Shi, X., Guo, Z., Xing, F., Liang, Y., & Yang, L. (2020). Anchor-Based Self-Ensembling for Semi-Supervised Deep Pairwise Hashing. International Journal of Computer Vision, 1-18.
• Luo, Y., Yang, Y., Shen, F., Huang, Z., Zhou, P., & Shen, H. T. (2018). Robust discrete code modeling for supervised hashing. Pattern Recognition, 75, 128-135.
• Yao, T., Han, Y., Wang, R., Kong, X., Yan, L., Fu, H., & Tian, Q. (2020). Efficient discrete supervised hashing for large-scale cross-modal retrieval. Neurocomputing, 385, 358-367.
• Öztürk, Ş., & Akdemir, B. (2019). A convolutional neural network model for semantic segmentation of mitotic events in microscopy images. Neural Computing and Applications, 31(8), 3719-3728.
• Hadsell, R., Chopra, S., & LeCun, Y. (2006, June). Dimensionality reduction by learning an invariant mapping. In 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'06) (Vol. 2, pp. 1735-1742). IEEE.
• Roy, S., Sangineto, E., Demir, B., & Sebe, N. (2020). Metric-Learning-Based Deep Hashing Network for Content-Based Retrieval of Remote Sensing Images. IEEE Geoscience and Remote Sensing Letters.