Color Reduction with Recursive Mean and Image Retrieval

Abstract

Image retrieval is defined as the process of retrieving same or similar of an image queried from a digital image database. Although a digital image is composed of pixels, the query is not performed at the pixel level but it is carried out at level of vectors representing digital images. In other words, it is computationally necessary to represent with vectors both queried image and images in database. The similarity between queried and database images is computed by vector operations. The representation of images by vectors is called feature extraction process and it is the most significant stage of content-based image retrieval (CBIR). Histograms of gray scale images are typical feature vectors. On the other hand, as there are three different channels in color images, the histograms which represent images are three-dimensional arrays, which will increase the computational cost of the system considerably. For this reason, researchers have preferred to use color quantization or reduce the number of colors in color images. The color reduction process is called as vector quantization, but it is not always possible to produce the same result. The reason is that the developed algorithms so far look for solutions with randomly generated color vectors initially. Linde-Buzo-Gray (LBG), K-means and fuzzy c-means algorithms are typical examples of such solution approaches. In this study, a new image retrieval method has been proposed by using the recursive mean-based color reduction approach. In the proposed strategy, firstly, averages were calculated from the histogram of each color channel and consequently multi-level thresholds were obtained. Using the thresholds obtained, RGB color space was sliced into sub-prisms. The pixels in the created sub-prisms were assigned to the same class and color reduction was made by using the means of pixels in the related class. One-dimensional histogram was obtained with the help of class indices and the number of pixels allocated to the related classes. In the last stage, the obtained class-based histogram was assigned as feature vector and content-based image retrieval was performed. The results were obtained with the proposed algorithm and LBG algorithm. Additionally, comparisons were made.

Keywords

• Image Retrieval,Recursive Mean,Multi-Level Thresholding,Color Reduction

Tekrarlı Ortalama Yardımıyla Renk İndirgeme ve Görüntü Erişimi

Abstract

Sayısal görüntülerden oluşan bir veri tabanından sorgulanan bir görüntünün aynısının veya benzerlerinin getirilmesi süreci görüntü erişimi olarak tanımlanır. Her ne kadar sayısal görüntü piksellerden oluşuyor olsa da sorgulama piksel düzeyinde değil, sayısal görüntüleri temsil eden vektörler düzeyinde yapılmaktadır. Görüntülerin vektörler ile temsil edilmesi özellik çıkarma süreci olarak adlandırılır ve içerik tabanlı görüntü erişiminin (İTGE) en önemli aşamasıdır. Özellik vektörünün temsil kabiliyetinin düşük olması sistemin performansının da düşük olması demektir. Gri ölçekli görüntülerin histogramları en tipik özellik vektörleridir. Diğer taraftan renkli görüntülerde üç ayrı kanal mevcut olduğundan, görüntüyü temsil edebilecek histogram üç boyutlu bir dizi oluşturur ki bu durum sistemin hesap maliyetini oldukça artıracaktır. Bu nedenle araştırmacılar renkli görüntülerdeki renk sayısını azaltma veya renk indirgeme yaklaşımını tercih etmişlerdir. Vektör kuantalama olarak adlandırılan renk indirgeme sürecinde ise her zaman aynı sonucu üretmek mümkün olmamıştır. Bunun nedeni ise bazı algoritmaların başlangıçta rastgele üretilen renk vektörleri ile çözüm aramalarıdır. Linde-Buzo-Gray (LBG), K-ortalamalar ve bulanık c-ortalamalar algoritmaları bu tür çözüm yaklaşımlarına tipik örneklerdir. Bu çalışmada tekrarlı ortalama tabanlı renk indirgeme yaklaşımı kullanılarak yeni bir görüntü erişim metodu önerilmiştir. Önerilen stratejide, öncelikle her bir renk kanalının histogramı üzerinden tekrarlı bir şekilde ortalamalar hesaplanmış ve çok seviyeli eşikler elde edilmiştir. Elde edilen eşikler kullanılarak RGB renk uzayı alt prizmalar şeklinde dilimlenmiştir. Oluşan alt prizmalar içinde kalan pikseller aynı sınıfa atanmış ve ilgili sınıftaki piksellerin ortalamaları kullanılarak renk indirgemesi yapılmıştır. Sınıf indisleri ve ilgili sınıflara tahsis edilen piksel sayıları yardımıyla tek boyutlu histogram elde edilmiştir. Son aşamada ise elde edilen sınıf tabanlı histogram özellik vektörü olarak atanmış ve içerik tabanlı görüntü erişimi gerçekleştirilmiştir. Önerilen algoritma ve LBG algoritması ile sonuçlar alınmış ve karşılaştırmalar yapılmıştır.

Keywords

• Görüntü Erişimi,Tekrarlı Ortalama,Çok Seviyeli Eşikleme,Renk İndirgeme

References

1. [1] Y. Liu, D. Zhang, G. Lu, and W. Y. Ma, “A survey of content-based image retrieval with high-level semantics,” Pattern recognition, vol. 40, no. 1, pp. 262-282, 2007.
2. [2] Y. Rui, T.S. Huang, and S.F. Chang, “Image retrieval: Current techniques, promising directions, and open issues,”. Journal of visual communication and image representation, vol.10, no. 1, pp. 39-62, 1999.
3. [3] J.X. Zhou, X.D. Liu, T.W. Xu, J.H. Gan, and W.Q. Liu, “A new fusion approach for content based image retrieval with color histogram and local directional pattern,” International Journal of Machine Learning and Cybernetics, vol. 9, no. 4, pp. 677-689, 2018.
4. [4] H. Tamura and N. Yokoya, “Image database systems: A survey,” Pattern Recognition vol. 17 no. 1, pp. 29-43, 1984.
5. [5] W. Zhou, H. Li and Q. Tian, “Recent advance in content-based image retrieval: A literature survey,” arxiv.org, https://arxiv.org/abs/1706.06064, (accessed Nov. 13, 2019).
6. [6] A.W. Smeulders, M. Worring, S. Santini, A. Gupta, and R. Jain, “Content-based image retrieval at the end of the early years,” IEEE Transactions on pattern analysis and machine intelligence, vol. 22, no. 12, pp. 1349-1380, 2000.
7. [7] R. Biswas, S. Roy and D. Purkayastha, “An efficient content-based medical image indexing and retrieval using local texture feature descriptors,” International Journal of Multimedia Information Retrieval, pp. 1-15, 2019.
8. [8] I. Kunttu, L. Lepisto, J. Rauhamaa, and A. Visa, “Multiscale Fourier descriptor for shape-based image retrieval,” In Proceedings of the 17th International Conference on Pattern Recognition, Aug. 2004, pp. 765-768.

9. [9] A. Karine, A. D. El Maliani and M. El Hassouni, “A novel statistical model for content-based stereo image retrieval in the complex wavelet domain,” Journal of Visual Communication and Image Representation, vol. 50, pp. 27-39, 2018.
10. [10] B. S. Manjunath, J. R. Ohm, V. V. Vasudevan and A. Yamada, “Color and texture descriptors,” IEEE Transactions on circuits and systems for video technology, vol. 11, no. 6, pp. 703-715, 2001. [11] G. Pass, R. Zabih and J. Miller, “Comparing Images Using Color Coherence Vectors,” In ACM multimedia vol. 96, pp. 65-73, 1996. [12] J. Jing, Q. Li, P. Li and L. Zhang, “A new method of printed fabric image retrieval based on color moments and gist feature description,” Textile Research Journal, vol. 86, pp. 1137-1150, 2016.
11. [13] K. M. Wong, L. M. Po and K. W. Cheung, “A compact and efficient color descriptor for image retrieval,” IEEE International Conference on Multimedia and Expo, July 2007, pp. 611-614.
12. [14] J. Lee and J. Nang, “Content-based image retrieval method using the relative location of multiple ROIs,” Advances in Electrical and Computer Engineering, vol. 11, no. 3, pp. 85-90, 2011.
13. [15] H. Zhao, Q. Li and P. Liu, “Hierarchical geometry verification via maximum entropy saliency in image retrieval,” Entropy, vol. 16, pp. 3848-3865, 2014.
14. [16] R. Ashraf, K. Bashir, A. Irtaza and M. T. Mahmood, “Content based image retrieval using embedded neural networks with bandletized regions,” Entropy, vol. 17, pp. 3552-3580, 2015.
15. [17] X. Lu, J. Wang, X. Li, M. Yang and X. Zhang, “An adaptive weight method for image retrieval based multi-feature fusion,” Entropy, vol. 20 pp. 577, 2018.
16. [18] J. Zhou, X. Liu, W. Liu and J. Gan, “Image retrieval based on effective feature extraction and diffusion process,” Multimedia Tools and Applications, vol. 78, no. 5, pp. 6163-6190, 2019.
17. [19] S. O. Abter and N. A. Abdullah, “An efficient color quantization using color histogram,” In New Trends in Information & Communications Technology Applications, March 2017, ss 13-17. [20] K. Chiranjeevi and U. R. Jena, “Image compression based on vector quantization using cuckoo search optimization technique,” Ain Shams Engineering Journal, vol. 9, no. 4, pp. 1417-1431, 2018.
18. [21] R. Demirci ve Ü. Okur, “Renkli Görüntülerin Ortalama Tabanlı Çok Seviyeli Eşiklenmesi,” Düzce Üniversitesi Bilim ve Teknoloji Dergisi, c. 7, s. 1, ss. 664-676, 2019.
19. [22] M. Kılıçaslan, U. Tanyeri ve R. Demirci, “Renkli Görüntüler İçin Tek Boyutlu Histogram,” Düzce Üniversitesi Bilim ve Teknoloji Dergisi, c. 6, s. 4, ss. 1094-1107, 2018.
20. [23] D. Ballabio, F. Grisoni and R. Todeschini, “Multivariate comparison of classification performance measures,” Chemometrics and Intelligent Laboratory Systems, vol. 174, pp. 33-44, 2018.
21. [24] M. Sokolova and G. Lapalme, “A systematic analysis of performance measures for classification tasks,” Information Processing and Management, vol. 45, no. 4, pp. 427-437, 2009.