Extraction of the Intrinsic Images from Video Frames by Using Independent Components Analysis (ICA)

Abstract

When the signals measured by sensors are considered to be a linear combination of another a few signals, then the measured signals may be thought of a mixture of those combined source signals. In this case, it is possible to say that the measured signals are formed by the source signals more than one. If the natures of the both source and the mixture signals are investigated, it will be seen that if the mixture signals are obtained by the measurements of the sources with sufficient number of different sensors synchronously, the source signals may be extracted from the mixture in an inverse manner. This source extraction or separation process of the sources from the mixtures, are called “the blind source separation problem”. If the fact that the digital images are obtained by the measurement of the electromagnetic signals is considered, then the mixture of the measured electromagnetic signals namely the image itself may be separated to its source signals which carry some important intrinsic information about the image. An image is physically formed by the three components of the light reflected from object surfaces: the specular, the diffuse and the ambient reflection components. On the other side, an imaging sensor element measures the total energy of the light incident upon its own surface within a finite time interval by weighting that energy with its response function. If noticed to this process, it is clear that there are no explicit information in the measured total energy regarding with the reflection components of the measured signals. In other words, if those three reflection components were possible to be measured separately, then there would be three measured images exist at the end of the measurement procedure. In this case, those three independent images( or components) might be called as “the intrinsic components” of the original image. According to this thinking approach, it is possible to extract those independent components from the original mixture image. The extracted intrinsic components may lead to novel approaches and models in a wide range of scientific areas from the computer vision to the remote sensing and to many others. The solution of the extraction problem of the source signals from the mixture signals is possible with the independent components analysis (ICA) techniques. ICA methods are implemented based on the statistical constraints which must exist between the independent components. By using those constraints, many image processing problems are possible to be solved without requiring any other prior information or with the least amount of some priors. Keywords : Independent components analysis, change detection, ICA, video images, reflection models.

Keywords

• Independent components analysis, change detection, ICA, video images, reflection models

Bağımsız Bileşenler Analizi ile Video Görüntülerinden Öz Bilgilerin Çıkarılması

Öz

Sensörlerle ölçülen sinyallerin, birden çok sinyalin lineer kombinasyonundan oluştuğu düşünüldüğünde, ölçülen sinyal, lineer kombine olmuş sinyallerin bir karışımı olarak ele alınabilir. Bu durumda, ölçülen sinyalin birden çok kaynak sinyalden oluştuğunu söylemek mümkündür. Gerek kaynak sinyallerin, gerekse karışım sinyalinin doğası incelendiğinde; yeterli sayıda sensörle ölçülen aynı kaynak sinyallerin karışım sinyalinden ayrıştırılması mümkündür. Bu ayrıştırma sürecine “gizli kaynakların ayrıştırılması işlemi” (blind source seperation) adı verilir. Dijital görüntülerin de, elektromanyetik sinyallerin ölçülmesi ile elde edildiği gerçeği gözönünde bulundurulursa, görüntüyü elde eden sensörlerin ölçtüğü sinyal karışımları ayrıştırılarak, görüntü ile ilgili öz (içkin=intrinsic) bilgiler taşıyan kaynak sinyalleri elde etmek mümkündür. Bir görüntü, ışığın nesnelerden düzgün (specular), dağınık (diffuse) ve ortam yansıması (ambient) şeklinde yansıyan bileşenlerinden oluşur. Halbuki sensörler, sensördeki her bir detektör yüzeyine gelen toplam ışığın enerjisini, belirli bir zaman aralığında, sensörün tepki fonksiyonu (response function) ile ağırlıklandırarak ölçer. Dikkat edilirse, buradaki toplam enerjinin hangi tür yansıma ile dedektöre ulaştığı konusunda herhangi bir bilgi bulunmamaktadır. Örneğin bu üç yansıma bileşeninin bir şekilde ayrı ayrı ölçülmesi mümkün olsaydı, o zaman aynı sahne ile ilgili üç ayrı görüntünün elde edilmesi gerekirdi ve bu üç ayrı görüntü de birbirinden farklı olurdu. Bu örnekteki bu üç ayrı görüntü bileşeni, fiziksel sensörün elde ettiği görüntünün öz bileşenleri (intrinsic components) olarak adlandırılabilir. Buna göre, birbirinden bağımsız bu üç bileşen, sinyal karışımı olarak düşünülen orijinal görüntüden ayrıştırılabilir. Öz görüntülerin elde edilmesi sayesinde; bilgisayarla görme konularından uzaktan algılamaya yeni birçok yaklaşımın geliştirilmesi mümkündür. Karışım sinyallerinin kendisini oluşturan bağımsız kaynak sinyallere ayrıştırılması işlemi, bağımsız bileşenler analizi ile (independent components analysis) gerçekleştirilebilir. Bağımsız bileşenler analizi, bağımsız bileşenler arasında doğaları gereği bulunması gereken bazı istatistiksel şartlar göz önüne alınarak gerçekleştirilir. Bu şartlar sayesinde, görüntülerle ilgili birçok problem, verilerle ilgili en az sayıda öncül bilgi ile veya hiç öncül bilgi gerekmeksizin otomatik olarak çözülebilmektedir. Anahtar Kelimeler: Bağımsız bileşenler analizi, değişim belirleme, ICA, video görüntüleri, yansıma modelleri

Anahtar Kelimeler

• Bağımsız bileşenler analizi, değişim belirleme, ICA, video görüntüleri, yansıma modelleri

Kaynakça

1. Hyvarinen, A., Karhunen, J. and Oja, E. (2001) Independent Component Analysis John Wiley & Sons Inc., NY., USA.
2. Hyvarinen, A., Hurri, J. and Hoyer, P. O. (2009) Natural Image Statistics: A probabilistic approach to early computational vision. Springer Verlag.
3. Cichocki, A. and Amari, S. (2002) Adaptive Blind Signal and Image Processing: Learning Algorithms and Applications. Wiley & Sons Ltd., UK.
4. Kong, N., Tai, Y. W. and Shin, S. Y. (2011.) High-quality Reflection Separation using Polarized
5. Images. IEEE TRANSACTIONS ON IMAGE PROCESSING. 20(12) 3393- 3405.
6. Bronstein, A. M., Bronstein, M. M., Zibulevsky, M. and Zeevi, Y. Y. (2003.) Blind Separation of
7. Reflections Using Sparse ICA., 4th International Symposium on Independent Component Analysis and Blind Signal Separation (ICA2003). Nara, Japan.
8. Farid, H. and Adelson, E. H. (1999.) Separating reflections from images using independent component analysis. JOSA. 17(9) 2136-2145.

9. Sadeghi, M. H. and Aghabozorgi, M. R. (27-28 Aug. 2008.) Removing reflection from image using
10. ICA. Telecommunications, 2008. International Symposium on. pp. 815-820.
11. Barrow, H. G. and Tenenbaum, J. M. (1978.) Recovering Intrinsic Scene Characteristics from Images.
12. Academic Press., NY., USA. Klinker, G. J., Shafer, S. A. and Kanade, T. (1987.) Using a Color Reflection Model to Separate
13. Highlights from Object Color. IEEE. Koschan, A. and Abidi, M. (2008.) Digital Color Image Processing. John Wiley & Sons, Inc., NJ, USA.
14. Shafer, S. A. (1985.) Using Color to Separate Reflection Components. Color Research and Applications. 10(4) 210-218.
15. Jenkins, F. A. and White, H. E. (1976.) Fundamentals of Optics. Fourth Edition. ed McGraw-Hill Companies, Inc., USA.
16. Salvador, E. (2004.) Shadow Segmentation and Tracking in Real-World Conditions. Ecole
17. PolyTechnique Federale De Lausanne. Hunter, F. and Fuqua, P. (1997.) Light-Science & Magic: An Introduction to Photographic Lighting.
18. Second Edition. ed Focal Press, Butterworth-Heinemann., USA. Lee, H. C. (2005.) Introduction to COlor Imaging Science. Cambridge University Press., USA.
19. Dubois, E. (2010.) Properties of Color Spaces and the Representation of Color Images. Morgan & Claypool.
20. Sarker, R. A. and Newton, C. S. (2008.) Optimization Modelling: A Practical Approach Taylor &
21. Francis Group, LLC., USA.