Dalgacık Alanında Hareket Dengeleme İçin Çift Yönlü Hareket Kestirimi

Abstract

Video kodlamanın ana hedeflerinden biri, iletilecek ya da depolanacak bir video dosyasını kodlamak için gerekli bit oranını azaltmaktır. Video kodlama araştırmalarının merkezinde, hareket kestiriminin Video kodlamanın ana hedeflerinden biri, iletilecek ya da depolanacak bir video dosyasını kodlamak için gerekli bit oranını azaltmaktır. Video kodlama araştırmalarının merkezinde, hareket kestiriminin gerekli bir ön-işlem adımı olduğu hareket dengeleme kavramı bulunur. Video kodlamada kullanılan hareket kestirimi yöntemleri, bir (tek yönlü) veya iki yönlü (çift yönlü) arama algoritmaları kullanan iki gruba ayrılabilir. Tek yönlü algoritmalar çift yönlü olanlardan daha hızlı olmasına rağmen, ikinci gruptaki yöntemler, kod çözücü tarafında yeniden oluşturulan video dizinlerinin kalitesini artırma ve bir video dosyasını kodlamak için gereken bit oranını azaltmaya yardımcı olan, örtmeden etkilenmiş nesneleri kurtarma avantajına sahiptir. Bu nedenle, bu makalenin odağı, hareket dengeleme için iki yönlü dalgacık-tabanlı bir hareket kestirimi algoritmasının etkilerini analiz etmektir. Önerilen yöntem, dalgacık ayrıştırma ile video çerçevelerinin boyutunu küçülterek arama tekniğinin hesaplama maliyetini düşüren dalgacık alt bantları arasındaki ilişkiyi kullanarak dalgacık alanında gerçekleştirilir. Deneysel sonuçlar, önerilen tekniğin, kodlanması gereken bitlerin azaltılmasında hem tek yönlü hem de çift yönlü hareket kestirimi yöntemlerinden uzaysal ve dalgacık alanlarında daha iyi performansı olduğunu göstermektedir.

Keywords

• Hareket kestirimi
• Hareket dengeleme
• Video Kodlama
• Dalgacık Dönüşümü

Bi-Directional Motion Estimation For Motion Compensation In The Wavelet Domain

Abstract

One of the main goals of video coding is to reduce the required bitrate to encode a video file to be transmitted or stored. Central to the video coding research is the concept of motion compensation, which has a required pre-processing step of motion estimation. Motion estimation methods used in video coding can be categorized into two groups employing either one (i.e. uni-directional) or two-directional (i.e. bi-directional) search algorithms. Although the uni-directional algorithms are faster than the bi-directional ones, the latter methods have the advantage of recovering objects affected by occlusion which in turn helps to increase the quality of reconstructed video sequences in the decoder side and to reduce the required bitrate to encode a video file. Therefore, our focus in this paper is to analyze the impact of a bi-directional wavelet-based motion estimation algorithm for motion compensation. The proposed method is performed in the wavelet domain using the relationship between wavelet subbands which decrease the computational cost of the search technique by reducing the size of the video frames with the wavelet decomposition. Experimental results demonstrate that the proposed technique outperforms both uni- and bi-directional motion estimation methods in reducing the required bits to be encoded both in spatial and wavelet domains.

Keywords

• Motion Estimation
• Motion compensation
• Video Coding
• Wavelet Transform

References

1. Bao, W., Lai, W.S., Zhang, X., Gao, Z., Yang, M.H. 2018. MEMC-Net: Motion estimation and motion compensation driven neural network for video interpolation and enhancement. arXiv preprint arXiv:1810.08768.
2. Sullivan, G.J., Baker, R.L. 1991. Motion compensation for video compression using control grid interpolation. IEEE International Conference on Acoustics, Speech, and Signal Processing, pp. 2713-2716. DOI:10.1109/ICASSP.1991.150962
3. Aydin, V.A., Foroosh, F. 2017. Motion compensation using critically sampled dwt subbands for low-bitrate video coding. IEEE International Conference on Image Processing (ICIP), pp. 21-25. DOI: 10.1109/ICIP.2017.8296235
4. Jain, M., Jegou H., Bouthemy, P. Better exploiting motion for better action recognition. 2013. IEEE conference on computer vision and pattern recognition, pp. 2555-2562. DOI: 10.1109/CVPR.2013.330
5. Kesner, S. B., Howe, R.D. Position control of motion compensation cardiac catheters. 2011. IEEE Transactions on Robotics 27, no. 6: 1045-1055. DOI: 10.1109/TRO.2011.2160467
6. Zhang, L., Qiao Z., Xing, M., Yang, L., Bao, Z. A robust motion compensation approach for UAV SAR imagery. 2012. IEEE transactions on geoscience and remote sensing 50, no. 8: 3202-3218. DOI: 10.1109/TGRS.2011.2180392
7. Chen, Y.C., Li G., Zhang Q., Zhang Q.J., Xia, X.G. Motion compensation for airborne SAR via parametric sparse representation. 2016. IEEE Transactions on Geoscience and Remote Sensing 55, no. 1: 551-562. DOI: 10.1109/TGRS.2016.2611522
8. Li, R., Zeng, B., Liou, M.L. A new three-step search algorithm for block motion estimation. 1994. IEEE transactions on circuits and systems for video technology 4, no. 4: 438-442. DOI: 10.1109/76.313138

9. Zhu, S., Ma, K.K. A new diamond search algorithm for fast block-matching motion estimation. 2000. IEEE transactions on Image Processing 9, no. 2: 287-290. DOI: 10.1109/83.821744
10. Lam, C.W., Po, L.M., Cheung, C.H. A new cross-diamond search algorithm for fast block matching motion estimation. 2003. IEEE International Conference on Neural Networks and Signal Processing. vol. 2, pp. 1262-1265. DOI: 10.1109/ICNNSP.2003.1281100
11. Luo, J., Konofagou, E.E. A fast normalized cross-correlation calculation method for motion estimation. 2010. IEEE transactions on ultrasonics, ferroelectrics, and frequency control 57, no. 6: 1347-1357. DOI: 10.1109/TUFFC.2010.1554
12. Werlberger, M., Pock, T., Bischof, H.. Motion estimation with non-local total variation regularization. 2010. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 2464-2471. DOI: 10.1109/CVPR.2010.5539945
13. Cuevas, E., Zaldívar, D, Pérez-Cisneros, M., Sossa, H., Osuna, V. Block matching algorithm for motion estimation based on Artificial Bee Colony (ABC). 2013. Applied Soft Computing 13, no. 6: 3047-3059. DOI: 10.1016/j.asoc.2012.09.020
14. Pan, Z., Lei, J., Zhang, Y., Sun,X., Kwong, S. Fast motion estimation based on content property for low-complexity H. 265/HEVC encoder. 2016. IEEE Transactions on Broadcasting 62, no. 3: 675-684. DOI: 10.1109/TBC.2016.2580920
15. Kim, S.H., Kim, C.S., Lee, S.U. An efficient motion compensation algorithm based on double reference frame method. 2002. Signal Processing: Image Communication 17, no. 8: 635-649. DOI: 10.1016/S0923-5965(02)00058-9
16. Nakaya, Y., Harashima, H. Motion compensation based on spatial transformations. 1994. IEEE Transactions on circuits and systems for video technology 4, no. 3: 339-356. DOI: 10.1109/76.305878
17. Fan, Y.C., Wu, S.F., Lin, B.L. Three-dimensional depth map motion estimation and compensation for 3D video compression. 2011. IEEE Transactions on Magnetics 47, no. 3: 691-695. DOI: 10.1109/TMAG.2011.2112641
18. Wang, D., Vincent, A., Blanchfield, P., Klepko, R. Motion-compensated frame rate up-conversion—Part II: New algorithms for frame interpolation. 2010. IEEE Transactions on Broadcasting 56, no. 2: 142-149. DOI:10.1109/TBC.2010.2043895