Max-Pooling Circuit Designs for Convolutional Neural Networks

Öz

Deep Learning applications are rapidly developing, especially in mobile devices. Existing performance, power and space constraints on these platforms increase the need for application-specific hardware designs. One of the most current methods in image processing is Convolutional Neural Networks. In this study, max-pooling unit designs, which is an important process block of Convolutional Neural Networks, are presented. The max-pooling layer is in the critical delay path of the Convolutional Neural Network design and is important to influence the main conversion rate of a pipeline integrated circuit. The total frame processing times of the proposed designs are much shorter than the Standard Design. The proposed designs can be integrated into different pipeline structures. All designs are modeled with VHDL and synthesized on a current FPGA platform. The synthesis results show that the fastest of the proposed designs processes a 128x128 frame around 8.1 times faster than the Standard Design.

Anahtar Kelimeler

• Max-pooling
• Convolutional neural network
• Digital design

Evrişimli Sinir Ağları için Maksimum Ortaklama Devre Tasarımları

Öz

Derin Öğrenme uygulamaları hızla gelişmekte özellikle de mobil cihazlarda yaygın olarak kullanılmaktadır. Bu platformlardaki mevcut performans, güç ve alan kısıtları, uygulamaya özgü donanım tasarımlarına ihtiyacı artırmaktadır. Görüntü işleme alanındaki en güncel yöntemlerden başlıcası Evrişimli Sinir Ağları’dır. Bu çalışmada gelişkin Evrişimli Sinir Ağı mimarilerinin önemli bir işlem bloğu olan maksimum ortaklama ünite tasarımları sunulmuştur. Maksimum-ortaklama katmanı Evrişimli Sinir Ağı tasarımlarının kritik gecikme yolunda olup, boru hatlı bir tümleşik devrenin ana çevrim hızını etki edebilecek önemdedir. Önerilen tasarımların toplam çerçeve işleme süreleri Standart Tasarıma göre çok daha kısadır. Önerilen tasarımlar farklı boru hatlı yapılara entegre edilebilecektir. Tasarımlar VHDL ile modellenmiş ve güncel bir FPGA platformu üzerinde sentezlenmiştir. Sentez sonuçları, önerilen tasarımların en hızlısının Standart Tasarımla karşılaştırıldığında 128x128’lik bir çerçeveyi yaklaşık 8,1 kat daha hızlı işlediğini göstermiştir.

Anahtar Kelimeler

• Maksimum-ortaklama
• Evrişimli sinir ağı
• Sayısal tasarım

Kaynakça

1. 1. Goodfellow, I., Bengio, Y., Courville, A., 2016. Deep Learning. MIT Press.
2. 2. Hamdan, M.K., Rover, D.T., 2017. VHDL Generator for a High Performance Convolutional Neural Network FPGA-based Accelerator. In 2017 International Conference on ReConFigurable Computing and FPGAs (ReConFig) 1-6. IEEE.
3. 3. Dinelli, G., Meoni, G., Rapuano, E., Benelli, G., Fanucci, L., 2019. An FPGA-based Hardware Accelerator for CNNs Using On- chip Memories Only: Design and Benchmarking with Intel Movidius Neural Compute Stick. International Journal of Reconfigurable Computing. Hindawi.
4. 4. Shawahna, A., Sait, S.M., El-Maleh, A., 2018. FPGA-based Accelerators of Deep Learning Networks for Learning and Classification: A Review, 7823-7859. IEEE Access.
5. 5. Hwang, W.J., Jhang, Y.J., Tai, T.M., 2017. An Efficient FPGA-based Architecture for Convolutional Neural Networks. In 2017 40th International Conference on Telecommunications and Signal Processing (TSP), 582-588, IEEE.
6. 6. Li, Y., Song, B., Kang, X., Du, X., Guizani, M. 2018. Vehicle-type Detection Based on Compressed Sensing and Deep Learning in Vehicular Networks. Sensors, 18(12), 4500.
7. 7. Rajaraman, S., Candemir, S., Kim, I., Thoma, G., Antani, S., 2018. Visualization and Interpretation of Convolutional Neural Network Predictions in Detecting Pneumonia in Pediatric Chest Radiographs. Applied Sciences, 8(10), 1715.
8. 8. Ren, S., He, K., Girshick, R., Sun, J., 2015. Faster r-cnn: Towards Real-time Object Detection with Region Proposal Networks. In Advances in Neural Information Processing Systems, 91-99.

9. 9. Abdel-Hamid, O., Mohamed, A.R., Jiang, H., Penn, G., 2012. Applying Convolutional Neural Networks Concepts to Hybrid NN- HMM Model for Speech Recognition. In 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), 4277-4280, IEEE.
10. 10. Qiao, S., Ma, J., 2018. FPGA Implementation of Face Recognition System Based on Convolution Neural Network. In 2018 Chinese Automation Congress (CAC), 2430-2434, IEEE.