Design and Implementation of FPGA Based LogSig and TanSig Transfer Functions in IQ-Math Number Standard

Abstract

Artificial Neural Networks (ANNs) have been used extensively in engineering fields where many processes such as optimization, prediction, signal processing, decision making and control today. Transfer Functions (TF) used in these operations affect directly the output of the result by affecting the ANN structure. In the first stage of this study, apart from the studies in the literature, non-linear LogSig and TanSig TF have been coded using VHDL in accordance with the 32-bit (16I-16Q) IQ-Math standard. The exponential function e^n, which is common to these two TF structures, has been designed using the CORDIC-LUT approach. In the second stage, an FPGA-based sample three-input-three-output ANN has been performed. 8 neurons have been used in the hidden layer of this design. LogSig and TanSig TF have been used in the hidden layer and PureLin TF has been used in the output layer. The sample ANN has been coded using VHDL with 32-bit IQ-Math standard for two different TF. A separate testbench file has been created for each design, and all these designs have been tested using VHDL with the Xilinx ISE DS. For the simulation results obtained, MSE and RMSE error analyzes were performed using numerical-based LogSig-TanSig TF and ANN designs, and the results were presented. Then, each design has been synthesized for the XC7K70T-3FBG676 FPGA (Kintex-7), and the chip statistics have been presented by performing the Place-Route process. As a result, ANN-LS (Artificial Neural Networks-LogSig) design produced more successful results with 8.86E-06 MSE and 2.98E-03 RMSE error analysis results. In future studies, real-time ANN applications can be realized on FPGA chips by using these ANN and TF designs.

Keywords

• Activation Functions
• IQ-Math Number Standard
• ANN
• FPGA
• VHDL
• LogSig
• TanSig

Project Number

19.FEN. BİL.14

FPGA Tabanlı LogSig ve TanSig Transfer Fonksiyonlarının IQ-Math Sayı Standardında Tasarımı ve Gerçeklenmesi

Abstract

Yapay Sinir Ağları (YSA), günümüzde sinyal işleme, optimizasyon, tahmin, karar verme ve kontrol gibi bir çok mühendislik alanında yoğun şekilde kullanılmaktadır. YSA yapılarının çalışmasını doğrudan etkileyen önemli bölümlerinden birisi de Transfer Fonksiyonlarıdır (TF). Doğrusal olmayan TF tasarımlarının gerçek zamanlı tasarımı üstel fonksiyon içerdiğinden oldukça zor bir şekilde gerçekleştirilmektedir. Bu çalışmanın ilk aşamasında, literatürdeki çalışmalardan farklı olarak doğrusal olmayan Logaritmik Sigmoid (LogSig) ve Tanjant Sigmoid (TanSig) TF, 32-bit (16I-16Q) IQ-Math formatında VHDL dilinde tasarlanmıştır. İkinci aşamada, VHDL dilinde FPGA çiplerinde çalışmak üzere örnek bir üç giriş-üç çıkışlı bir YSA (ileri beslemeli) yapısı 32-bit IQ-Math formatında modellenmiştir. Tasarımın gizli katmanında 8 adet nöron, gizli katmanda LogSig ile TanSig TF ve çıkış katmanında ise PureLin TF kullanılmıştır. Örnek YSA tasarımı iki farklı TF tasarımı için ayrı bir testbench dosyası oluşturulmuş ve bu tasarımlar VHDL ile Xilinx ISE DS programı ile test edilmiştir. Elde edilen simülasyon sonuçlarına göre nümerik tabanlı LogSig ve TanSig TF içeren YSA tasarımları için MSE ve RMSE hata analizleri yapılarak sonuçlar sunulmuştur. Ardından her bir tasarım XC7K70T-3FBG676 FPGA (Kintex-7) için sentezlenerek Place-Route prosesi gerçekleştirilmiştir. Place-Route prosesinden elde edilen FPGA çip kaynak kullanımı istatistikleri sunulmuştur. Tasarımlara ait hata analizi sonuçlarına göre YSA-LS (LogSig-tabanlı YSA) tasarımı 8.86E-06 MSE ve YSA-TS (TanSig-tabanlı YSA) tasarımı 7.92E-02 MSE sonuçları elde edilmiştir. Bu çalışmadan elde edilen sonuçlar ile IQ-Math tabanlı LogSig ve TanSig aktivasyon fonksiyonu tasarımlarının gerçek zamanlı YSA uygulamalarında güvenli bir şekilde kullanılabileceği gösterilmiştir.

Keywords

• Transfer Fonksiyonları
• IQ-Math Sayı Standardı
• YSA
• FPGA
• VHDL.
• LogSig
• TanSig

Supporting Institution

Afyon Kocatepe Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi

Project Number

19.FEN. BİL.14

Thanks

Bu çalışma 19.FEN. BİL.14 proje numarası ile Afyon Kocatepe Üniversitesi Bilimsel Araştırma Projeleri Koordinasyon Birimi tarafından desteklenmiştir.

References

1. Abdullah H. T., Younis B. M., FPGA Based Bone Fracture Detector. IOP Conference Series: Materials Science and Engineering 745, 012052, 2019.
2. Adetiba E., Ibikunle F., Daramola S., Olajide A., Implementation of Efficient Multilayer Perceptron ANN Neurons on Field Programmable Gate Array Chip. International Journal of Engineering and Technology IJET-IJENS 14, 151-159, 2014.
3. Ahmed R., Sayed M. E., Gadsden S. A., Tjong J., Habibi S., Automotive Internal-Combustion-Engine Fault Detection and Classification Using Artificial Neural Network Techniques. IEEE Transactions on Vehicular Technology 64, 21-33, 2015.
4. Akçay M. Ş., Koyuncu I., Alçın, M., Tuna M., IQ-Math Tabanlı RadBas Aktivasyon Fonksiyonunun FPGA Üzerinde Gerçeklenmesi, International Asian Congress on Contemporary Sciences-IV, Baku, Azerbaijan, June 26-28, 2020, pp: 599-607.
5. Alçın M., Koyuncu I., Tuna M., Varan M., Pehlivan I., A novel high speed Artificial Neural Network-based chaotic True Random Number Generator on Field Programmable Gate Array. International Journal of Circuit Theory and Applications 47, 365-378, 2019.
6. Alçın M., Pehlivan I., Koyuncu I., Hardware design and implementation of a novel ANN-based chaotic generator in FPGA. Optik 127(13), 5500-5505, 2016.
7. Alçın M., Tuna M., Erdoğmuş P., Koyuncu İ., FPGA-based Dual Core TRNG Design Using Ring and Runge-Kutta-Butcher based on Chaotic Oscillator. Chaos Theory and Applications 3, 20-28, 2021.
8. Bargsten V., de Gea Fernández J., Distributed computation and control of robot motion dynamics on FPGAs. International Journal of SN Applied Sciences, 2, 1239, 2020.

9. Çavuşlu M. A., Karakuzu C., Şahin S., Parçacık Sürü Optimizasyonu Algoritması ile Yapay Sinir Ağı Eğitiminin FPGA Üzerinde Donanımsal Gerçeklenmesi. Politeknik Dergisi 13, 83-92, 2010.
10. Du X. K., The New Elman ANN Application in Accuracy Improvement of Robot Navigation and Obstacle Avoidance Technology. Advanced Materials Research 383-390, 1447-1451, 2011.
11. Erick L. O., Fixed-point representation & fractional math. Oberstar Consulting, revision, Madison, United States, 2007.
12. Gupta S., Vyas A., Trivedi G., FPGA Implementation of Simplified Spiking Neural Networks, 27th IEEE International Conference on Electronics, Circuits and Systems, Glasgow, UK, November 23-25, 2020, pp: 1-4.
13. Jiang W., Kong S. G., Block-Based Neural Networks for Personalized ECG Signal Classification, IEEE Transactions on Neural Networks 18, 1750-1761, 2007.
14. Kaur M., Sivia J. S., ANN and FA Based Design of Hybrid Fractal Antenna for ISM Band Applications. Progress in Electromagnetics Research C 98, 127-140, 2020.
15. Koyuncu I., Akçay M. Ş., Tuna M., Alçın M., Implementation of IQ-Math-based Linear Activation Functions on FPGA. 1st International Congress of Multidisciplinary Studies and Research, Turkey, June 19, 2019, pp: 114-124.
16. Koyuncu I., Sahin I., Gloster C., Saritekin N K., A neuron library for rapid realization of artificial neural networks on FPGA: A case study of rössler chaotic system, Journal of Circuits, Systems, and Computers 26, 1750015, 2017.
17. Koyuncu İ., Şeker H., Tuna M., Alçın M., Dormand-Prince tabanlı kaotik osilatör tasarımının FPGA üzerinde gerçeklenmesi. International Eurasian Conference on Science, Engineering and Technology, Ankara, Turkey, November 22-23, 2018, pp: 1059-1065.
18. Lortoğlu M., FPGA tabanlı yapay sinir ağı kullanılarak buğday türlerinin sınıflandırılması, KTO Karatay Üniversitesi, Fen Bilimleri Enstitüsü, Yüksek Lisans Tezi (Basılmış), 2019.
19. Mello M. M., Ventura L., Method for estimating luminous transmittance using an RGB sensor and ANN. Optical Engineering 59, 124109, 2020.
20. Mohammed R. K., Abdullah H. A., Implementation of digital and analog modulation systems using FPGA. Analog Modul Indonesian Journal of Electrical Engineering and Computer Science 18, 485-493, 2020.
21. Özkan İ. A., Sarıtaş İ., Herdem S., Manyetik Filtreler için FPGA Tabanlı Bulanık Kontrolör Tasarımı. Selçuk Teknik Dergisi 10, 271-284, 2011.
22. Paukštaitis V., Dosinas A., Pulsed Neural Networks for Image Processing. Elektronika Ir Elektrotechnika 95, 15-20, 2009.
23. Sahin I., A 32-bit floating-point module design for 3D graphic transformations. Scientific Research and Essays 5, 3070-3081, 2010.
24. Sahin I., Koyuncu I., Design and Implementation of Neural Networks Neurons with RadBas, LogSig, and TanSig Activation Functions on FPGA. Elektronika Ir Elektrotechnika 120, 51-54, 2012.
25. Savran İ., Donanım Tanımlama Dili VHDL ve FPGA Uygulamaları. Papatya Yayıncılık Eğitim, İstanbul, 2017.
26. Tuntas R., The Modeling and Hardware Implementation of Semiconductor Circuit Elements by Using ANN and FPGA. Acta Physica Polonica A, 128(2B), 78-81, 2015.
27. Wang G., Liu K., Sun Z., Li Y., Attitude-Orbit Cooperative Control for Small-Scale Spacecraft with Chemical Propulsion: Adaptive Sliding Mode Control Based on Neural Network. Journal of Aerospace Engineering 33, 04020080, 2020.
28. Yılmaz C., Koyuncu I., Alçın M., Tuna M., Artificial Neural Networks based thermodynamic and economic analysis of a hydrogen production system assisted by geothermal energy on Field Programmable Gate Array. International Journal of Hydrogen Energy 44, 17443-17459, 2019.