Yapay Sinir Ağlarında Öğrenme Dinamiğini ve Başarımı Artırmak İçin Standart Aktivasyonların Hibritleştirilmesi

Bu çalışma, Yapay Sinir Ağları (YSA) eğitim sürecinde hayati öneme sahip olan aktivasyon fonksiyonlarının tasarlanmasında hibritleştirme yaklaşımının potansiyelini araştırmaktadır. Literatürdeki çalışmaların çoğunlukla fonksiyonların modifiye edilmiş versiyonlarına odaklanmasının aksine, bu araştırmanın temel amacı, yaygın kullanılan ReLU, Tanh, Sigmoid ve benzeri standart fonksiyonların saf hallerini, basit bir parçalı tanım altında birleştirerek öğrenme süreçlerine etkisini değerlendirmektir. Hibrit yapı, girişin işaretine bağlı olarak (x<0 için f_1 (x) ve x ≥0 için f_2 (x)) farklı temel fonksiyonların uygulanmasına dayanır. Deneysel analizler, sığ (1 gizli katman), orta (5 gizli katman) ve derin (10 gizli katman) çok katmanlı algılayıcı (MLP) mimarileri üzerinde Iris, Wine ve BCW veri setleri kullanılarak gerçekleştirilmiştir. Sonuçlar, hibrit yaklaşımların özellikle derin ağlarda belirgin avantajlar sunduğunu göstermiştir. Özellikle Tanh–ReLU kombinasyonu, hem 5 hem de 10 gizli katmanlı modellerde en kararlı öğrenme dinamiğini sağlamış ve en yüksek test doğruluklarına ulaşmıştır. Saf aktivasyonlar (ReLU–ReLU, Mish–Mish) derin ağlarda gradyan dengesini korumakta zorlanırken, Sigmoid içeren hibritler ise erken doyum sorunu yaşamıştır. Bu bulgular, Tanh gibi sıfır-merkezli ve düzgün geçiş sağlayan bir fonksiyonun, ReLU gibi güçlü gradyan akışını destekleyen bir fonksiyonla birleştirilmesinin, öğrenmeyi dengelediğini ve genelleme başarımını artırdığını güçlü bir şekilde desteklemektedir.

This study investigates the potential of the hybridization approach for designing activation functions, a critical component in training Artificial Neural Networks (ANNs). Unlike prior work focusing mainly on modified or parametric versions of functions, the core objective here is to evaluate the impact of combining the pure forms of standard activations like ReLU, Tanh, and Sigmoid under a simple piecewise definition. The hybrid structure applies different base functions (for x<0, f_1 (x) and, for x ≥0, f_2 (x)) based on the input sign. Experimental analyses were conducted on shallow (1 hidden layer), medium (5 hidden layers), and deep (10 hidden layers) Multi-Layer Perceptron (MLP) architectures using three standard datasets: Iris, Wine, and BCW. The results demonstrate that hybrid approaches offer significant advantages, particularly in deep network structures. Specifically, the Tanh–ReLU combination yielded the most stable learning dynamics and achieved the highest test accuracies in both 5- and 10-hidden-layer models. In contrast, pure activations (ReLU–ReLU, Mish–Mish) struggled to maintain gradient balance in deep networks, while Sigmoid-containing hybrids suffered from early saturation. These findings strongly suggest that combining a zero-centered, smooth transition function (Tanh) with a function supporting strong gradient flow (ReLU) effectively balances the learning process and enhances generalization performance.