TY  - JOUR
T1  - The Impact of Optimizer Selection on Transformer Performance: Analyzing the Role of Model Complexity and Dataset Size
TT  - The Impact of Optimizer Selection on Transformer Performance: Analyzing the Role of Model Complexity and Dataset Size
AU  - Çelik, Hilal
AU  - Katırcı, Ramazan
PY  - 2025
DA  - December
Y2  - 2025
DO  - 10.34248/bsengineering.1739598
JF  - Black Sea Journal of Engineering and Science
JO  - BSJ Eng. Sci.
PB  - Karyay Karadeniz Yayımcılık Ve Organizasyon Ticaret Limited Şirketi
WT  - DergiPark
SN  - 2619-8991
SP  - 13
EP  - 14
VL  - 9
IS  - 1
LA  - en
AB  - Model complexity, dataset size and optimizer choice critically influence machine learning model performance, especially in complex architectures like Transformers. This study aims to analyze the impact of seven optimizers —Adam, AdamW, AdaBelief, RMSprop, Nadam, Adagrad and SGD—across two Transformer configurations and three dataset sizes. Results show adaptive optimizers generally outperform non-adaptive ones like SGD, particularly as dataset size grows. For smaller datasets (20K, 50K), Adam, AdamW, Nadam and RMSprop perform best on low-complexity models, while AdaBelief, Adagrad and SGD excel with higher complexity. On the largest dataset (∼140K samples), Nadam and RMSprop lead in low-complexity models, whereas Adam, AdaBelief, Adagrad, SGD and AdamW do so in high-complexity models. Notably, low-complexity models train more than twice as fast and, in some cases, achieve better accuracy and lower loss than their high-complexity counterparts. This result highlighting the importance of balancing optimizer choice, dataset size and model complexity for efficiency and accuracy. These results emphasize the trade-offs associated with optimizing model efficiency and accuracy through the interplay of optimizer selection, dataset size and model complexity.
KW  - Transformer architecture
KW  - Optimizer comparison
KW  - Model complexity
KW  - Dataset size
KW  - Optimizers
KW  - Training efficiency
KW  - Deep learning
KW  - Natural Language Processing
N2  - Model karmaşıklığı, veri kümesi boyutu ve optimizer seçimi, özellikle Transformatörler gibi karmaşık mimarilerde makine öğrenimi model performansını önemli ölçüde etkiler. Bu çalışma, yedi optimizer’ın -Adam, AdamW, AdaBelief, RMSprop, Nadam, Adagrad ve SGD- iki Transformer konfigürasyonu ve üç veri kümesi boyutu üzerindeki etkisini analiz etmeyi amaçlamaktadır. Sonuçlar, özellikle veri kümesi boyutu büyüdükçe, uyarlanabilir optimizer’ların genellikle SGD gibi uyarlanabilir olmayanlardan daha iyi performans gösterdiğini göstermektedir. Daha küçük veri kümeleri (20K, 50K) için Adam, AdamW, Nadam ve RMSprop düşük karmaşıklığa sahip modellerde en iyi performansı gösterirken AdaBelief, Adagrad ve SGD daha yüksek karmaşıklıkta üstünlük sağlamaktadır. En büyük veri setinde (∼140K örnek), Nadam ve RMSprop düşük karmaşıklıktaki modellerde lider olurken, Adam, AdaBelief, Adagrad, SGD ve AdamW yüksek karmaşıklıktaki modellerde bunu başarmaktadır. Özellikle, düşük karmaşıklıktaki modeller iki kattan daha hızlı eğitilmekte ve bazı durumlarda yüksek karmaşıklıktaki muadillerine göre daha iyi doğruluk ve daha düşük kayıp elde etmektedir. Bu sonuç, verimlilik ve doğruluk için optimizer seçimi, veri kümesi boyutu ve model karmaşıklığını dengelemenin önemini vurgulamaktadır. Bu sonuçlar, optimizer seçimi, veri kümesi boyutu ve model karmaşıklığının karşılıklı etkileşimi yoluyla model verimliliği ve doğruluğunun optimize edilmesiyle ilişkili ödünleşimleri vurgulamaktadır.
CR  - Abdulmumin, I., Galadanci, B. S., & Isa, A. (2021). Enhanced back-translation for low resource neural machine translation using self-training. Communications in Computer and Information Science, 1350, 355–371. https://doi.org/10.1007/978-3-030-69143-1_28
CR  - Ahmad, R., & Al-Ramahi, I. A. M. (2023). Optimization of deep learning models: Benchmark and analysis. Advances in Computational Intelligence, 3(2), 1–15. https://doi.org/10.1007/s43674-023-00055-1
UR  - https://doi.org/10.34248/bsengineering.1739598
L1  - https://dergipark.org.tr/en/download/article-file/5043038
ER  -