INTERGEN: Ulaşım Tahmini için Performans Rehberli Özyinelemeli Ağırlık Füzyonu

Öz

Modern ulaşım sistemleri için doğru ve genellenebilir tahmin modelleri büyük önem taşımaktadır; çünkü bu sistemlerdeki veriler doğası gereği karmaşık, dinamik ve aşırı öğrenmeye yatkındır. Bu çalışma, bağımsız olarak eğitilmiş sinir ağlarını tek bir uygulanabilir modelde birleştiren, performans rehberliğinde özyinelemeli bir ağırlık uzayı füzyon yöntemi olan Interacted Neural Generalization’ı (INTERGEN) önermektedir. Önerilen yöntem, doğrulama performansına dayalı dışbükey parametre birleşimleri kullanarak ağ çiftlerini yinelemeli biçimde füzyonlar, elde edilen füzyon ağı yeniden değerlendirir ve bu ağı tekrar füzyon havuzuna dahil eder. Böylece etkileşim, yalnızca çıktı düzeyinde toplulaştırma yerine iç temsiller düzeyinde gerçekleştirilir. Deneyler, iki halka açık ulaşım tahmini görevi üzerinde yürütülmüştür: Birleşik Krallık polis raporlarına dayalı yol güvenliği veri seti kullanılarak kentsel alan çarpışma sınıflandırması ve Washington, DC Capital Bikeshare veri seti kullanılarak bisiklet paylaşım talebi tahmini. Beş farklı rastgele başlangıç değeriyle elde edilen sonuçlar, önerilen füzyon yönteminin eğitim ve test performansı arasındaki farkı tutarlı biçimde azalttığını ve bunun gelişmiş genelleme yeteneğine işaret ettiğini göstermektedir. INTERGEN, çarpışma sınıflandırma görevinde rekabetçi topluluk öğrenmesi tabanlı karşılaştırma yöntemlerine göre en güçlü genel performansı elde etmiş; talep tahmini görevinde ise hata temelli metriklerde rekabetçi kalırken en yüksek açıklanan varyans performansına ulaşmıştır. Tek bir bütünleştirilmiş ağ üretmesi sayesinde önerilen yaklaşım, çok modelli topluluk yöntemlerine kıyasla dağıtım ve çıkarım karmaşıklığını azaltmakta ve halka açık veri setleri üzerinde tekrarlanabilir değerlendirmeyi desteklemektedir.

Anahtar Kelimeler

• Sinir ağları
• Model birleştirme
• Ağırlık füzyonu
• Genelleme
• Ulaşım

INTERGEN: Performance-Guided Recursive Weight Fusion for Transportation Prediction

Öz

Accurate and generalizable predictive models are essential for modern transport systems, where data are inherently complex, dynamic, and prone to overfitting. This paper proposes Interacted Neural Generalization (INTERGEN), a performance-guided recursive weight-space fusion method that merges independently trained neural networks into a single deployable model. The method iteratively fuses pairs of networks using validation-driven convex parameter combinations, re-evaluates the fused network, and reintroduces it into the fusion pool, enabling interaction at the level of internal representations rather than output-only aggregation. Experiments are conducted on two public transportation prediction tasks: urban-area collision classification using the United Kingdom police-reported road safety dataset, and bike-share demand forecasting using the Washington, District of Columbia. Capital Bikeshare dataset. Results across five random seeds show that the proposed fusion consistently narrows the train–test performance gap, indicating improved generalization. INTERGEN achieves the strongest overall performance on the collision classification task relative to competitive ensemble baselines and achieves the highest explained-variance performance on the demand forecasting task while remaining competitive on error-based metrics. By producing a single consolidated network, the approach reduces deployment and inference complexity compared with multi-model ensembles and supports reproducible evaluation on public datasets.

Anahtar Kelimeler

• Neural-networks
• Model-merging
• Weight-fusion
• Generalization
• Transportation

Kaynakça

1. Ainsworth, S. K., Hayase, J., & Srinivasa, S. (2022). Git Re-Basin: Merging models modulo permutation symmetries. arXiv:2209.04836.
2. Breiman, L. (1996). Bagging predictors. Machine Learning, 24(2), 123–140.
3. Department for Transport. (2023). Road Safety Open Data (STATS19): 2023 collision file and coded-data guide, Great Britain.
4. Dietterich, T. G. (2000). Ensemble methods in machine learning. In Multiple Classifier Systems (pp. 1–15). Springer. https://doi.org/10.1007/3-540-45014-9_1
5. Fanaee-T, H., & Gama, J. (2013). Event labeling combining ensemble detectors and background knowledge. Progress in Artificial Intelligence, 2(2–3), 113–127. https://doi.org/10.1007/s13748-013-0040-3
6. Frankle, J., Dziugaite, G. K., Roy, D. M., & Carbin, M. (2020). Linear mode connectivity and the lottery ticket hypothesis. International Conference on Learning Representations.
7. Freund, Y., & Schapire, R. E. (1997). A decision-theoretic generalization of on-line learning and an application to boosting. Journal of Computer and System Sciences, 55(1), 119–139.
8. Garouani, M., Barhrhouj, A., & Teste, O. (2025). XStacking: An effective and inherently explainable framework for stacked ensemble learning. Information Fusion, 124, 103358. https://doi.org/10.1016/j.inffus.2025.103358

9. Ho, T. K. (1998). The random subspace method for constructing decision forests. IEEE Transactions on Pattern Analysis and Machine Intelligence, 20(8), 832–844.
10. Horoi, S., Orozco Camacho, A. M., Belilovsky, E., & Wolf, G. (2024). Harmony in Diversity: Merging Neural Networks with Canonical Correlation Analysis. Proceedings of the 41st International Conference on Machine Learning, PMLR 235, 18815–18832.
11. Ilharco, G., Ribeiro, M. T., Wortsman, M., Gururangan, S., Schmidt, L., Hajishirzi, H., & Farhadi, A. (2023). Editing Models with Task Arithmetic. International Conference on Learning Representations.
12. Izmailov, P., Podoprikhin, D., Garipov, T., Vetrov, D., & Wilson, A. G. (2018). Averaging weights leads to wider optima and better generalization. Proceedings of the 34th Conference on Uncertainty in Artificial Intelligence.
13. Lakshminarayanan, B., Pritzel, A., & Blundell, C. (2017). Simple and scalable predictive uncertainty estimation using deep ensembles. Advances in Neural Information Processing Systems, 30.
14. Lu, Z., Fan, C., Wei, W., Qu, X., Chen, D., & Cheng, Y. (2024). Twin-Merging: Dynamic integration of modular expertise in model merging. Advances in Neural Information Processing Systems, 37.
15. McMahan, H. B., Moore, E., Ramage, D., Hampson, S., & y Arcas, B. A. (2017). Communication-efficient learning of deep networks from decentralized data. Proceedings of AISTATS, PMLR 54, 1273–1282.
16. West, D., Dellana, S., & Qian, J. (2005). Neural network ensemble strategies for financial decision applications. Computers & Operations Research, 32(10), 2543–2559. https://doi.org/10.1016/j.cor.2004.03.017
17. Wolpert, D. H. (1992). Stacked generalization. Neural Networks, 5(2), 241–259.
18. Wortsman, M., Ilharco, G., Gadre, S. Y., et al. (2022). Model soups: Averaging weights of multiple fine-tuned models improves accuracy without increasing inference time. Proceedings of the 39th International Conference on Machine Learning, PMLR 162.
19. Yadav, P., Tam, D., Choshen, L., Raffel, C. A., & Bansal, M. (2023). TIES-Merging: Resolving interference when merging models. Advances in Neural Information Processing Systems, 36.
20. Yang, E., Tang, A., Shen, L., Guo, G., Wang, X., Cao, X., & Zhang, J. M. (2025). Continual model merging without data: Dual projections for balancing stability and plasticity. Advances in Neural Information Processing Systems, 38.
21. Yu, L., Yu, B., Yu, H., Huang, F., & Li, Y. (2024). Language Models are Super Mario: Absorbing Abilities from Homologous Models as a Free Lunch. Proceedings of the 41st International Conference on Machine Learning, PMLR 235, 57755–57775.
22. Zhou, Z.-H. (2012). Ensemble Methods: Foundations and Algorithms. Chapman & Hall/CRC