Moment-Kontrollü Gaussyen Olmayan Verilerle Yüksek Boyutlu Çevrimiçi ICA’nın Öğrenme Dinamikleri

Öz

Arka Plan—Birçok makine öğrenmesi ve sinyal işleme yöntemi, analizi basitleştirdiği ve pratikte çoğu zaman makul sonuçlar verdiği için verilerin Gaussyen olduğunu varsayar. Ancak gerçek veriler nadiren Gaussyen’dir. Ağır kuyruklara, çarpıklığa (skewness) veya olağan dışı büyük basıklık (kurtosis) değerlerine sahip olabilirler ve bu farklılıklar önemlidir. Aslında, Bağımsız Bileşen Analizi (ICA) gibi problemlerin tanımlanabilir (identifiable) olmasını sağlayan şey tam da Gaussyen olmamadır. Daha az net olan ise bu dağılımsal farklılıkların, özellikle yüksek boyutlu çevrimiçi ortamlarda, öğrenme dinamiklerini nasıl etkilediğidir. Son çalışmalar, çevrimiçi ICA’nın belirli ölçekleme limitlerinde düşük boyutlu deterministik denklemlerle tanımlanabileceğini göstermiştir. Ancak bu analizlerin çoğu sabit bir kaynak dağılımı varsaymakta ve daha yüksek mertebeden momentlerin sistematik olarak değişmesi durumunda ne olduğunu incelememektedir. Bu nedenle, basıklık ya da kuyruk davranışındaki değişimlerin kararlılığı, yakınsama hızını veya öğrenme oranına duyarlılığı nasıl etkilediğini hâlâ tam olarak anlamış değiliz.

Amaç—Bu çalışma, daha yüksek mertebeden moment yapısındaki kontrollü değişimlerin yüksek boyutlu çevrimiçi ICA’nın makroskobik dinamiklerini nasıl şekillendirdiğini nicel olarak ortaya koymaktadır. Moment değişimlerinin başlangıç koşulları ve öğrenme oranı ile nasıl etkileşerek kararlılığı, yakınsamayı ve öğrenme hızını belirlediğini analiz ediyoruz.

Yöntem—Yüksek boyutlu bir çevrimiçi ICA modelini McKean-tipi bir ölçekleme limiti kullanarak inceliyoruz; bu yaklaşım hizalanma düzen parametresi için deterministik bir adi diferansiyel denkleme (ODE) yol açmaktadır. Analizi yönetilebilir kılmak için kübik doğrusal olmayanlığa odaklanıyoruz. Ardından, kaynak dağılımının Gaussyen olmayan iki rassal değişkenin ağırlıklı karışımı olarak kurulduğu moment-kontrollü bir veri modeli sunuyoruz. Bu kurulum, sıfır ortalama ve birim varyansı korurken, tek bir parametre aracılığıyla dördüncü ve altıncı momentler üzerinde sürekli kontrol sağlar. Ölçekleme limitinde elde edilen ODE’nin sürüklenme (drift) ve difüzyon terimleri bu momentlere doğrudan bağlıdır. Bu da ayrıntılı bir faz-düzlemi ve kararlılık analizi yapmayı ve daha yüksek mertebeden istatistiklerin öğrenme dinamiklerini nasıl şekillendirdiğini açıkça görmeyi mümkün kılar. Kuramsal öngörüleri hem limit ODE’si hem de karşılık gelen sonlu boyutlu algoritma üzerinden yapılan simülasyonlarla doğruluyoruz.

Bulgular—Dinamikler moment kaynaklı faz geçişleri sergilemektedir. Dördüncü ve altıncı momentlerin artması, bilgilendirici çözümlerin çekim havzasını daraltmakta, başlangıç eşiklerini yükseltmekte ve izin verilebilir öğrenme oranı aralığını azaltmaktadır. Sürüklenme terimi aşırı basıklık (excess kurtosis) tarafından belirlenirken, difüzyon daha yüksek mertebeden momentlerle birlikte artmaktadır; bu durum sinyal gücü ile stokastik sönümleme arasında bir ödünleşim yaratır. Simülasyonlar, yüksek moment rejimlerinde daha yavaş yakınsama, başlangıç koşullarına artan duyarlılık ve azalan sağlamlık gözlemlerini doğrulamaktadır.

Sonuç—Gaussyen olmama, tanımlanabilirlik için gereklidir; ancak yüksek boyutlu çevrimiçi öğrenmeyi kararsızlaştırabilir. Analizimiz, çevrimiçi ICA’da istatistiksel zenginlik ile algoritmik kararlılık arasında temel bir ödünleşim olduğunu ortaya koymaktadır. Önerilen çerçeve, daha yüksek mertebeden veri istatistiklerini öğrenme dinamikleriyle doğrudan ilişkilendirmekte ve uyarlamalı adım büyüklüğü seçimi, sağlam başlangıç stratejileri ve alternatif doğrusal olmayanlıklar ile çoklu kaynak ayarlarına genişletmeler için ilkesel bir temel sunmaktadır.

Anahtar Kelimeler

• yüksek boyutlu asimptotikler
• Bağımsız Bileşen Analizi
• Gaussyen olmayan veri
• çevrimiçi öğrenme
• adi diferansiyel denklemler

Proje Numarası

124E063

Learning dynamics of high-dimensional online ICA with moment-controlled non-Gaussian Data

Öz

Context—Many machine learning and signal processing methods assume Gaussian data because it simplifies analysis and often works reasonably well in practice. But real data are rarely Gaussian. They can have heavy tails, skewness, or unusually large kurtosis, and these differences matter. In fact, non-Gaussianity is exactly what makes problems like Independent Component Analysis (ICA) identifiable in the first place. What’s less clear is how these distributional differences affect learning dynamics, particularly in high-dimensional online settings. Recent work has shown that online ICA can be described using low-dimensional deterministic equations in certain scaling limits. However, most of these analyses assume a fixed source distribution and do not explore what happens when higher-order moments vary systematically. As a result, we still do not fully understand how changes in kurtosis or tail behavior influence stability, convergence speed, or sensitivity to the learning rate.

Objective—This work quantifies how controlled changes in higher-order moment structure shape the macroscopic dynamics of high-dimensional online ICA. We analyze how moment variations interact with initialization and learning rate to determine stability, convergence, and learning speed.

Method—We analyze a high-dimensional online ICA model through a McKean-type scaling limit, which yields a deterministic measure-valued evolution and an associated closed ordinary differential equation (ODE) for the alignment order parameter. We derive this macroscopic characterization for a broad class of nonlinear contrast functions and specialize the explicit stability and phase-transition analysis to the cubic nonlinearity. We then introduce a moment-controlled source model, constructed as a weighted combination of two non-Gaussian random variables, that preserves zero mean and unit variance while continuously tuning the fourth and sixth moments through a single parameter. In the cubic case, the limiting coefficients depend explicitly on these moments, allowing a detailed phase-plane and stability analysis. We validate the theoretical predictions by comparing the limiting ODE with simulations of the corresponding finite-dimensional online algorithm.

Results—The dynamics exhibit moment-induced phase transitions. Larger fourth and sixth moments shrink the basin of attraction of informative solutions, raise initialization thresholds, and reduce the admissible learning-rate range. In the cubic case, the signal-induced drift is governed by excess kurtosis, while the stochastic-damping contribution grows with higher-order moments, producing a trade-off between statistical signal strength and algorithmic stability. Simulations confirm slower convergence, increased sensitivity to initialization, and reduced robustness in large-moment regimes.

Conclusion—Non-Gaussianity is necessary for identifiability but can destabilize high-dimensional online learning. Our analysis reveals a fundamental trade-off between statistical richness and algorithmic stability in online ICA. The proposed framework directly links higher-order source statistics to learning dynamics and provides principled insight into learning-rate selection, initialization requirements, and extensions to alternative nonlinearities and multi-source settings.

Anahtar Kelimeler

• high dimensional asymptotics
• Independent Component Analysis
• non-Gaussian data
• online learning
• ordinary differential equations

Proje Numarası

124E063

Etik Beyan

Ethics committee approval is not required for this article.

Kaynakça

1. S. Åberg, K. Podgórski, “A class of non-Gaussian second order random fields”, Extremes, 14(2), 187–222, 2011. https://doi.org/10.1007/s10687-010-0119-1.
2. T. W. Lee, M. S. Lewicki, T. J. Sejnowski, “ICA mixture models for unsupervised classification of non-Gaussian classes and automatic context switching in blind signal separation”, IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(10), 1078–1089, 2000. https://doi.org/10.1109/34.879789.
3. A. Hyvärinen, E. Oja, “Independent component analysis: Algorithms and applications”, Neural Networks, 13(4–5), 411–430, 2000. https://doi.org/10.1016/S0893-6080(00)00026-5.
4. T. H. Nguyen, U. Şimşekli, M. Gürbüzbalaban, G. Richard, “First Exit Time Analysis of Stochastic Gradient Descent Under Heavy-Tailed Gradient Noise”, Proceedings of the 33rd Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 8–14 December 2019.
5. C. J. Li, Z. Wang, H. Liu, “Online ICA: Understanding Global Dynamics of Nonconvex Optimization via Diffusion Processes”, Proceedings of the 30th Conference on Neural Information Processing Systems (NIPS), Barcelona, Spain, 5–11 December 2016, 4967–4975.
6. Z. Jiao, M. Keller-Ressel, “Emergence of heavy tails in homogenized stochastic gradient descent”, Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024), Vancouver, Canada, 10–15 December 2024, 14066–14092. https://doi.org/10.52202/079017-0450.
7. M. S. Advani, A. M. Saxe, H. Sompolinsky, “High-dimensional dynamics of generalization error in neural networks”, Neural Networks, 132, 428–446, 2020. https://doi.org/10.1016/j.neunet.2020.08.022.
8. Z. Jin, B. B. Risk, D. S. Matteson, “Optimization and testing in linear non-Gaussian component analysis”, Statistical Analysis and Data Mining, 12(3), 141–156, 2019. https://doi.org/10.1002/sam.11403.

9. O. Üre, S. Demir, Z. Doğan, “Learning Beyond the Gaussian Data: Learning Dynamics of Neural Networks on an Expressive and Cumulant-Controllable Data Model”, ICASSP 2026 - 2026 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Barcelona, Spain, 03–08 May 2026, 5861–5865. https://doi.org/10.1109/ICASSP55912.2026.11464829.
10. P. Comon, “Independent component analysis, A new concept?”, Signal Processing, 36(3), 287–314, 1994. https://doi.org/10.1016/0165-1684(94)90029-9.
11. J.-F. Cardoso, “High-Order Contrasts for Independent Component Analysis”, Neural Computation, 11(1), 157–192, 1999. https://doi.org/10.1162/089976699300016863.
12. K. Zhang, L.-W. Chan, “ICA by PCA Approach: Relating Higher-Order Statistics to Second-Order Moments”, Proceedings of the 6th International Conference on Independent Component Analysis and Blind Signal Separation, Charleston, SC, USA, 05–08 March 2006, 311–318. https://doi.org/10.1007/11679363_39.
13. M. Rattray, “Stochastic Trapping in a Solvable Model of On-Line Independent Component Analysis”, Neural Computation, 14(2), 421–435, 2002. https://doi.org/10.1162/08997660252741185.
14. M. K. Bhowmik, P. Saha, A. Singha, D. Bhattacharjee, P. Dutta, “Enhancement of robustness of face recognition system through reduced gaussianity in Log-ICA”, Expert Systems with Applications, 116, 96–107, 2019. https://doi.org/10.1016/j.eswa.2018.08.047.
15. C. Wang, Y. M. Lu, “Online Learning for Sparse PCA in High Dimensions: Exact Dynamics and Phase Transitions”, Proceedings of the IEEE Information Theory Workshop (ITW), Cambridge, England, 11–14 September 2016, 186–190. https://doi.org/10.1109/ITW.2016.7606821.
16. C. Wang, H. Hu, Y. M. Lu, “A Solvable High-Dimensional Model of GAN”, Proceedings of the 33rd Conference on Neural Information Processing Systems (NeurIPS), Vancouver, Canada, 8–14 December 2019.
17. C. Wang, Y. M. Lu, “The Scaling Limit of High-Dimensional Online Independent Component Analysis”, Proceedings of the 31st Annual Conference on Neural Information Processing Systems (NIPS), Long Beach, CA, USA, 04–09 December 2017, 6639–6649.
18. A. Bond, Z. Doğan, “Exploring the Precise Dynamics of Single-Layer GAN Models: Leveraging Multi-Feature Discriminators for High-Dimensional Subspace Learning”, Proceedings of the 38th Conference on Neural Information Processing Systems-NeurIPS, Vancouver, Canada, 10–15 December 2024, 69865–69887. https://doi.org/10.52202/079017-2233.
19. A. Auddy, M. Yuan, “Large-dimensional independent component analysis: Statistical optimality and computational tractability”, Annals of Statistics, 53(2), 477–505, 2025. https://doi.org/10.1214/24-AOS2419.
20. F. Ricci, L. Bardone, S. Goldt, “Feature learning from non-Gaussian inputs: the case of Independent Component Analysis in high dimensions”, Proceedings of the 42nd International Conference on Machine Learning-ICML-Annual, Vancouver, Canada, 13–19 July 2025, 51614–51639.
21. M. O. Gultekin, S. Demir, Z. Dogan, “Learning Rate Should Scale Inversely with High-Order Data Moments in High-Dimensional Online Independent Component Analysis”, 2025 IEEE 35th International Workshop on Machine Learning for Signal Processing (MLSP), İstanbul, Türkiye, 31 August – 03 September 2025. https://doi.org/10.1109/MLSP62443.2025.11204212.
22. O. Kallenberg, Foundations of Modern Probability, 3rd ed., Switzerland AG, Springer Cham, 2021. https://doi.org/10.1007/978-3-030-61871-1.