Derin Öğrenme Toplulukları ile Kristal Yapı Sınıflandırması: Sınıf Dengesizliği Zorluklarından Uygulama Çözümlerine

Abstract

Bu çalışma, malzeme karakterizasyonundaki kritik zorlukları ele alarak otomatik kristal kimyasal yapı sınıflandırması için kapsamlı bir topluluk derin öğrenme çerçevesi sunmaktadır. Sistem, Vision Transformer, EfficientNetV2 ve ConvNeXt mimarilerini öğrenilebilir ağırlıklı bir topluluk aracılığıyla entegre ederek, şiddetli veri dengesizliği olan (sınıf başına 4-93 örnek) beş kristal sınıfı üzerinde %91,96 doğruluk ve %90,79 F1-skoru elde etmektedir. Çerçeve üç temel yenilik sunmaktadır: (1) dikkat tabanlı öznitelik çıkarımı ile kristal kimyasal yapı sınıflandırmasına Vision Transformer'ların ilk uygulaması, (2) nadir kristal sınıfları için gelişmiş geometrik bozulmalar ve aydınlatma varyasyonları içeren sınıfa özgü veri artırma stratejisi, ve (3) eğitim sırasında optimize edilen öğrenilebilir füzyon ağırlıklarına sahip çok amaçlı topluluk mimarisi. Ön işleme hattı, öznitelik ayırt edilebilirliğini artırırken dağılım kaymasını önlemek için uyarlamalı histogram eşitleme, bilateral filtreleme ve istatistiksel normalleştirmeyi birleştirmektedir. Focal Loss, etiket yumuşatma ve ClassBalancedLoss dahil olmak üzere birden fazla tamamlayıcı kayıp fonksiyonu aşırı veri dengesizliğini ele almaktadır. Sistem %86,04 duyarlılık, %97,71 özgüllük ve %94,91 kesinlik elde ederek yüksek verimli malzeme taraması için uygun sağlam performans göstermektedir. Bu çalışma, bilimsel ve endüstriyel uygulamalarda üretime hazır otomatik kristalografi sistemlerine yönelik pratik ve ölçeklenebilir bir yol sunmaktadır.

Keywords

• Kristal Yapı Sınıflandırması
• Derin Öğrenme Topluluğu
• Vision Transformer
• Sınıf Dengesizliği
• Malzeme Karakterizasyonu
• Otomatik Kristalografi

Supporting Institution

Bu makalenin herhangi bir kişi veya kurumla çıkar çatışması yoktur.

Ethical Statement

Bu makalenin etik kurul onayına ihtiyacı yoktur.

Crystal Structure Classification with Deep Learning Ensembles: From Class Imbalance Challenges to Implementation Solutions

Abstract

This study presents a comprehensive ensemble deep learning framework for automated crystal chemical structure classification, addressing critical challenges in materials characterization. The system integrates Vision Transformers, EfficientNetV2, and ConvNeXt architectures through a learnable weighted ensemble, achieving 91.96% accuracy and 90.79% F1-score across five crystal classes with severe data imbalance (4-93 samples per class). The framework introduces three major innovations: (1) the first application of Vision Transformers to crystal chemical structure classification with attention-based feature extraction, (2) a class-specific augmentation strategy incorporating advanced geometric distortions and illumination variations for rare crystal classes, and (3) a multi-objective ensemble architecture with learnable fusion weights optimized during training. The preprocessing pipeline combines adaptive histogram equalization, bilateral filtering, and statistical normalization to enhance feature discriminability while preventing distribution shift. Multiple complementary loss functions—including Focal Loss, label smoothing, and ClassBalancedLoss—address extreme data imbalance. The system achieves 86.04% sensitivity, 97.71% specificity, and 94.91% precision, demonstrating robust performance suitable for high-throughput materials screening. This work provides a practical and scalable pathway toward production-ready automated crystallography systems in scientific and industrial applications.

Keywords

• Crystal Structure Classification
• Deep Learning Ensemble
• Vision Transformer
• Class Imbalance
• Materials Characterization
• Automated Crystallography

Supporting Institution

This article has no conflicts of interest with any individual or institution.

Ethical Statement

This article does not require ethics committee approval.

References

1. Ziletti A, Kumar D, Scheffler M, Ghiringhelli LM. Insightful classification of crystal structures using deep learning. Nature Communications 2018;9:2775. doi:10.1038/s41467-018-05169-6.
2. Salgado JE, Lerman S, Du Z, Xu C, Abdolrahim N. Automated classification of big X-ray diffraction data using deep learning models. npj Computational Materials 2023;9:214. doi:10.1038/s41524-023-01164-8.
3. Kaufmann K, et al. Crystal symmetry determination in electron diffraction using machine learning. Science 2020;367:564-568. doi:10.1126/science.aay3062.
4. Thorn A. Artificial intelligence in the experimental determination and prediction of macromolecular structures. Current Opinion in Structural Biology 2022;74:102368. doi:10.1016/j.sbi.2022.102368.
5. Wilkinson MR, Martinez-Hernandez U, Huggon LK, Wilson CC, Dominguez BC. Predicting pharmaceutical crystal morphology using artificial intelligence. CrystEngComm 2022;24:7545-7553. doi:10.1039/D2CE00992G.
6. Park WB, et al. Classification of crystal structure using a convolutional neural network. IUCrJ 2017;4:486-494. doi:10.1107/S205225251700714X.
7. Ra M, Boo Y, Jeong JM, Batts-Etseg J, Jeong J, Lee W. Classification of crystal structures using electron diffraction patterns with a deep convolutional neural network. RSC Advances 2021;11:38307-38315. doi:10.1039/D1RA07156D.
8. Lolla S, Liang H, Kusne AG, Takeuchi I, Ratcliff W. A semi-supervised deep-learning approach for automatic crystal structure classification. Journal of Applied Crystallography 2022;55:882-889. doi:10.1107/S1600576722006069.

9. Chen J, et al. Automated crystal system identification from electron diffraction patterns using multiview opinion fusion machine learning. Proceedings of the National Academy of Sciences 2023;120:e2309240120. doi:10.1073/pnas.2309240120.
10. Mahalekshmi A, Chellam H. Next-Gen Crystal Structure Classification: Harnessing Deep Learning and Machine Learning Fusion. In: International Conference on Recent Trends in Computing, Singapore; 2024, p. 795-806. doi:10.1007/978-981-97-1724-8_68.
11. Xing R, et al. Interpretable X-ray diffraction spectra analysis using confidence evaluated deep learning enhanced by template element replacement. npj Computational Materials 2025;11:281. doi:10.1038/s41524-025-01743-x.
12. Simonnet T, Fall MD, Grangeon S, Galerne B. Vision Transformers for X-ray Diffraction Patterns Analysis. In: ICASSP 2025 - 2025 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Hyderabad, India; 2025, p. 1-5. doi:10.1109/ICASSP49660.2025.10887635.
13. Belamri P, Proudhon H, Texier D, Ryckelynck D. Quaternion-based vision-transformer for polycrystalline EBSD scans pre-trained on large-scale synthetic data. Materials & Design 2025;258:114599. doi:10.1016/j.matdes.2025.114599.
14. Luo X, et al. Deep learning generative model for crystal structure prediction. npj Computational Materials 2024;10:254. doi:10.1038/s41524-024-01443-y.
15. Li Q, et al. Powder diffraction crystal structure determination using generative models. Nature Communications 2025;16:7428. doi:10.1038/s41467-025-62708-8.
16. Rincón S, González G, Macías MA, Arbeláez P. A new benchmark for machine learning applied to powder X-ray diffraction. Scientific Data 2025;12:1186. doi:10.1038/s41597-025-05534-3.
17. Lu Q, Cai X, Wu J, Zhang S, Liu S, Jin X. Crystal orientation and deformation state analysis from Kikuchi patterns via pattern reconstruction aided deep Siamese network. Materials & Design 2023;230:111998. doi:10.1016/j.matdes.2023.111998.
18. Lee JW, Park WB, Lee JH, Singh SP, Sohn KS. A deep-learning technique for phase identification in multiphase inorganic compounds using synthetic XRD powder patterns. Nature Communications 2020;11:86. doi:10.1038/s41467-019-13749-3.
19. Tiong LCO, Kim J, Han SS, Kim D. Identification of crystal symmetry from noisy diffraction patterns by a shape analysis and deep learning. npj Computational Materials 2020;6:196. doi:10.1038/s41524-020-00466-5.
20. Ryan K, Lengyel J, Shatruk M. Crystal Structure Prediction via Deep Learning. Journal of the American Chemical Society 2018;140:10158-10168. doi:10.1021/jacs.8b03913.