Deep Learning Algorithms for Complex Traits Genomic Prediction

Abstract

The underlying perception of genomic selection (GS) is to use genome-wide from DNA sequence (“SNP markers”) along with phenotypes from an observed population to make prediction for the phenotypic outcomes of untested individuals in crop and livestock breeding programs. GS was firstly described by Meuwissen et al.(2001) in dairy cattle to identify genetically superior animals at an early age. The aim was to capture specific genes across the whole genome that are associated with desired traits. The major challenge in using GS programs is to predict the effect of many SNP markers using phenotypic information from a few individuals (aka small n big p problem, or p >> n). Many approaches including naïve and scaled elastic net, ridge regression BLUP Bayesian approaches (BayesA, BayesB, BayesCπ, BayesDπ) LASSO, Support Vector Regression have been conducted to address the small n big p (aka, p >> n) problem. These methods all perform well for (p>>n) by using linear approximation to set a functional relationship between genotypes and phenotypes. However, these methods may not fully capture non-linear effects which are possible to be crucial for complex traits. To deal with this limitation, many methods including neural networks (NN) were recommended to cover non-linearity for GS. Artificial NNs (ANNs) for GS was first presented by Okut et al. (2011) who establish a fully connected regularized multi-layer ANN (MLANN) comprising one hidden layer to predict the body mass index (BMI) in mice using dense molecular markers. Since then, rather complex ANNs approaches have been applied including deep learning (DL) networks. The different DL algorithms have their own advantages to deal with specific problems in complex trait GS. Four different major classes of DL approaches such as fully connected deep learning artificial neural networks (DL-MLANN), recurrent neural networks (RNN), convolutional neural networks (CNN) and long-short term memory (LSTM) and some variation of these network architectures will be summarized here.

Keywords

• Deep learning
• Complex traits
• Genomic prediction

Kompleks Özelliklerde Geneomik Seleksiyon için Kullanılan Derin Öğrenim Algoritmaları

Abstract

Genomik seleksiyon (GS), bitki ve hayvan popülasyonundan gözlenemiyen fenotip ve DNA (SNP belirtiçleri) bilgisi kullanılarak ileriye yönelik fenotipik değerlerinin tahmin edilmesi amaçlanmaktadır. GS ilk olarak süt sığırcılığında erken yaşlarda genetiksel olaraka üstün bireylerin belirlenmesi amaçlanmıştır. Meuwissen ve arkadaşları tarafından 2001 yılında yürütülen bu çalışmada bütün genom içerisinde bazı önemli özellikler ile ilişkili genlerin ortaya koyulmasına çalışılmıştır. GS seleksiyon çalışmalarında bazı zorluklar söz konusudur. En önemli sorun, sadece çok az miktardaki bireye ait fenotipik değer kullanılarak çok miktardaki SNP belirteçin etkisisni araştırmaktır. Teknik anlamada bu soun küçük n büyük p (p>>n) olarak isimlendirilir. Bu sorunla başedebilmek için ridge regresyon BLUP, LASSO, elastic net, Bayesian yaklaşımları (BayesA, BayesB, BayesCπ, BayesDπ), destek vektör (support vector) regresyonu başta olmak üzere çok sayıda istatistiksel yaklaşım önerilmiştir. Bu yaklaşımlar hepsi (p>>n) sorunu ideal yaklaşımlardır. Ancak bu yaklaşımlar sözkonusu fenopit ile genomik seti arasında doğrusal bir ilşki olduğunu, başka bir ifade ile fenotipin SNP belirteşlerinin doğrusal bir fonksiyonu olduğu varsayılmaktadır. Bu yaklaşımlar fenotip ile genomik seti arasındaki doğrusal olmayan ilişkiyi yakalayamamaktadır. Doğrusal ilişki ile birlikte interaksiyon, epistatis gibi doğrusal olmayan ilişkilernin de modele dahil edilmesi kompleks fenotipik özellikler için ayrı bir önem taşıyabilir. GS amaçlı yaklaşımlarda bu sorun ile başedebilmek için ilk olarak 2011 yılında Okut ve arkadaşları tarafından yapay sınır ağları kullanılması önerilmiştir. Okut ve arkadaşları farelerde yoğun moleküler bilgi kullanılarak vücut kitle indeksi (BMI) için GS amaçlı çok katmalı regularize edilmiş tam bağlantılı yapay sinir ağları mimarisini (MLANN) önermişlerdir. Bu çalışmadan sonra derin öğrenme öğrenim algoritması kullanan daha kompleks yaklaşımlar GS amaçlı kullaılmaya başlanmıştır. Çok miktarda değişik derin öğrenme algoritmaları bulunmakta ve GS uygulamaları için her birinkendine özgü avantajlar sunmaktadır. Bu çalışmada, tam bağlantılı derin öğrenme yapay sinir ağları (DL-MLANN), evrişimli sinir ağları (CNN), tekrarlayan sinir ağları (RNN) ve uzun- kısa-süreli bellek (LSTM) yapay sinr ağları olmak üzere dört farklı derin öğrenme algoritmasinin tatıyımı yapılmıştır.

Keywords

• Derin öğrenme
• Complex fenotipik özellikler
• Genomic tahminleme

References

1. Alkhudaydi, T., Reynolds, D., Zhou, J., Iglesia, B., and Griffiths, S., 2019. An exploration of deep-learning based phenotypic analysis to detect spike regions in field conditions for UK bread wheat. Plant Phenom.7368761. doi: 10.34133/2019/7368761.
2. Azodi, BC., McCarren, A., Roantree, M., de los Campos, G. and Shiu, SH., 2019. Benchmarking Parametric and Machine Learning Models for Genomic Prediction of Complex Traits. G3-Genes, PMID: 31533955, PMCID: PMC6829122, DOI: 10.1534/g3.119.400498.
3. Colah, C. Understating LSTM Network 2021. https://colah.github.io/posts/2015-08-Understanding-LSTMs/
4. De los Campos G, Gianola D, Rosa GJM, Weigel KA, Crossa J., 2010 Semi-parametri genomic-enabled Prediction of genetic values using reproducing kernel Hilbert spaces methods. Genet Res. 92(4):295–308. Available from: http://dx.doi.org/10.1017/S0016672310000285.
5. Koumakis, L., 2020. Deep learning models in genomics; are we there yet? Computational and Structural Biotechnology Journal 18, 1466–1473. https://doi.org/10.1016/j.csbj.2020.06.017.
6. Liu, J., Li, J., Wang, H., and Yan, J. 2020. Application of deep learning in genomics. Sci China Life Sci 63, 1860–1878. https://doi.org/10.1007/s11427-020-1804-5.
7. Lipton, C. Z., Berkowitz, J. and Elkan, C. A Critical 2021. Review of Recurrent Neural Networks for Sequence Learning. arXiv:1506.00019v4.
8. Maldonado C, Mora-Poblete F, Contreras-Soto RI, Ahmar S, Chen J-T, do Amaral Júnior AT and Scapim CA., 2020. Genome-Wide Prediction of Complex Traits in Two Outcrossing Plant Species Through Deep Learning and Bayesian Regularized Neural Network. Front. Plant Sci. 11:593897. doi: 10.3389/fpls.2020.593897.

9. Monir MM, Zhu J., 2018. Dominance and Epistasis Interactions Revealed as Important Variants for Leaf Traits of Maize NAM Population. Front Plant Sci. 18;9:627. Available from: http://dx.doi.org/10.3389/fpls.2018.00627.
10. Okut H, Gianola D, Rosa GJM, Weigel KA., 2011. Prediction of body mass index in mice using dense molecular markers and a regularized neural network. Genet Res. 93(3):189–201. Available from: http://dx.doi.org/10.1017/S0016672310000662
11. Okut H., 2016. Artificial Neural Networks Model and Application. Joao Juis G. Rosa (Eds), Bayesian Regularized Neural Networks for Small n Big p Data (pp 27-48). London, UK. IntechOpen
12. Okut H., 2021. Deep Learning and Application, Pier Luigi Mazzeo and Paolo Spagnolo, (Eds), Deep Learning for Subtyping and Prediction of Diseases: Long-Short Term Memory (pp 27-48). London, UK. IntechOpen. DOI: 10.5772/intechopen.96180.
13. Sandhu KS, Lozada DN, Zhang Z, Pumphrey MO and Carter AH., 2021. Deep Learning for Predicting Complex Traits in Spring Wheat Breeding Program. Front. Plant Sci. 11:613325. doi: 10.3389/fpls.2020.613325.
14. Wang, H., Cimen, E., Singh, N., and Buckler, E., 2020. Deep learning for plant genomics and crop improvement. Curr. Opin. Plant Biol. 54, 34–41. doi: 10.1016/j.pbi.2019.12.010.