BIBLIOMETRIC NETWORK ANALYSIS ON NEW TENDENCIES, TECHNIQUES AND TERMS USED IN DROUGHT RESEARCH

Öz

Drought is one of the important risks for the environment and society. Many sciences examine this subject due to the wide effects of drought phenomenon. Therefore, there is a large literature on drought. The purpose of this study is to reveal the tendencies of drought research. In this context, a bibliometric network analysis was performed on the terms of “drought-meteorology”, “drought-SPI”, drought-remote sensing” and “drought-NDVI” in the summary, keyword and title sections of the articles. The reason why bibliometric network analysis is preferred is that the holistically and temporally will be summarized clearly with this analysis. In order to answer the research questions, bibliometric data consisting of approximately 10 thousand articles were processed in the VOSviewer program with the network analysis method. In the results, it is seen that the number of researches about drought is too much. The number of articles related to drought is over 100 thousand in Scopus database. Engineering researchers are interested in drought-related models and development of new indices. Environmental Sciences and Agricultural and Biological Sciences are interesting in the impact of drought on agricultural products, forest, grassland and other ecosystems. Earth Sciences is interesting in research focusing on drought duration, severity and spatial distribution. Finally has been reported researchers are focusing on meteorological drought issues in Turkey. In contrast, the number of articles made with the satellite-based method of drought in Turkey is minimal.

Anahtar Kelimeler

• Bibliometric Network Analysis
• Climatology
• Drought
• Meteorology
• Scopus Database
• VOSviewer

KURAKLIK ARAŞTIRMALARINDA YENİ EĞİLİMLER, KULLANILAN TEKNİKLER VE KAVRAMLAR ÜZERİNE BİBLİYOMETRİK AĞ ANALİZİ

Öz

Kuraklık, çevresel ve toplumsal etkileri bağlamında dünya için önemli risklerden birisidir. Kuraklık olgusunun geniş etkilerinden dolayı birçok bilim dalı bu konuyu ele almaktadır. Dolayısıyla kuraklık meselesi ile ilgili geniş bir literatür söz konusudur. Bu çalışmanın amacı, kuraklıkla ilgili yapılan araştırmaların ele alınış biçimlerini ve eğilimlerini ortaya koymaktır. Bu bağlamda, makalelerin özet, anahtar kelime ve başlık bölümlerinde “kuraklık-meteoroloji”, “kuraklık-SPI”, “kuraklık-uzaktan algılama” ve “kuraklık-NDVI” kavramlarını bir arada ele alan makalelerin bibliyometrik ağ analizi yapılmıştır. Bibliyometrik ağ analizinin tercih edilmesinin sebebi, kuraklık ile ilgili araştırmaların sürekli ve birikimsel gelişiminden kaynaklı anlaşılması karmaşık olan holistik ve zamansal boyutun, bu analiz ile anlaşılır bir biçimde özetlenecek olmasıdır. Araştırma sorularına cevap olabilmesi için yaklaşık 10 bin makaleden oluşan bibliyometrik veriler ağ analizi metodu ile VOSviewer programında işlenmiştir. Sonuçlar değerlendirildiğinde, öncelikle kuraklık ile ilgili yapılan araştırmaların sayısının oldukça fazla olduğu görülmektedir. Kuraklık konusunu ele alan makale sayısı Scopus veritabanında 100 binin üzerindedir. Kuraklıkla ilgili modellemeler ve yeni indislerin geliştirilmesi konusunda mühendislik alanındaki araştırmacılar, kuraklığın tarım ürünleri, orman, otlak ve diğer ekosistemler üzerindeki etkisinde ise Çevre Bilimleri ile Tarım ve Biyoloji Bilimleri ön plana çıkmaktadır. Kuraklığın süresi, şiddeti ve mekânsal dağılımı üzerine odaklanan araştırmalarda ise Yer Bilimleri alanındaki araştırmacılar dikkat çekmektedir. Son olarak, Scopus veritabanında yer alan dergilerde yayınlanan makalelerde, Türkiye’deki araştırmacıların meteorolojik kuraklık konusunu sıklıkla ele aldığı görülürken, uydu tabanlı kuraklık metodolojisi konusunda yapılan makalelerin sayısı oldukça azdır. 

Anahtar Kelimeler

• Bibliyometrik Ağ Analiz
• Klimatoloji
• Kuraklık
• Meteoroloji
• Scopus Veritabanı
• VOSviewer

Kaynakça

1. Al-qaysi, N. H. H., Dursun, S. & Almuslehi, M. A. A. (2017). Estimating Drought Index Using Standardized Precipitation Index from 1901 to 2015, Turkey. Journal of International Environmental Application and Science, 12(2), 154-160.
2. Anderson, M. C., Allen, R. G., Morse, A. & Kustas, W. P. (2012). Use of Landsat thermal imagery in monitoring evapotranspiration and managing water resources. Remote Sensing of Environment, 122, 50-65.
3. Anderson, M. C., Neale, C. M. U., Li, F., Norman, J. M., Kustas, W. P., Jayanthi, H. & Chavez, J. (2004). Upscaling ground observations of vegetation water content, canopy height, and leaf area index during SMEX02 using aircraft and Landsat imagery. Remote sensing of environment, 92(4), 447-464.
4. Assal, T. J., Anderson, P. J. & Sibold, J. (2016). Spatial and temporal trends of drought effects in a heterogeneous semi-arid forest ecosystem. Forest Ecology and Management, 365, 137-151.
5. Bayarjargal, Y., Karnieli, A., Bayasgalan, M., Khudulmur, S., Gandush, C. & Tucker, C. J. (2006). A comparative study of NOAA–AVHRR derived drought indices using change vector analysis. Remote Sensing of Environment, 105(1), 9-22.
6. Beyaztas, U., Arikan, B. B., Beyaztas, B. H. & Kahya, E. (2018). Construction of prediction intervals for Palmer Drought Severity Index using bootstrap. Journal of Hydrology, 559, 461-470.
7. Bornmann, L. & Daniel, H. D. (2007). What do we know about the h index? Journal of the American Society for Information Science and technology, 58(9), 1381-1385.
8. Bulut, B. & Yılmaz, M. T. (2016). Türkiye’deki 2007 ve 2013 Yılı Kuraklıklarının NOAH Hidrolojik Modeli ile İncelenmesi. Teknik Dergi, 27(4), 7619-7634.

9. Buonocore, E., Picone, F., Russo, G. F. & Franzese, P. P. (2018). The scientific research on natural capital: a bibliometric network analysis. Journal of Environmental Accounting and Management, 6(4), 381-391.
10. Calanca, P. (2007). Climate change and drought occurrence in the Alpine region: how severe are becoming the extremes? Global and Planetary Change, 57(1-2), 151-160.
11. Cammalleri, C., Verger, A., Lacaze, R. & Vogt, J. V. (2019). Harmonization of GEOV2 fAPAR time series through MODIS data for global drought monitoring. International Journal of Applied Earth Observation and Geoinformation, 80, 1-12.
12. Çelik, M. A. & Gülersoy, A. E. (2018). Climate Classification and Drought Analysis Of Mersin. Celal Bayar University Journal of Social Sciences/Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 16(1), 1-26.
13. Çelik, M. A. & Karabulut, M. (2017a). Uydu Tabanli Kuraklik İndisi (SVI) Kullanilarak Yari Kurak Akdeniz İkliminde (Kilis) Buğday Bitkisinin Kurak Koşullara Verdiği Tepkinin İncelenmesi. Celal Bayar University Journal of Social Sciences/Celal Bayar Üniversitesi Sosyal Bilimler Dergisi, 15(1), 111-130.
14. Çelik, M. A. & Karabulut, M. (2017b) Uydu ve İstasyon Tabanlı Kuraklık İndeksleri Kullanılarak Akdeniz Bölgesinde Kuraklık Analizi. Akademik Sosyal Araştırmalar Dergisi, 44, 341-370.
15. Çelik, M. A. (2016b) Kozan İlçesi’nde (Adana) Kurak Koşulların Farklı Arazi Örtüleri Üzerine Etkisinin İncelenmesi. Marmara Coğrafya Dergisi, (34), 283-299.
16. Çelik, M. A., Bayram, H. & Özüpekçe, S. (2018). An Assessment On Climatological, Meteorological And Hydrological Disasters That Occurred In Turkey In The Last 30 Years (1987-2017). International Journal of Geography and Geography Education (IGGE), (38), 295-310.
17. Çelik, M.A. (2016a) Bitki indeks modelleri (NDVI, EVI VCI) kullanılarak Akdeniz Bölgesi'nde kuraklık analizi (2000-2014). (Yayımlanmamış Doktora Tezi. Sütçü İmam Üniversitesi, Sosyal Bilimler Enstitüsü, Kahramanmaraş).
18. Dabanlı, İ., Mishra, A. K. & Şen, Z. (2017). Long-term spatio-temporal drought variability in Turkey. Journal of Hydrology, 552, 779-792.
19. Diffenbaugh, N. S., Swain, D. L., & Touma, D. (2015). Anthropogenic warming has increased drought risk in California. Proceedings of the National Academy of Sciences, 112(13), 3931-3936.
20. Dogan, S., Berktay, A. & Singh, V. P. (2012). Comparison of multi-monthly rainfall-based drought severity indices, with application to semi-arid Konya closed basin, Turkey. Journal of Hydrology, 470, 255-268.
21. Google Scholar, (2020a). 09 Nisan 2020 tarihinde https://scholar.google.com/citations?user=0sRq-6oAAAAJ&hl=tr&oi=sra, adresinden edinilmiştir.
22. Google Scholar, (2020b). 09 Nisan 2020 tarihinde https://scholar.google.com/citations?user=SomUZHMAAAAJ&hl=tr&oi=sra, adresinden edinilmiştir.
23. Google Scholar, (2020c). 10 Nisan 2020 tarihinde https://scholar.google.com/citations?user=Oa0jemgAAAAJ&hl=tr&oi=ao, adresinden edinilmiştir.
24. Google Scholar, (2020d). 12 Nisan 2020 tarihinde https://scholar.google.com/citations?user=FfD_fhsAAAAJ&hl=tr&oi=sra, adresinden edinilmiştir.
25. Google Scholar, (2020e). 12 Nisan 2020 tarihinde https://scholar.google.com/citations?user=IBvX950AAAAJ&hl=tr&oi=ao, adresinden edinilmiştir.
26. Google Scholar, (2020f). 13 Nisan 2020 tarihinde https://scholar.google.com/citations?user=sPyLa9oAAAAJ&hl=tr&oi=ao, adresinden edinilmiştir
27. Gulácsi, A. & Kovács, F. (2018). Drought monitoring of forest vegetation using MODIS-based normalized difference drought index in Hungary. Hungarian Geographical Bulletin, 67(1), 29-42.
28. Gümüş, V. & Algın, H. M. (2017). Meteorological and hydrological drought analysis of the Seyhan− Ceyhan River Basins, Turkey. Meteorological Applications, 24(1), 62-73.
29. Güney, İ. & Somuncu, M. (2017). Coğrafyacıların turizm disiplinine akademik katkıları: “Annals of Tourısm Research” dergisi üzerinden betimsel bir analiz. Uluslararası Sosyal Araştırmalar Dergisi, 54(10), 453-462.
30. Güney, İ., Altundal Öncü, M. & Somuncu, M. (2020). Kafkas Dağları İçin Yeni Araştırma Eğilimleri: Bibliyometrik Bir Analiz. Coğrafi Bilimler Dergisi, 2(18). (Yayın aşamasında).
31. Hayes, M. J., Svoboda, M. D., Wiihite, D. A. & Vanyarkho, O. V. (1999). Monitoring the 1996 drought using the standardized precipitation index. Bulletin of the American meteorological society, 80(3), 429-438.
32. Hulme, M. (1987). Rainfall in central Sudan: an asset or a liability? Geoforum, 18(3), 321-331.
33. Kalefetoğlu, T. & Ekmekçi, Y. (2010). Bitkilerde Kuraklık Stresinin Etkileri ve Dayanıklılık Mekanizmaları (Derleme). Gazi University Journal of Science, 18(4), 723-740.
34. Karabulut, M. (2015). Drought analysis in Antakya-Kahramanmaraş Graben, Turkey. Journal of Arid Land, 7(6), 741-754.
35. Karakoc, A., & Karabulut, M. (2019). Ratio-based vegetation indices for biomass estimation depending on grassland characteristics. Turkish Journal of Botany, 43(5), 619-633.
36. Klisch, A. & Atzberger, C. (2016). Operational drought monitoring in Kenya using MODIS NDVI time series. Remote Sensing, 8(4), 267, 1-22.
37. Kömüsçü, A. U. (1999). Using the SPI to analyze spatial and temporal patterns of drought in Turkey. Drought Network News (1994-2001), 49.
38. Kulak, M. & Cetinkaya, H. (2018). A Systematic Review: Polyphenol Contents in Stressed-Olive Trees and Its Fruit Oil. Polyphenols, Section, 1, 1-20.
39. Kulak, M. (2018). A Bibliometric Review Of Research Trends In Salicylic Acid Uses In Agricultural And Biological Sciences: Where Have Been Studies Directed? Agronomy, 61(1), 296-303.
40. Kulak, M., Ozkan, A. & Bindak, R. (2019). A bibliometric analysis of the essential oil-bearing plants exposed to the water stress: How long way we have come and how much further? Scientia Horticulture, 246, 418-436.
41. Li, Y., Ye, W., Wang, M. & Yan, X. (2009). Climate change and drought: a risk assessment of crop-yield impacts. Climate research, 39(1), 31-46.
42. Lozano, S., Calzada-Infante, L., Adenso-Díaz, B. & García, S. (2019). Complex network analysis of keywords co-occurrence in the recent efficiency analysis literature. Scientometrics, 120(2), 609-629.
43. Maes, W. H. & Steppe, K. (2012). Estimating evapotranspiration and drought stress with ground-based thermal remote sensing in agriculture: a review. Journal of Experimental Botany, 63(13), 4671-4712.
44. Manatsa, D., Mushore, T. & Lenouo, A. (2017). Improved predictability of droughts over southern Africa using the standardized precipitation evapotranspiration index and ENSO. Theoretical and applied climatology, 127(1-2), 259-274.
45. Mariano, D. A., dos Santos, C. A., Wardlow, B. D., Anderson, M. C., Schiltmeyer, A. V., Tadesse, T. & Svoboda, M. D. (2018). Use of remote sensing indicators to assess effects of drought and human-induced land degradation on ecosystem health in Northeastern Brazil. Remote Sensing of Environment, 213, 129-143.
46. Merkoci, A., Mustaqi, V., Mucaj, L. & Dvorani, M. (2013). Arnavutluk Bölgesinde Kuraklık ve Standart Yağış İndeksinin (SPI) Kullanımı. Gazi Üniversitesi Mühendislik-Mimarlık Fakültesi Dergisi, 28(1), 161-166.
47. Mishra, A. K. & Singh, V. P. (2010). A review of drought concepts. Journal of hydrology, 391(1-2), 202-216.
48. Mooley, D. A. & Parthasarathy, B. (1984). Fluctuations in all-India summer monsoon rainfall during 1871–1978. Climatic change, 6(3), 287-301.
49. Murtagh, F. & Kurtz, M. J. (2016). The Classification Society’s Bibliography Over Four Decades: History and Content Analysis. Journal of Classification, 33(1), 6-29.
50. Muthumanickam, D., Kannan, P., Kumaraperumal, R., Natarajan, S., Sivasamy, R. & Poongodi, C. (2011). Drought assessment and monitoring through remote sensing and GIS in western tracts of Tamil Nadu, India. International journal of remote sensing, 32(18), 5157-5176.
51. Özel, Ç. H. & Kozak, N. (2012). Turizm pazarlaması alanının bibliyometrik profili (2000-2010) ve bir atıf analizi çalışması. Türk Kütüphaneciliği, 26(4), 715-733.
52. Özelkan, E., Chen, G. & Ustundag, B. B. (2016). Multiscale object-based drought monitoring and comparison in rainfed and irrigated agriculture from Landsat 8 OLI imagery. International Journal of Applied Earth Observation and Geoinformation, 44, 159-170.
53. Özger, M., Mishra, A. K. & Singh, V. P. (2011). Estimating Palmer Drought Severity Index using a wavelet fuzzy logic model based on meteorological variables. International journal of climatology, 31(13), 2021-2032.
54. Öztürk, N. Z. (2015). Bitkilerin kuraklık stresine tepkilerinde bilinenler ve yeni yaklaşımlar. Turkish Journal Of Agriculture-Food Science And Technology, 3(5), 307-315.
55. Özüpekçe, S. (2020) Türkiyede Artan Kuraklık ve Olası Sonuçları: Susuzluk, Kıtlık ve Ekonomik Problemler, Uluslararası Sosyal Araştırmalar Dergisi, 71(13), 278-285.
56. Palchaudhuri, M. & Biswas, S. (2016). Application of AHP with GIS in drought risk assessment for Puruliya district, India. Natural Hazards, 84(3), 1905-1920.
57. Rhee, J., Im, J. & Carbone, G. J. (2010). Monitoring agricultural drought for arid and humid regions using multi-sensor remote sensing data. Remote Sensing of Environment, 114(12), 2875-2887.
58. Rojas, O., Vrieling, A. & Rembold, F. (2011). Assessing drought probability for agricultural areas in Africa with coarse resolution remote sensing imagery. Remote sensing of Environment, 115(2), 343-352.
59. Sánchez, N., González-Zamora, Á., Martínez-Fernández, J., Piles, M. & Pablos, M. (2018). Integrated remote sensing approach to global agricultural drought monitoring. Agricultural and Forest Meteorology, 259, 141-153.
60. Sırdaş, S., & ŞEN, Z. (2003). Meteorolojik kuraklık modellemesi ve Türkiye uygulaması. İTÜdergisi/d mühendislik, 2(2), 95-103.
61. Sönmez, F. K., Kömüşcü, A. U., Erkan, A. & Turgu, E. (2005). An analysis of spatial and temporal dimension of drought vulnerability in Turkey using the standardized precipitation index. Natural Hazards, 35(2), 243-264.
62. Sönmez, İ. & Kömüşcü, A. Ü. (2011). Reclassification of rainfall regions of Turkey by K-means methodology and their temporal variability in relation to North Atlantic Oscillation (NAO). Theoretical and applied climatology, 106(3-4), 499-510.
63. Şen, B., Topcu, S., Türkeș, M., Sen, B. & Warner, J. F. (2012). Projecting climate change, drought conditions and crop productivity in Turkey. Climate Research, 52, 175-191.
64. Şeremet, M. & Alaeddinoğlu, F. (2017). Coğrafi Bilgi Sistemlerinde Etik Tartışmalar: Eleştirel CBS’ye Yönelik Bir Literatür Analizi. Batman Üniversitesi Yaşam Bilimleri Dergisi, 7(1/1), 187-194.
65. Taddeo, R., Simboli, A., Di Vincenzo, F. & Ioppolo, G. (2019). A bibliometric and network analysis of Lean and Clean (er) production research (1990/2017). Science of The Total Environment, 653, 765-775.
66. Tatli, H. & Dalfes, H. N. (2020). Long-Time Memory in Drought via Detrended Fluctuation Analysis. Water Resources Management, 34(3), 1199-1212.
67. Tatli, H. & Türkeş, M. (2011). Empirical orthogonal function analysis of the Palmer drought indices. Agricultural and Forest Meteorology, 151(7), 981-991.
68. Tatli, H. (2015). Detecting persistence of meteorological drought via the Hurst exponent. Meteorological Applications, 22(4), 763-769.
69. Tavşanoğlu, Ç. & Gürkan, B. (2004). Akdeniz havzasında bitkilerin kuraklık ve yangına uyumları. Ot Sistematik Botanik Dergisi, 11(1), 119-132.
70. Thomas, B. F., Famiglietti, J. S., Landerer, F. W., Wiese, D. N., Molotch, N. P. & Argus, D. F. (2017). GRACE groundwater drought index: Evaluation of California Central Valley groundwater drought. Remote Sensing of Environment, 198, 384-392.
71. Tsegaye, D., Moe, S. R., Vedeld, P. & Aynekulu, E. (2010). Land-use/cover dynamics in Northern Afar rangelands, Ethiopia. Agriculture, ecosystems & environment, 139(1-2), 174-180.
72. Tucker, C. J. & Choudhury, B. J. (1987). Satellite remote sensing of drought conditions. Remote sensing of Environment, 23(2), 243-251.
73. Tunalıoğlu, R. & Durdu, Ö. F. (2012). Assessment of future olive crop yield by a comparative evaluation of drought indices: a case study in western Turkey. Theoretical and applied climatology, 108(3-4), 397-410.
74. Türkeş, M. & Altan, G. (2012). Muğla Orman Bölge Müdürlüğü’ne bağlı orman arazilerinde 2008 yılında çıkan yangınların kuraklık indisleri ile çözümlenmesi. Uluslararası İnsan Bilimleri Dergisi, 9(1), 912-931.
75. Türkeş, M. & Erlat, E. (2003). Precipitation changes and variability in Turkey linked to the North Atlantic Oscillation during the period 1930–2000. International Journal of Climatology: A Journal of the Royal Meteorological Society, 23(14), 1771-1796.
76. Türkeş, M. & Erlat, E. (2005). Climatological responses of winter precipitation in Turkey to variability of the North Atlantic Oscillation during the period 1930–2001. Theoretical and Applied Climatology, 81(1-2), 45-69.
77. Türkeş, M. (2012a). Türkiye’de gözlenen ve öngörülen iklim değişikliği, kuraklık ve çölleşme. Ankara Üniversitesi Çevrebilimleri Dergisi, 4(2), 1-32.
78. Türkeş, M. (2012b). Kuraklık, Çölleşme ve Birleşmiş Milletler Çölleşme ile Savaşım Sözleşmesi’nin Ayrıntılı Bir Çözümlemesi. Marmara Üniversitesi Avrupa Topluluğu Enstitüsü Avrupa Araştırmaları Dergisi, 20(1), 7-55.
79. Türkeş, M., & Tatlı, H. (2009). Use of the standardized precipitation index (SPI) and a modified SPI for shaping the drought probabilities over Turkey. International Journal of Climatology: A Journal of the Royal Meteorological Society, 29(15), 2270-2282.
80. Türkeş, M., Akgündüz, S. & Demirörs, Z. (2009). Palmer Kuraklık İndisi’ne göre İç Anadolu Bölgesi’nin Konya Bölümü’ndeki kurak dönemler ve kuraklık şiddeti. Coğrafi Bilimler Dergisi, 7(2), 129-144.
81. Van Eck, N. & Waltman, L. (2010). Software survey: VOSviewer, a computer program for bibliometric mapping, Scientometrics, 84(2), 523-538.
82. Van Eck, N. J. & Waltman, L. (2017). Citation-based clustering of publications using CitNetExplorer and VOSviewer. Scientometrics, 111(2), 1053-1070.
83. Vicente-Serrano, S. M., Aguilar, E., Martínez, R., Martín-Hernández, N., Azorin-Molina, C., Sánchez-Lorenzo, A., ... & Revuelto, J. (2017). The complex influence of ENSO on droughts in Ecuador. Climate Dynamics, 48(1-2), 405-427.
84. Villarreal, M. L., Norman, L. M., Buckley, S., Wallace, C. S. & Coe, M. A. (2016). Multi-index time series monitoring of drought and fire effects on desert grasslands. Remote sensing of environment, 183, 186-197.
85. Wardlow, B., Anderson, T., Tadesse, C., Hain, W., Rodell, M. & Thenkabail, P. S. (2016). Remote sensing of drought: Emergence of a satellite-based monitoring toolkit for the United States. Thenkabail Ph.D. & Prasad S. (Eds), Remote Sensing of Water Resources, Disasters, and Urban Studies (pp. 367-398). CRC Press: Taylor & Francis Group.
86. Ye, C. (2018). Bibliometrical analysis of international big data research: Based on citespace and vosviewer. 14th International Conference on Natural Computation, Fuzzy Systems and Knowledge Discovery (ICNC-FSKD) (pp. 927-932). IEEE.
87. Yıldırım, T. & Aşık, Ş. (2018). Index-based Assessment of Agricultural Drought using Remote Sensing in the Semi-arid Region of Western Turkey. Journal of Agricultural Sciences, 24(4), 510-516.
88. Yılmaz, M. (2017). Konya Kapalı Havzası’nın TMPA uydu kaynaklı yağış verileri ile kuraklık analizi. Journal of the Faculty of Engineering and Architecture of Gazi University, 32(2), 541-549.
89. Zeng, N. (2003). Drought in the Sahel. Science, 302(5647), 999-1000. https://doi.org/10.1126/science.1090849.
90. Zhang, A. & Jia, G. (2013). Monitoring meteorological drought in semiarid regions using multi-sensor microwave remote sensing data. Remote Sensing of Environment, 134, 12- 23.