Araştırma Makalesi
BibTex RIS Kaynak Göster

Evaluation Approaches and Reflections in Postgraduate Education during the Covid-19 Pandemic

Yıl 2023, , 100 - 123, 02.05.2023
https://doi.org/10.9779/pauefd.1075650

Öz

This research examines the measurement and evaluation practices in postgraduate education in the emergency distance education process that came with the Covid-19 pandemic. A case study design in line with qualitative research approaches has been used in the study. The study group consisted of 27 students enrolled in a postgraduate education institute and receiving education in different programs. It was found in the study that performance-based evaluations that are required to be delivered within a certain deadline are the most preferred evaluation approaches in postgraduate classes and that time limitations are implemented in each online exam. Reiteration, responsibility, cooperation, saving time, space independence, not experiencing exam anxiety, fast communication, and providing feedback were positive aspects of distance evaluation practices. While technical problems, content and evaluation incompatibility, difficulty in accessing e-resources, subjective grading, decrease in motivation, excessive assignments and task descriptions, cheating behavior, and digital literacy insufficiency were found as the negative aspects. The current study suggests that when performing the distance evaluation, students and teachers should have digital skills and adopt not result but the process and product-oriented evaluation approaches to keep up with this process.

Kaynakça

  • Akçayır, G. ve Akçayır, M. (2018). The flipped classroom: A review of its advantages and challenges. Computers and Education, 126, 334-345. https://doi.org/10.1016/j.compedu. 2018.07.021
  • Aksu Dünya, B., Şahin, M. D. ve Aybek, E. C. (2021). Yükseköğretimde uzaktan ölçme ve değerlendirme deneyimleri: Türkiye’den üç devlet üniversitesi örneği. Ahi Evran Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(1), 232-244.
  • Alabaş, R., Kamer, T. ve Polat, Ü. (2012). Öğretmenlerin kariyer gelişimlerinde lisansüstü eğitim: Tercih sebepleri ve süreçte karşılaştıkları sorunlar. E-International Journal of Educational Research, 3(4), 89- 107.
  • Atılgan, B. (2021). Tıp fakültesi öğrencilerinin gözünden acil uzaktan öğretim sürecinin değerlendirilmesi. Sürekli Tıp Eğitimi Dergisi, 29(6), 396-406. DOI: 10.17942/sted.837551
  • Aydın, E. ve Hayal, M. A. (2014). Lisansüstü eğitime devam eden öğretmenlerin lisansüstü eğitime ilişkin görüşleri. III. Sakarya’da Eğitim Araştırmaları Kongresi Bildiri Kitabı (ss.74-79).27 Haziran 2021 tarihinde https://egitim.sakarya.edu.tr/sites/egitim.sakarya.edu.tr/file/Seak_Bildiriler_Kitabi11.pdf#page=74 adresinden erişilmiştir.
  • Baş, G. (2013). Öğretmenlerin lisansüstü eğitimden beklentileri: Nitel bir araştırma (Niğde ili örneği). Journal of Higher Education, 3(2), 61-69.
  • Bengtsson, L. (2019).Take-Home Exams in Higher Education: A Systematic Review. Education Sciences, 9(4), 267-275. https://doi.org/10.3390/educsci9040267
  • Bozkurt, A. (2017). Türkiye'de uzaktan eğitimin dünü, bugünü ve yarını. Açık Öğretim Uygulamaları ve Araştırmaları Dergisi (AUAd), 3(2), 85-124.
  • Bozkurt, A., & Sharma, R. C. (2020). Emergency remote teaching in a time of global crisis due to Corona Virus pandemic. Asian Journal of Distance Education, 15(1), 1-6. https://doi.org/10.5281/zenodo.3778083
  • Bülbül, T. (2003). Ankara Üniversitesi Eğitim Bilimleri Fakültesinde görev yapan öğretim üyelerinin lisansüstü öğretime öğrenci seçme sürecine ilişkin görüşleri. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 36(1), 167-174.
  • Çalık, T. ve Gürer, G. T. (2019). Lisansüstü öğrencilerin aldıkları eğitime ilişkin görüşlerinin incelenmesi. 4.Uluslararası Yükseköğretim Çalışmaları Kongresi Bildiriler Kitabı (ss. 63-73). 20 Mayıs 2021 tarihinde http://yocad.org.tr/wp-content/uploads/2019/12/ihec-2019-proceedings-bildiriler.pdf#page=63 adresinden erişilmiştir.
  • ETF (2018). Digital skills and competence, and digital and online learning. Turin: European Training Foundation (ETF) Publishing. 21 Haziran 2021 tarihinde https://www.etf.europa.eu/sites/default/files/2018-10/DSC%20and%20DOL_0.pdf adresinden erişilmiştir.
  • Feng, X. L., Hu, X. C., Fan, K. Y., & Yu, T. (2020). A brief discussion about the impact of coronavirus disease 2019 on teaching in colleges and universities of China. In 2020 International Conference on E-Commerce and Internet Technology (ECIT) (pp. 167-170). IEEE.
  • Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin ve Y. S. Lincoln (Ed.). Handbook of Qualitative Research (s.105–117). Thousands Oaks, CA: SAGE Publications, Inc.
  • Kaya, S. (2014). Eğitim programları ve öğretimi anabilim dalı lisansüstü eğitimin değerlendirilmesi. International Journal of Human Sciences, 11(2), 802-826.
  • Koç, F. ve Özkoçak, V. (2019). Türkiye’de lisansüstü eğitime dair güncel sorunlar. 4.Uluslararası Yükseköğretim Çalışmaları Kongresi Bildiriler Kitabı (ss. 58-62). 20 Mayıs 2021 tarihinde http://yocad.org.tr/wp-content/uploads/2019/12/ihec-2019-proceedings-bildiriler.pdf#page=63 adresinden erişilmiştir.
  • Koneru, I. (2017). Exploring moodle functionality for managing Open Distance Learning e-assessments. Turkish Online Journal of Distance Education, 18(4), 129-141. https://doi.o rg/10.17718/tojde.340402
  • Koşar, D., Er, E. ve Kılınç, A. (2020). Öğretmenlerin lisansüstü öğrenim görme nedenleri: Nitel bir araştırma. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi. 53, 370-392. https://dergipark.org.tr/en/download/article-file/952670
  • Ladd, H. F., & Sorensen, L. C. (2015). Do master’s degrees matter? Advanced degrees, career paths, and the effectiveness of teachers [Fact sheet] 20 Kasım 2021 tarihinde https://files.eric.ed.gov/fulltext/ED587162.pdf adresinden erişilmiştir.
  • Lemanski, C. (2011). Access and assessment Incentives for independent study. Assessment & Evaluation in Higher Education. 36, 565–581.
  • Lowenthal, P., Borup, J., West, R., & Archambault, L. (2020). Thinking beyond zoom: using asynchronous video to maintain connection and engagement during the COVID-19 pandemic. Journal of Technology and Teacher Education, 28(2), 383-391. https://www.learntechlib.org/primary/p/216192/
  • Ludwig-Hardman, S., & Dunclap, J. C. (2003). Learner support services for online students: scaffolding for success. International Review of Research in Open ve Distance Learning, 4(1), 1-15.
  • Mcmillan, J. H. (2004). Educational research: Fundamentals for the consumer (4th ed.), Boston: Person Education.
  • Merriam, S. B. (2002). Qualitative research in practice: Examples for discussion and analysis. San Francisco: John Wiley & Sons, Inc.
  • Michael, T. B., & Williams, M. A. (2013). Student equity: Discouraging cheating in online courses. Administrative Issues Journal: Education, Practice, and Research, 3(2), 30-42.
  • Ogange, B. O., Agak, J. O., Okelo, K. O. & Kiprotich, P. (2018). Student perceptions of the effectiveness of formative assessment in an online learning environment. Open Praxis, 10(1), 29–39.
  • Patton, Q. M. (1987). How to Use Qualitative Methods in Evaluation. London: Sage Publication.
  • Ravasco, G. G. (2012). Technology-aided cheating in open and distance e-learning. The Asian Society of Open and Distance Education, 10(2), 71-77.
  • Robson, C. (2017). Bilimsel araştırma yöntemleri: Gerçek dünya araştırmaları (Ş. Çınkır ve N. Demirkasımoğlu, Ed. ve Çev.). Ankara: Anı Yayıncılık.
  • Rossiter, S. (2020). Cheating becoming an unexpected COVID-19 side effect for universities. 25 Temmuz 2020 tarihinde https://www.cbc.ca/news/canada/edmonton/cheating-becoming-anunexpected-covid-19-side-effect-for-universities-1.5620442 adresinden erişilmiştir.
  • Rovai, A. P. (2000). Online and traditional assessments: What is the difference? Internet and Higher Education, 3(3), 141-151. https://doi.org/10.1016/S1096-7516(01)00028-8
  • Sarı, H. İ. (2020). Evde kal döneminde uzaktan eğitim: Ölçme ve değerlendirmeyi neden karantinaya almamalıyız? Uluslararası Eğitim Araştırmacıları Dergisi, 3(1), 121-128.
  • Sarı, T. ve Nayır, F. (2020). Pandemi dönemi eğitim: sorunlar ve fırsatlar. Turkish Studies, 15(4), 959- 975. doi:https://dx.doi.org/10.7827/TurkishStudies.44335
  • Serçemeli, M. ve Kurnaz, E. (2020). COVID-19 Pandemi Döneminde Öğrencilerin Uzaktan Eğitim ve Uzaktan Muhasebe Eğitimine Yönelik Bakış Açıları Üzerine Bir Araştırma. Uluslararası Sosyal Bilimler Akademik Araştırmalar Dergisi, 4(1), 40-53.
  • Stödberg, U. (2012). A research review of e-assessment. Assessment and Evaluation in Higher Education, 37(5), 591-604. https://doi.org/10.1080/02602938.2011.557496
  • Turhan, M. ve Yaraş, Z. (2013). Lisansüstü programların öğretmen, yönetici ve denetmenlerin mesleki gelişimine katkısı. Elektronik Sosyal Bilimler Dergisi, 12(43), 200-218.
  • Turner, J., & Briggs, G. (2018). To see or not to see? Comparing the effectiveness of examinations and end of module assessments in online distance learning. Assessment and Evaluation in Higher Education, 43(7), 1048-1060.
  • Türker, K. (2001). Bilim adamı yetiştirme: Dünya’da ve Türkiye’de lisansüstü eğitim. TÜBA Bilimsel Toplantı Serileri (7): Bilim Adamı Yetiştirme - Lisansüstü Eğitim (22, 30-32). TÜBİTAK Matbaası, Ankara.
  • Varış, F. (1972). Türkiye’de lisansüstü eğitim. Pozitif bilimlerin temel ve uygulamalı alanlarında. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 5(1), 51-74.
  • Yıldırım, A. ve Şimşek, H. (2011). Sosyal bilimlerde nitel araştırma yöntemleri (8. baskı). Ankara: Seçkin Yayıncılık.
  • Yue, W. S., & Kaur, S. (2016). A survey of students' perceptions on online assessment in the modular object-oriented dynamic learning environment (MOODLE). Advanced Science Letters, 12, 4082-4086.

Covid-19 Pandemi Sürecinde Lisansüstü Eğitimde Değerlendirme Yaklaşımları ve Yansımaları

Yıl 2023, , 100 - 123, 02.05.2023
https://doi.org/10.9779/pauefd.1075650

Öz

Bu araştırmanın amacı, Covid-19 pandemisiyle gelen acil uzaktan eğitim sürecinde lisansüstü eğitimde ölçme ve değerlendirme uygulamalarını derinlemesine incelemektir. Araştırmada nitel araştırma yaklaşımları doğrultusunda tasarlanan durum çalışmasından yararlanılmıştır. Araştırmanın çalışma grubunu lisansüstü eğitim enstitüsüne kayıtlı, farklı programlarında öğrenim gören 27 öğrenci oluşturmuştur. Veri toplama aracının ilk bölümü demografik bilgiler ve 15 maddeden oluşan anket, ikinci bölümü yarı yapılandırılmış görüşme formundan oluşmaktadır. Nitel veriler içerik analizi yöntemi ile analiz edilmiştir. Araştırmada lisansüstü derslerde en çok tercih edilen değerlendirme yaklaşımının geniş zamanda teslimi istenen performans dayanaklı değerlendirmeler olduğuna ve her çevrimiçi sınavda zamanın sınırlandırıldığı bulgusuna ulaşılmıştır. Uzaktan değerlendirme uygulamalarında olumlu yönler olarak pekiştirme, sorumluluk ve işbirliği yapabilme, zaman tasarrufu, mekan bağımsızlığı, sınav kaygısı yaşamama, hızlı iletişim ve geri dönüt sağlama bulgularına ulaşılmıştır. Olumsuz yönler olarak teknik problemler, içerik ve değerlendirme uyumsuzluğu, e-kaynaklara erişimde güçlük, subjektif puanlama, motivasyon düşüklüğü, fazla ödev ve görev tanımı, kopya davranışı, dijital okuryazarlık yetersizliği bulgularına ulaşılmıştır. Bulgular lisansüstü eğitimde yüz yüze derslerdeki gibi aynı kazanımlara ulaşılmaya çalışılsa da değerlendirme süreçlerinin çeşitlendiği, çevrimiçi sınav güvenlik önlemlerinin alındığını göstermiştir. Araştırma sonuçlarına dayalı olarak uzaktan değerlendirmeyi gerçekleştirirken öğrenen ve öğretenlerin de bu sürece ayak uydurabilmesi için dijital becerilere sahip olması, sonuç değil süreç ve ürün odaklı değerlendirme yaklaşımlarının benimsenmesi önerilmiştir.

Kaynakça

  • Akçayır, G. ve Akçayır, M. (2018). The flipped classroom: A review of its advantages and challenges. Computers and Education, 126, 334-345. https://doi.org/10.1016/j.compedu. 2018.07.021
  • Aksu Dünya, B., Şahin, M. D. ve Aybek, E. C. (2021). Yükseköğretimde uzaktan ölçme ve değerlendirme deneyimleri: Türkiye’den üç devlet üniversitesi örneği. Ahi Evran Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 7(1), 232-244.
  • Alabaş, R., Kamer, T. ve Polat, Ü. (2012). Öğretmenlerin kariyer gelişimlerinde lisansüstü eğitim: Tercih sebepleri ve süreçte karşılaştıkları sorunlar. E-International Journal of Educational Research, 3(4), 89- 107.
  • Atılgan, B. (2021). Tıp fakültesi öğrencilerinin gözünden acil uzaktan öğretim sürecinin değerlendirilmesi. Sürekli Tıp Eğitimi Dergisi, 29(6), 396-406. DOI: 10.17942/sted.837551
  • Aydın, E. ve Hayal, M. A. (2014). Lisansüstü eğitime devam eden öğretmenlerin lisansüstü eğitime ilişkin görüşleri. III. Sakarya’da Eğitim Araştırmaları Kongresi Bildiri Kitabı (ss.74-79).27 Haziran 2021 tarihinde https://egitim.sakarya.edu.tr/sites/egitim.sakarya.edu.tr/file/Seak_Bildiriler_Kitabi11.pdf#page=74 adresinden erişilmiştir.
  • Baş, G. (2013). Öğretmenlerin lisansüstü eğitimden beklentileri: Nitel bir araştırma (Niğde ili örneği). Journal of Higher Education, 3(2), 61-69.
  • Bengtsson, L. (2019).Take-Home Exams in Higher Education: A Systematic Review. Education Sciences, 9(4), 267-275. https://doi.org/10.3390/educsci9040267
  • Bozkurt, A. (2017). Türkiye'de uzaktan eğitimin dünü, bugünü ve yarını. Açık Öğretim Uygulamaları ve Araştırmaları Dergisi (AUAd), 3(2), 85-124.
  • Bozkurt, A., & Sharma, R. C. (2020). Emergency remote teaching in a time of global crisis due to Corona Virus pandemic. Asian Journal of Distance Education, 15(1), 1-6. https://doi.org/10.5281/zenodo.3778083
  • Bülbül, T. (2003). Ankara Üniversitesi Eğitim Bilimleri Fakültesinde görev yapan öğretim üyelerinin lisansüstü öğretime öğrenci seçme sürecine ilişkin görüşleri. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 36(1), 167-174.
  • Çalık, T. ve Gürer, G. T. (2019). Lisansüstü öğrencilerin aldıkları eğitime ilişkin görüşlerinin incelenmesi. 4.Uluslararası Yükseköğretim Çalışmaları Kongresi Bildiriler Kitabı (ss. 63-73). 20 Mayıs 2021 tarihinde http://yocad.org.tr/wp-content/uploads/2019/12/ihec-2019-proceedings-bildiriler.pdf#page=63 adresinden erişilmiştir.
  • ETF (2018). Digital skills and competence, and digital and online learning. Turin: European Training Foundation (ETF) Publishing. 21 Haziran 2021 tarihinde https://www.etf.europa.eu/sites/default/files/2018-10/DSC%20and%20DOL_0.pdf adresinden erişilmiştir.
  • Feng, X. L., Hu, X. C., Fan, K. Y., & Yu, T. (2020). A brief discussion about the impact of coronavirus disease 2019 on teaching in colleges and universities of China. In 2020 International Conference on E-Commerce and Internet Technology (ECIT) (pp. 167-170). IEEE.
  • Guba, E. G., & Lincoln, Y. S. (1994). Competing paradigms in qualitative research. In N. K. Denzin ve Y. S. Lincoln (Ed.). Handbook of Qualitative Research (s.105–117). Thousands Oaks, CA: SAGE Publications, Inc.
  • Kaya, S. (2014). Eğitim programları ve öğretimi anabilim dalı lisansüstü eğitimin değerlendirilmesi. International Journal of Human Sciences, 11(2), 802-826.
  • Koç, F. ve Özkoçak, V. (2019). Türkiye’de lisansüstü eğitime dair güncel sorunlar. 4.Uluslararası Yükseköğretim Çalışmaları Kongresi Bildiriler Kitabı (ss. 58-62). 20 Mayıs 2021 tarihinde http://yocad.org.tr/wp-content/uploads/2019/12/ihec-2019-proceedings-bildiriler.pdf#page=63 adresinden erişilmiştir.
  • Koneru, I. (2017). Exploring moodle functionality for managing Open Distance Learning e-assessments. Turkish Online Journal of Distance Education, 18(4), 129-141. https://doi.o rg/10.17718/tojde.340402
  • Koşar, D., Er, E. ve Kılınç, A. (2020). Öğretmenlerin lisansüstü öğrenim görme nedenleri: Nitel bir araştırma. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi. 53, 370-392. https://dergipark.org.tr/en/download/article-file/952670
  • Ladd, H. F., & Sorensen, L. C. (2015). Do master’s degrees matter? Advanced degrees, career paths, and the effectiveness of teachers [Fact sheet] 20 Kasım 2021 tarihinde https://files.eric.ed.gov/fulltext/ED587162.pdf adresinden erişilmiştir.
  • Lemanski, C. (2011). Access and assessment Incentives for independent study. Assessment & Evaluation in Higher Education. 36, 565–581.
  • Lowenthal, P., Borup, J., West, R., & Archambault, L. (2020). Thinking beyond zoom: using asynchronous video to maintain connection and engagement during the COVID-19 pandemic. Journal of Technology and Teacher Education, 28(2), 383-391. https://www.learntechlib.org/primary/p/216192/
  • Ludwig-Hardman, S., & Dunclap, J. C. (2003). Learner support services for online students: scaffolding for success. International Review of Research in Open ve Distance Learning, 4(1), 1-15.
  • Mcmillan, J. H. (2004). Educational research: Fundamentals for the consumer (4th ed.), Boston: Person Education.
  • Merriam, S. B. (2002). Qualitative research in practice: Examples for discussion and analysis. San Francisco: John Wiley & Sons, Inc.
  • Michael, T. B., & Williams, M. A. (2013). Student equity: Discouraging cheating in online courses. Administrative Issues Journal: Education, Practice, and Research, 3(2), 30-42.
  • Ogange, B. O., Agak, J. O., Okelo, K. O. & Kiprotich, P. (2018). Student perceptions of the effectiveness of formative assessment in an online learning environment. Open Praxis, 10(1), 29–39.
  • Patton, Q. M. (1987). How to Use Qualitative Methods in Evaluation. London: Sage Publication.
  • Ravasco, G. G. (2012). Technology-aided cheating in open and distance e-learning. The Asian Society of Open and Distance Education, 10(2), 71-77.
  • Robson, C. (2017). Bilimsel araştırma yöntemleri: Gerçek dünya araştırmaları (Ş. Çınkır ve N. Demirkasımoğlu, Ed. ve Çev.). Ankara: Anı Yayıncılık.
  • Rossiter, S. (2020). Cheating becoming an unexpected COVID-19 side effect for universities. 25 Temmuz 2020 tarihinde https://www.cbc.ca/news/canada/edmonton/cheating-becoming-anunexpected-covid-19-side-effect-for-universities-1.5620442 adresinden erişilmiştir.
  • Rovai, A. P. (2000). Online and traditional assessments: What is the difference? Internet and Higher Education, 3(3), 141-151. https://doi.org/10.1016/S1096-7516(01)00028-8
  • Sarı, H. İ. (2020). Evde kal döneminde uzaktan eğitim: Ölçme ve değerlendirmeyi neden karantinaya almamalıyız? Uluslararası Eğitim Araştırmacıları Dergisi, 3(1), 121-128.
  • Sarı, T. ve Nayır, F. (2020). Pandemi dönemi eğitim: sorunlar ve fırsatlar. Turkish Studies, 15(4), 959- 975. doi:https://dx.doi.org/10.7827/TurkishStudies.44335
  • Serçemeli, M. ve Kurnaz, E. (2020). COVID-19 Pandemi Döneminde Öğrencilerin Uzaktan Eğitim ve Uzaktan Muhasebe Eğitimine Yönelik Bakış Açıları Üzerine Bir Araştırma. Uluslararası Sosyal Bilimler Akademik Araştırmalar Dergisi, 4(1), 40-53.
  • Stödberg, U. (2012). A research review of e-assessment. Assessment and Evaluation in Higher Education, 37(5), 591-604. https://doi.org/10.1080/02602938.2011.557496
  • Turhan, M. ve Yaraş, Z. (2013). Lisansüstü programların öğretmen, yönetici ve denetmenlerin mesleki gelişimine katkısı. Elektronik Sosyal Bilimler Dergisi, 12(43), 200-218.
  • Turner, J., & Briggs, G. (2018). To see or not to see? Comparing the effectiveness of examinations and end of module assessments in online distance learning. Assessment and Evaluation in Higher Education, 43(7), 1048-1060.
  • Türker, K. (2001). Bilim adamı yetiştirme: Dünya’da ve Türkiye’de lisansüstü eğitim. TÜBA Bilimsel Toplantı Serileri (7): Bilim Adamı Yetiştirme - Lisansüstü Eğitim (22, 30-32). TÜBİTAK Matbaası, Ankara.
  • Varış, F. (1972). Türkiye’de lisansüstü eğitim. Pozitif bilimlerin temel ve uygulamalı alanlarında. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Dergisi, 5(1), 51-74.
  • Yıldırım, A. ve Şimşek, H. (2011). Sosyal bilimlerde nitel araştırma yöntemleri (8. baskı). Ankara: Seçkin Yayıncılık.
  • Yue, W. S., & Kaur, S. (2016). A survey of students' perceptions on online assessment in the modular object-oriented dynamic learning environment (MOODLE). Advanced Science Letters, 12, 4082-4086.
Toplam 41 adet kaynakça vardır.

Ayrıntılar

Birincil Dil Türkçe
Bölüm Makaleler
Yazarlar

D. Bahar Şahin Sarkın 0000-0002-1155-6114

Yayımlanma Tarihi 2 Mayıs 2023
Gönderilme Tarihi 18 Şubat 2022
Kabul Tarihi 26 Ağustos 2022
Yayımlandığı Sayı Yıl 2023

Kaynak Göster

APA Şahin Sarkın, D. B. (2023). Covid-19 Pandemi Sürecinde Lisansüstü Eğitimde Değerlendirme Yaklaşımları ve Yansımaları. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi(58), 100-123. https://doi.org/10.9779/pauefd.1075650