Tıp Eğitiminde Klinik Akıl Yürütme Becerisinin Ölçümü için Türkçede İlk Otomatik Soru Üretimi

Abstract

Amaç: Yüksek kaliteli madde (soru) yazmanın, ciddi miktarlarda kaynak harcamayı zorunlu kılan türden bir iş olduğu söylenebilir. Özellikle üst düzey bilişsel becerileri ölçen, bağlam açısından zengin içerikli çoktan seçmeli soru yazma işlemi saatler harcamayı gerektirebilir. Bu çalışmanın amacı, Otomatik Soru Üretimi (OSÜ) yöntemi kullanılarak Türkçede klinik akıl yürütme becerisinin ölçümüne yönelik olguya dayalı çoktan seçmeli soru üretiminin mümkün olup olmadığını belirlemektir. Yöntem: Gierl vd. tarafından geliştirilen şablon tabanlı OSÜ yöntemi kullanılarak birer bilişsel model ve soru modelinin geliştirilmesinin ardından bir yazılım yardımıyla hipertansiyon konusunu içeren olguya dayalı çoktan seçmeli sorular üretildi. Bilişsel model ve soru modeli, bir tıp doktoru ve bir kardiyolog tarafından, Türk Hipertansiyon Uzlaşı Raporu dikkate alınarak oluşturuldu. Yazılım, Python tabanlı bir kod şeklinde yazıldı. Yazılım geliştirme, kullanıcı arayüzü geliştirmeyi içermiyordu ve yazılım tek seferlik kullanım için kodlandı. Üretilen sorular, MySQL veritabanı kullanılarak kaydedildi. Üretilen bu soruların arasından rastgele seçilen 10 soru, üç konu uzmanı kardiyolog tıp eğiticisi tarafından incelendi. Değerlendirme sürecinde soruların kalitesi kardiyologlar tarafından incelendi. Ayrıca, soruların basit hatırlama düzeyi yerine klinik akıl yürütme becerisi gibi üst düzey bilişsel bir beceriyi ölçüp ölçmediği de değerlendirildi. Bulgular: 1.73 saniyede, hipertansiyon konusunu içeren 1600 çoktan seçmeli soru üretildi. Bazı sorularda minor değişiklik önerisinde bulunmuş olmalarına rağmen, her bir kardiyolog her bir sorunun kabul edilebilir birer soru olduğunu belirtti. Kardiyologlar ayrıca, incelenen her bir sorunun hatırlama düzeyi yerine klinik akıl yürütme becerisini ölçmeye yönelik olduğunu belirtti. Sonuç: Bu çalışma, Türkçede ilk kez tıp eğitimi bağlamında klinik akıl yürütme becerisini ölçmek için otomatik soru üretiminin mümkün olduğunu göstermiştir. Bu artırılmış zekâ yöntemi, diğer beş dilde olduğu gibi Türkçede de soru oluşturmak için kullanılabilir. Bu yöntemin kullanımı, klinik akıl yürütme becerisinin ölçümüne yönelik daha fazla soru elde etmemize yardımcı olabilir. Ayrıca, geleneksel soru yazımı yöntemine göre tıp eğiticilerinin bu süreçte daha az zaman ve çaba harcamalarını sağlayabilir.

Keywords

• Otomatik Madde Üretimi
• Otomatik Soru Üretimi
• Soru Yazımı
• Klinik Akıl Yürütme
• Tıp Eğitimi

The First Automatic Item Generation in Turkish for Assessment of Clinical Reasoning in Medical Education

Abstract

Aim: Writing high-quality items (questions) is a resource-intensive task. Particularly, the development of one context-rich multiple-choice question (MCQ) for assessing higher-order cognitive skills may cost hours of medical teachers. The aim of this study was to find out whether it is possible the use of Automatic Item Generation (AIG) in Turkish to generate case-based MCQs that assess clinical reasoning skills. Methods: By following the template-based AIG method developed by Gierl et al., MCQs on hypertension were generated with the help of software after the development of a cognitive model and an item model. The cognitive model and the item model was developed by a medical doctor and a cardiologist by considering Turkish Hypertension Consensus Report. The software was built as a Python-based code intended for single use without a user interface. The items were recorded in a MySQL database. Of these questions, 10 questions were randomly chosen to be reviewed by three subject matter experts (cardiologists). The evaluation was based on the quality of the questions and whether the questions assess higher-order skills such as clinical reasoning rather than factual recall. Results: In 1.73 seconds, 1600 MCQs on hypertension were generated. Although there were some minor revision suggestions in a few questions, each question was stated by all cardiologists as an acceptable item. The cardiologists also stated that the questions assess clinical reasoning skills rather than factual recall. Conclusions: This study demonstrated for the first time that AIG for assessing clinical reasoning skills in the context of medical education in Turkish is possible. This method of augmented intelligence to generate items can be used in Turkish as it has been used in other five languages. The use of this method could bring about more questions to assess clinical reasoning skills. It may also lead medical teachers to spend less amount of time and effort compared to traditional item writing.

Keywords

• Automatic Item Generation
• Automatic Question Generation
• Item Writing
• Clinical Reasoning
• Medical Education

References

1. 1. Daniel M, Rencic J, Durning SJ, Holmboe E, Santen SA, Lang V, et al. Clinical Reasoning Assessment Methods: A Scoping Review and Practical Guidance. Acad Med. 2019 Jun;94(6):902–12.
2. 2. Pugh D, De Champlain A, Touchie C. Plus ça change, plus c’est pareil: Making a continued case for the use of MCQs in medical education. Med Teach. 2019 May;41(5):569–77.
3. 3. Schuwirth LWT, van der Vleuten CPM. Different written assessment methods: what can be said about their strengths and weaknesses? Med Educ. 2004 Sep;38(9):974–9.
4. 4. Gierl MJ, Haladyna TM, editors. Automatic item generation: theory and practice. New York: Routledge; 2013. 246 p.
5. 5. Wrigley W, Van Der Vleuten CP, Freeman A, Muijtjens A. A systemic framework for the progress test: Strengths, constraints and issues: AMEE Guide No. 71. Medical Teacher. 2012 Sep;34(9):683–97.
6. 6. Gierl MJ, Lai H, Turner SR. Using automatic item generation to create multiple-choice test items. Medical Education. 2012;46(8):757–65.
7. 7. Kurdi G, Leo J, Parsia B, Sattler U, Al-Emari S. A Systematic Review of Automatic Question Generation for Educational Purposes. Int J Artif Intell Educ. 2020 Mar;30(1):121–204.
8. 8. Gierl MJ, Lai H, Tanygin V. Advanced Methods in Automatic Item Generation. 1st ed. Routledge; 2021.

9. 9. Falcão F, Costa P, Pêgo JM. Feasibility assurance: a review of automatic item generation in medical assessment. Adv in Health Sci Educ. 2022 May;27(2):405–25.
10. 10. Pugh D, De Champlain A, Gierl M, Lai H, Touchie C. Can automated item generation be used to develop high quality MCQs that assess application of knowledge? RPTEL. 2020 Dec;15(1):12.
11. 11. Leo J, Kurdi G, Matentzoglu N, Parsia B, Sattler U, Forge S, et al. Ontology-Based Generation of Medical, Multi-term MCQs. Int J Artif Intell Educ. 2019 May;29(2):145–88.
12. 12. Aydoğdu S, Güler K, Bayram F, Altun B, Derici Ü, Abacı A, et al. [2019 Turkish Hypertension Consensus Report]. Turk Kardiyol Dern Ars. 2019;47(6):535–46.
13. 13. Cansever Z, Acemoğlu H, Avşar Ü, Hoşoğlu S. Tıp Fakültesindeki Çoktan Seçmeli Sınav Sorularının Değerlendirilmesi. Tıp Eğitimi Dünyası. 2016 Apr 28;14(44):44–55.
14. 14. Gierl MJ, Lai H, Pugh D, Touchie C, Boulais AP, De Champlain A. Evaluating the Psychometric Characteristics of Generated Multiple-Choice Test Items. Applied Measurement in Education. 2016 Jul 2;29(3):196–210.
15. 15. Kosh AE, Simpson MA, Bickel L, Kellogg M, Sanford‐Moore E. A Cost–Benefit Analysis of Automatic Item Generation. Educational Measurement: Issues and Practice. 2019 Mar;38(1):48–53.
16. 16. American Educational Research Association, editor. The Standards for Educational and Psychological Testing. Washington, D.C: American Educational Research Association; 2014.
17. 17. Lai H, Gierl MJ, Touchie C, Pugh D, Boulais AP, De Champlain A. Using Automatic Item Generation to Improve the Quality of MCQ Distractors. Teaching and Learning in Medicine. 2016 Apr 2;28(2):166–73.
18. 18. Gierl MJ, Swygert K, Matovinovic D, Kulesher A, Lai H. Three Sources of Validation Evidence Needed to Evaluate the Quality of Generated Test Items for Medical Licensure. Teaching and Learning in Medicine. 2022 Sep 14;1–11.