Social Validity of Behavioral Interventions: Intervention Rating Profile-TR

Abstract

Treatment acceptability is recognized as a key component of social validity. Research indicates that a high level of treatment acceptability is related to the high level of fidelity and use of school-based behavioral interventions by intervention practitioners or users. Although many scales assess intervention acceptability and determine the circumstances affecting intervention acceptability, research in the Turkish literature is limited. Therefore, the purpose of this study is to adapt the Intervention Rating Profile-15, which aims to assess the ratings of consumers on behavioral interventions, into Turkish and to examine the reliability and validity of the adapted scale. The exploratory factor analysis results showed that a unidimensional acceptability factor explained by 56% variance was found for the Turkish version of the scale that was called as the Müdahale Derecelendirme Profili-TR (MDP-TR). Additionally, Cronbach's Alpha Reliability Coefficient showed the internal consistency was high (α=.925). Therefore, this study can be considered as the initial evidence supporting the construct validity of the MDP-TR by verifying the predictability of the MDP-TR and measuring the acceptability of behavior interventions. Finally, limitations of the study and suggestions for the future studies were discussed.

Keywords

• Treatment acceptability
• Social validity
• Behavioral interventions
• Scale

Davranışsal Müdahalelerde Sosyal Geçerlik: Müdahale Derecelendirme Profili-TR

Abstract

Müdahale kabul edilebilirliği sosyal geçerliğin temel unsurlarından biri olarak görülmektedir. Müdahale kabul edilebilirliğinin yüksek düzeyde olmasının, okul temelli davranışsal müdahalelerin müdahale uygulayıcıları veya kullanıcıları tarafından doğru bir şekilde uygulanabilmesi ve kullanımının sürdürülebilmesi ile ilişkili olduğu bilinmektedir. Müdahale kabul edilebilirliğini ölçmek ve müdahale kabul edilebilirliğini etkileyen faktörleri belirleyebilmek için birçok ölçek geliştirilmesine rağmen Türkçe alanyazındaki araştırmaların sınırlı olduğu görülmektedir. Bu nedenle, bu araştırmanın amacı davranışsal müdahalelerin kabul edilebilirliğini ölçmeyi amaçlayan Intervention Rating Profile-15’i Türkçeye uyarlamak ve uyarlanan ölçeğin güvenirliğini ve geçerliğini incelemektir. Açımlayıcı faktör analizi sonuçları incelendiğinde Intervention Rating Profile-15’in Türkçe formu olan Müdahale Derecelendirme Profili-TR (MDP-TR) için %56 varyans ile açıklanan tek boyutlu bir kabul edilebilirlik faktörü tespit edilmiştir. Aynı zamanda Cronbach Alfa Güvenirlik Katsayısı, yüksek düzeyde bir iç tutarlılık göstermiştir (α=.925). Bu sebeple bu çalışma, MDP-TR'nin öngörülebilirliğinin doğrulanması ve davranış müdahalelerinin kabul edilebilirliğinin ölçülmesi bağlamında MDP-TR'nin yapı geçerliliği için ilk kanıt olarak düşünülebilir. Araştırmanın sınırlıkları ve gelecek çalışmalar için öneriler tartışılmıştır.

Keywords

• Müdahale kabul edilebilirliği
• Sosyal geçerlik
• Davranışsal müdahaleler
• Ölçek

References

1. Akalın, S. (2014). Özel eğitim araştırmalarında sosyal karşılaştırma üzerine bir uygulama örneği. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Özel Eğitim Dergisi, 15(3), 19-35. https://doi.org/10.1501/Ozlegt_0000000212
2. Ardıç, A. (2008). Uyarlanmış yoğun tuvalet eğitimi yönteminin otistik özellikler gösteren çocuklara tuvalet becerilerinin öğretiminde etkililiği. (Yüksek Lisans Tezi). http://tez.yok.gov.tr sayfasından erişilmiştir.
3. Atbaşı, Z. & Karasu, N. (2018). Uygulama örneği üzerinden sosyal geçerlik kavramının anlamı ve değerlendirilmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 34(1), 283-303. https://doi.org/10.16986/HUJE,2018037421
4. Brislin, R. W. (1970). Back-translation for cross-cultural research. Journal of Cross-Cultural Psychology, 1(3), 185-216. https://doi.org/10.1177/135910457000100301 Carter, S. L. (2007). Review of recent treatment acceptability research. Education and Training in Developmental Disabilities, 42(3), 301-316.
5. Cattell, R. B. (1966). The meaning and strategic use of factor analysis. Handbook of multivariate experimental psychology içinde. Boston, MA: Springer US.
6. Ceylan, F. & Yıkmış, A. (2017). Kaynaştırma öğrencilerinin sergilediği problem davranışlara yönelik sınıf öğretmenlerinin uyguladıkları önleme ve müdahale stratejileri. Uludağ Üniversitesi Eğitim Fakültesi Dergisi, 30(1), 239-264.
7. Costello, A. B. & Osborne, J. (2005). Best practices in exploratory factor analysis: Four recommendations for getting the most from your analysis. Practical Assessment, Research, and Evaluation, 10(7), 1-9. https://doi.org/10.7275/jyj1-4868
8. Eckert, T. L., Hier, B. O., Hamsho, N. F., & Malandrino, R. D. (2017). Assessing children’s perceptions of academic interventions: The Kids Intervention Profile. School Psychology Quarterly, 32(2), 268-281. https://doi.org/10.1037/spq0000200

9. Elliott, S. N. (1988). Acceptability of behavioral treatments: Review of variables that influence treatment selection. Professional Psychology: Research and Practice, 19(1), 68-80. https://doi.org/10.1037/0735-7028.19.1.68
10. Elliott, S. N., Witt, J. C., Kratochwill, T. R., & Stoiber, K. C. (2002). Selecting and evaluating classroom interventions. M. R. Shinn, H. M. Walker, & G. Stoner (Ed.), Interventions for academic and behavior problems II: Preventive and remedial approaches içinde (s. 243–294). Bethesda, MD: National Association of School Psychologists.
11. Ercan, İ. & Kan, İ. (2004). Ölçeklerde güvenirlik ve geçerlik. Uludağ Üniversitesi Tıp Fakültesi Dergisi, 30(3), 211-216.
12. Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13(40), 17-25.
13. Eşmekaya, E. (2019). Faktör analizi. YBS Ansiklopedi, 7(1), 24-35.
14. Fabrigar, L. R., Wegener, D. T., MacCallum, R. C., & Strahan, E. J. (1999). Evaluating the use of exploratory factor analysis in psychological research. Psychological Methods, 4(3), 272. https://doi.org/10.1037/1082-989X.4.3.272
15. Fowler, F. (2002). Survey research methods (3. b.). Thousand Oaks, California: Sage Publications.
16. Gorsuch, R. (1983). Factor analysis (2. b.). Hillsade, NJ: Elbaum.
17. Harrison, J. R., State, T. M., Evans, S. W., & Schamberg, T. (2016). Construct and predictive validity of social acceptability: Scores from high school teacher ratings on the School Intervention Rating Form. Journal of Positive Behavior Interventions, 18(2), 111-123. https://doi.org/10.1177/1098300715596135
18. Hemmeter, M. L., Santos, R. M., & Ostrosky, M. M. (2008). Preparing early childhood educators to address young children’s social-emotional development and challenging behavior: A survey of higher education programs in nine states. Journal of Early Intervention, 30(4), 321–340. https://doi.org/10.1177/1053815108320900
19. Karal, M. A., Tan, S., & Unluol-Unal, N. (Süreçte). Primary school teachers’ approach to the problem behaviour in inclusive classrooms in Turkey.
20. Kazdin, A. E. (1980). Acceptability of alternative treatments for deviant child behavior. Journal of Applied Behavior Analysis, 13(2), 259-273. https://doi.org/10.1901/jaba.1980.13-259
21. Kelly, M. E. & Barnes-Holmes, D. (2015). Measuring implicit and explicit acceptability of reinforcement versus punishment interventions with teachers working in ABA versus mainstream schools. The Psychological Record, 65(2), 251-265. https://doi.org/10.1007/s40732-014-0101-4
22. Maag, J. (2004). Behavior management: From theoretical implications to practical implications. United Kingdom: Thomson/ Wadsworth Learning.
23. Martens, B. K., Witt, J. C., Elliott, S. N., & Darveaux, D. X. (1985). Teacher judgments concerning the acceptability of school-based interventions. Professional Psychology: Research and Practice, 16, 191-198. https://doi.org/10.1037/0735-7028.16.2.191
24. Miltenberger, R. G. (1990). Assessment of treatment acceptability: A review of the literature. Topics in Early Childhood Special Education, 10(3), 24-38. https://doi.org/10.1177/027112149001000304
25. Nunnally, J. C. (1978). Psychometric theory (2. b.). McGraw-Hill: New York.
26. Odluyurt, S. (2007). Okulöncesi dönemde gelişimsel yetersizlik gösteren çocuklar için gerekli kaynaştırmaya hazırlık becerilerinin ve bu becerilerden bazılarının etkinlikler içine gömülen eşzamanlı ipucuyla öğretiminin etkilerinin belirlenmesi. (Doktora Tezi). http://tez.yok.gov.tr sayfasından erişilmiştir.
27. Olcay, S., Koç, M., Vuran, S., & Köksal, M. S. (2020). Effectiveness of class-wide positive behavioral support intervention in teaching social skills to students in a primary school activity club. International Journal of Early Childhood Specıal Education, 12(1), 185-201. https://doi.org/10.9756/INT-JECSE/V12I1.201004
28. Peckham-Hardin, K. D. (2002). Teachers’ reported use of positive behavior support under typical classroom conditions. (Doctoral Dissertation). http://www.proquest.com sayfasından erişilmiştir.
29. Pett, M. A., Lackey, N. R., & Sullivan, J. J. (2003). Making sense of factor analysis: The use of factor analysis for instrument development in health care research. Thousand Oaks, California: Sage. https://dx.doi.org/10.4135/9781412984898
30. Reimers, T. M., Wacker, D. P., & Koeppl, G. (1987). Acceptability of behavioral interventions: A review of the literature. School Psychology Review, 16(2), 212-227. https://doi.org/10.1080/02796015.1987.12085286
31. Sak, U. (2011). Üstün yetenekliler eğitim programları modeli (ÜYEP) ve sosyal geçerliği. Eğitim ve Bilim, 36(161), 213-229.
32. Schwab, D. P. (1980). Construct validity in organizational behavior. L. L. Cummings & B. M. Staw (Ed.), Research in organizational behavior (c. 2) içinde (s. 3-43). Amsterdam: JAI.
33. Smyth, S., Reading, B. E., & McDowell, C. (2019). The impact of staff training on special educational needs professionals’ attitudes toward and understanding of applied behavior analysis. Journal of Intellectual Disabilities, 23(4), 541-551. https://doi.org/10.1177/1744629517739160
34. Tabachnick, B. G. & Fidell, L. S. (2013). Using multivariate statistics (6. b.). Boston, MA: Allyn & Bacon/Pearson Education.
35. Tarnowski, K. J. & Simonian, S. J. (1992). Assessing treatment acceptance: The abbreviated acceptability rating profile. Journal of Behavior Therapy and Experimental Psychiatry, 23(2), 101-106. https://doi.org/10.1016/0005-7916(92)90007-6
36. Tingstrom, D. H. (1990). Acceptability of time-out: The influence of problem behavior severity, interventionist, and reported effectiveness. Journal of School Psychology, 28(2), 165-169. https://doi.org/10.1016/0022-4405(90)90007-T
37. Turan, Y., Erbaş, D., Özkan, S. Y., & Kürkçüoğlu, B. U. (2009). Turkish special education teachers’ reported use of positive and reductive interventions for problem behaviors: An examination of the variables associated with use. Journal of Positive Behavior Interventions, 12, 211-221. https://doi.org/10.1177/1098300709340700
38. Unluol-Unal, N. (2018). Examination of a rating scale to assess teachers' treatment acceptability of reading interventions for struggling readers in elementary schools. (Doctoral Dissertation). http://www.proquest.com sayfasından erişilmiştir.
39. Velicer, W. F. & Jackson, D. N. (1990). Component analysis versus common factor analysis: Some further observations. Multivariate Behavioral Research, 25(1), 97-114. https://doi.org/10.1207/s15327906mbr2501_12
40. Von Brock, M. B. & Elliott, S. N. (1987). Influence of treatment effectiveness information on the acceptability of classroom interventions. Journal of School Psychology, 25(2), 131-144. https://doi.org/10.1016/0022-4405(87)90022-7
41. Vuran, S. & Sönmez, M. (2008). Sosyal geçerlik kavramı ve Türkiye’de özel eğitim alanında yürütülen lisansüstü tezlerde sosyal geçerliğin değerlendirilmesi. Ankara Üniversitesi Eğitim Bilimleri Fakültesi Özel Eğitim Dergisi, 9(01), 55-67. https://doi.org/10.1501/Ozlegt_0000000114
42. Witt, J. C. & Elliott, S. N. (1985). Acceptability of classroom management strategies. T. R. Kratochwill (Ed.), Advances in school psychology (c. 4) içinde (s. 251-288). Hillsdale, NJ: Lawrence Erlbaum Associates.
43. Witt, J. C. & Martens, B. (1983). Assessing the acceptability of behavioral interventions used in classrooms. Psychology in the Schools, 20, 510-517. https://doi.org/10.1002/1520-6807(198310)20:4<510::AID-PITS2310200420>3.0.CO;2-1
44. Witt, J. C., Martens, B., & Elliott, S. N. (1984). Factors affecting teachers' judgments of the acceptability of behavioral interventions: Time involvement, behavior problem severity, and type of intervention. Behavior Therapy, 15(2), 204-209. https://doi.org/10.1016/s0005-7894(84)80022-2
45. Wolf, M. M. (1978). Social validity: The case for subjective measurement or how applied behavior analysis is finding its heart. Journal of Applied Behavior Analysis, 11(2), 203-214. https://doi.org/10.1901/jaba.1978.11-203