Research Article
BibTex RIS Cite

OKUL PERFORMANSI DEĞERLENDİRME ÖLÇEĞİ

Year 2021, Volume: 50 Issue: 229, 53 - 71, 04.02.2021

Abstract

Çağdaş performans değerlendirme yaklaşımlarında okul performansının rekabet ve mukayese odaklı olmaksızın, okulun kendine has şartlarına göre değerlendirilmesi önem kazanmaktadır. Bu araştırmanın amacı, okul performansının öğretmen görüşlerine göre değerlendirilmesine yardımcı olacak geçerli ve güvenilir bir ölçme aracı geliştirmektir. Araştırmanın çalışma grubunu ortaokul ve liselerde görev yapan tesadüfi olarak belirlenmiş toplam 445 öğretmen oluşturmaktadır. Araştırma sonuçlarına göre ölçeğin; öğrenci ve veli memnuniyeti, iletişim ve işbirliği, okulun imkânları, bilimsel ve kültürel faaliyetler olmak üzere dört faktörlü bir yapı gösterdiği belirlenmiştir. Geliştirilen ölçeğin geçerli ve güvenilir bir ölçme aracı olduğuna dair güçlü kanıtlar elde edilmiştir. Buna göre Okul Performansı Değerlendirme Ölçeği’nin araştırmacı ve uygulamacılar tarafından öğretmen görüşlerine göre okul performansını değerlendirmek üzere kullanılması önerilmektedir.

References

  • ABİDE. (2019). Akademik Becerilerin İzlenmesi ve Değerlendirilmesi ABİDE 2018. Ankara: MEB.
  • AKAN, D., YALÇIN, S. ve YILDIRIM, İ. (2013). İlköğretim Kurumları Standartları (İks) Uygulamasına Dair Okul Yöneticilerinin Görüşleri (Erzincan İli Örneği). Millî Eğitim Dergisi, 43 (197), 129-144.
  • AKBABA-ALTUN, S. ve MEMİŞOĞLU, S. (2008). İlköğretim Okullarında Çoklu Veri Kaynağına Dayalı Performans Değerlendirmesine İlişkin Nitel Bir Çalışma. Kuram ve Uygulamada Eğitim Yönetimi, 54, 151-179.
  • AKKURT, Z. ve KARABAĞ-KÖSE, E. (2019). Öğrenci Başarısının Öğretmen, Okul ve Aileyle İlgili Değişkenler Açısından İncelenmesi. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 1-16. doi: 10.9779/pauefd.451853.
  • ALTAN, S. (2018). Entelektüel Sermaye ve Okul Performansı: Özel Ortaokullarda Bir Araştırma. Eğitim ve Bilim, 43(196), 215-242. doi: 10.15390/EB.2018.7510
  • ALTINKURT, Y. (2010). Attitudes Of Employees Of Provincial Directorates Of National Education And School Administrators Towards Strategic Planning. Educational Sciences: Theory & Practice, 10(4), 1947-1968.
  • ATAÇ, E. (2017). Türkiye’de Eğitim Eşitsizliğini Okumak: İstatistikler ve Coğrafi Dağılımlar. Eğitim ve Bilim, 42(192), 59-86. doi:10.15390/EB.2017.7124
  • AVALOS-BEVAN, B. (2018). Teacher Evaluation in Chile: Highlights And Complexities in 13 Years Of Experience, Teachers And Teaching, 24(3), 297-311. doi: 10.1080/13540602.2017.1388228
  • BALCI, A., ÇANAKÇI, H. ve TAN, Ç. (2012). The Views Of School Administrators And Teachers Related To The Strategic Plans Prepared At Primary Schools İn Elazığ City. Electronic Journal Of Social Sciences, 39(11), 385-394.
  • BUKOWSKI, P. ve KOBUS, M. (2018). The Threat Of Competition And Public School Performance: Evidence From Poland. Economics Of Education Review, 67, 14-24. doi: 10.1016/j.econedurev. 2018.09.004
  • BÜYÜKÖZTÜRK, Ş. (2007). Sosyal Bilimler İçin Veri Analizi El Kitabı. Ankara: Pegem.
  • CHEEMA, J. R. ve ASRAR-UL-HAQ, M. (2017). Effects Of Staff Participation, Morale And Shortage On Organisational Performance: An İnternational Survey. Issues in Educational Research, 27(4), 677-696.
  • DEVELLIS, R. F. (1991). Scale Development: Theory And Applications. Newbury Park, CA: Sage.
  • DİNÇER, Ö. (2013). Stratejik Yönetim ve İşletme Politikası. İstanbul: Alfa Yayınları.
  • DİNÇER, Ö. ve YILMAZ, C. (2003). Değişimin Yönetimi İçin Yönetimde Değişim. Ankara: Başbakanlık
  • EKİNCİ, S. (2018). Profesyonel Öğrenme Topluluğu, Psikolojik Sahiplenme ve Bağlamsal Performans Arasındaki İlişki. Yayımlanmamış doktora tezi, Bolu Abant İzzet Baysal Üniversitesi, Bolu.
  • ERDAĞ, C. ve KARADAĞ, E. (2017). Öğretmenler ve Okul Müdürleri Perspektifinden Okul Hesap Verebilirliği Politikaları. Uluslararası Toplum Araştırmaları Dergisi, 7(13), 459-496. doi: 10.26466/opus.292614
  • GEFEN, D., STRAUB, D. W. ve BOUDREAU, M. (2000). Structural Equation Modeling And Regression: Guidelines For Research Practice. Communications Of The Association For Information Systems, 4(7), 1-78.
  • HESAPÇIOĞLU, M. (2003). Okul, New Public Management ve Toplam Kalite Yönetimi. Kuram Ve Uygulamada Eğitim Bilimleri, 3(1), 145-165.
  • HINKIN, T. R. (1995). A Review Of Scale Development Practices In The Study Of Organizations. Journal Of Management, 21(5), 967-988. doi: 10.1177/014920639502100509
  • İLHAN, M. ve GÜLER, N. (2017). Likert Tipi Ölçeklerde Olumsuz Madde ve Kategori Sayısı Sorunu: Rasch Modeli ile Bir İnceleme. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8 (3), 321-343. doi: 10.21031/epod.321057
  • JAMES, C. ve CONNOLLY, M. (2009). An Analysis Of The Relationship Between The Organizational Culture And The Performance Of Staff Work Groups In Schools And The Development Of An Explanatory Model. International Journal of Leadership in Education, 12(4), 389-407. doi: 10.1080/13603120902980804
  • KANTOS, E. Z. (2010). Türkiye’deki İlköğretim Okulu Yönetici ve Öğretmen Görüşlerine Göre Kamu ve Özel İlköğretim Okullarında Hesap Verebilirlik Modelinin Uygulanabilirliği. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
  • KARABAĞ-KÖSE, E. (2019). Dezavantajlı Bölge Okullarında Öğrenim Gören Risk Altındaki Öğrencilerin Okul Bağlılıklarını Etkileyen Faktörler. Eğitim ve Bilim. doi: 10.15390/ EB.2019.7893
  • KARASAR, N. (1995). Bilimsel Araştırma Yöntemi: Kavramlar, İlkeler, Teknikler. Ankara: 3a Araştırma Eğitim, Danışmanlık.
  • KESER-ÖZMANTAR, Z. (2011). Balanced Scorecard’ın Okullarda Stratejik Performans Yönetim Aracı Olarak Kullanılması. Yayımlanmamış doktora tezi, Gaziantep Üniversitesi, Gaziantep.
  • KILIÇ, R. (1998). Millî Eğitimi Geliştirme Projesi Kapsamında Müfredat Laboratuvar Okulları Uygulaması. Eğitim ve Bilim, 22(109), 32-36.
  • KOÇ, F. (2018). İlköğretimde Öğrenci Başarısında Okulun Etkisinin Katma Değer Belirleme Yöntemiyle İncelenmesi (Ankara İli Örneği). Eurasian Journal of Educational Research, 76, 41-72. doi: 10.14689/ejer.2018.76.3
  • LIU, S., XU, X., GRANT, L., STRONG, J. ve FANG, Z. (2017). Professional Standards And Performance Evaluation For Principals İn China: A Policy Analysis Of The Development Of Principal Standards. Educational Management Administration & Leadership, 45(2), 238–259. doi: 10.1177/1741143215587304
  • MASLOWSKI, R (2001) School culture and school performance: An Explorative Study İnto The Organizational Culture Of Secondary Schools And Their Effects. Yayımlanmamış Doktora Tezi, University of Twente, Netherlands.
  • MCDONALD, R. P. ve HO, R. H. (2002). Principles And Practice İn Reporting Structural Equation Analyses. Psychological Methods, 7, 64-82.
  • MEB. (2019). 2023 eğitim vizyonu. http://2023vizyonu.meb.gov.tr/ adresinden erişilmiştir.
  • MEB. (2010). İlköğretim Kurumları Standartları Eğitim Dokümanı. Ankara: MEB.
  • MEB. (2007). Eğitimde Kalite Ödülü El Kitabı. Ankara: MEB.
  • MEB. (2002). Okulda Performans Yönetimi. Ankara: MEB.
  • MEB. (1999). TKY Uygulama Yönergesi. Tebliğler Dergisi, 2506, 998-1101.
  • MEŞECİ, F. (2007). İngiltere’de İlköğretim Performans Değerlendirme Sistemi ve Türkiye İçin Öneriler. Değerler Eğitimi Dergisi, 5(14), 79-105.
  • MOYNIHAN, D.P. ve INGRAHAM, P.W. (2004). Integrative Leadership İn The Public Sector: A Model Of Performance-İnformation Use. Administration & Society, 36(4), 427-53.
  • NATIONAL Policy Board for Educational Administration (2015). Professional Standards For Educational Leaders 2015. Reston, VA: Author.
  • OECD. (2017). PISA 2015 results (Volume III): students’ well-being. Paris: PISA OECD Publishing. doi:10.1787/9789264273856-en
  • OFSTED, (2018). The Annual Report Of Her Majesty’s Chief İnspector Of Education, Children’s Services And Skills 2017/18. www.gov.uk/government/publications adresinden erişilmiştir.
  • OKÇU, V. (2009). İlköğretim Okulu Yönetici ve Öğretmenlerinin Toplam Kalite Yönetimine İlişkin Yönelimleri. Millî Eğitim Dergisi, 183, 272-288.
  • ÖZDEMİR, S., KÖSE, M.F., KAVGACI, H. (2014). Türkiye'de Eğitim Yönetimi Alanındaki Yüksek Lisans Programlarının Okul Liderliği Standartları Çerçevesinde Değerlendirilmesi. Mukaddime, 5(1), 1-26.
  • STRINGER, P. ve HOURANİ, R.B. (2016). Transformation Of Roles And Responsibilities Of Principals İn Times Of Change. Educational Management Administration & Leadership, 44(2) 224–246. doi: 10.1177/1741143214549971
  • SCHIEHLL, E. ve MORİSSETTE, R. (2000). Motivation, Measurement And Rewards From A Performance Evaluation Perspective. Revista de Administração Contemporânea, 4(3), 7-24. doi: 10.1590/S1415-65552000000300002
  • ŞAHİN, F. ve CEMALOĞLU, N. (2019). Eğitim Yönetimi Alan Kitaplarında Geleneksel Yönetim Yaklaşımlarına İlişkin İleri Sürülen İnanç İfadeleri: Doğruluk ve Haklılandırma Problemi. Gazi Üniversitesi Eğitim Fakültesi Dergisi,39(1), 397-430.
  • ŞAHİN, S. ve ARIKAN-ÇEPER, B. (2013). İlköğretim Kurumları Standartları (İKS) Etkililiği Üzerine. Elektronik Sosyal Bilimler Dergisi, 12(46), 84-111.
  • TAYLOR, F. W. (2016). Bilimsel yönetimin ilkeleri. Ankara: Adres.
  • TROTTIER, T., VAN Wart, M. ve WANG X. (2008). Examining The Nature And Significance Of Leadership İn Government Organizations. Public Administration Review, 68(2), 319-33.
  • VALLI, L. ve BUESE, D. (2007). The Changing Roles Of Teachers İn An Era Of High-Stakes Accountability. American Educational Research Journal, 44(3), 519–558. doi: 10.3102/0002831207306859
  • YEN, W. M. ve FERRARA, S. (1997). The Maryland School Performance Assessment Program: Performance Assessment With Psychometric Quality Suitable For High Stakes Usage. Educational And Psychological Measurement, 57(1), 60-84. doi: 10.1177/0013164497057001004
  • YILDIRIM, N. (2008). Bir Toplam Kalite Yönetimi Uygulaması: Tokat İli Çamağzı İlköğretim Okulu Örneği. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 8(14), 1-16.
Year 2021, Volume: 50 Issue: 229, 53 - 71, 04.02.2021

Abstract

References

  • ABİDE. (2019). Akademik Becerilerin İzlenmesi ve Değerlendirilmesi ABİDE 2018. Ankara: MEB.
  • AKAN, D., YALÇIN, S. ve YILDIRIM, İ. (2013). İlköğretim Kurumları Standartları (İks) Uygulamasına Dair Okul Yöneticilerinin Görüşleri (Erzincan İli Örneği). Millî Eğitim Dergisi, 43 (197), 129-144.
  • AKBABA-ALTUN, S. ve MEMİŞOĞLU, S. (2008). İlköğretim Okullarında Çoklu Veri Kaynağına Dayalı Performans Değerlendirmesine İlişkin Nitel Bir Çalışma. Kuram ve Uygulamada Eğitim Yönetimi, 54, 151-179.
  • AKKURT, Z. ve KARABAĞ-KÖSE, E. (2019). Öğrenci Başarısının Öğretmen, Okul ve Aileyle İlgili Değişkenler Açısından İncelenmesi. Pamukkale Üniversitesi Eğitim Fakültesi Dergisi, 47, 1-16. doi: 10.9779/pauefd.451853.
  • ALTAN, S. (2018). Entelektüel Sermaye ve Okul Performansı: Özel Ortaokullarda Bir Araştırma. Eğitim ve Bilim, 43(196), 215-242. doi: 10.15390/EB.2018.7510
  • ALTINKURT, Y. (2010). Attitudes Of Employees Of Provincial Directorates Of National Education And School Administrators Towards Strategic Planning. Educational Sciences: Theory & Practice, 10(4), 1947-1968.
  • ATAÇ, E. (2017). Türkiye’de Eğitim Eşitsizliğini Okumak: İstatistikler ve Coğrafi Dağılımlar. Eğitim ve Bilim, 42(192), 59-86. doi:10.15390/EB.2017.7124
  • AVALOS-BEVAN, B. (2018). Teacher Evaluation in Chile: Highlights And Complexities in 13 Years Of Experience, Teachers And Teaching, 24(3), 297-311. doi: 10.1080/13540602.2017.1388228
  • BALCI, A., ÇANAKÇI, H. ve TAN, Ç. (2012). The Views Of School Administrators And Teachers Related To The Strategic Plans Prepared At Primary Schools İn Elazığ City. Electronic Journal Of Social Sciences, 39(11), 385-394.
  • BUKOWSKI, P. ve KOBUS, M. (2018). The Threat Of Competition And Public School Performance: Evidence From Poland. Economics Of Education Review, 67, 14-24. doi: 10.1016/j.econedurev. 2018.09.004
  • BÜYÜKÖZTÜRK, Ş. (2007). Sosyal Bilimler İçin Veri Analizi El Kitabı. Ankara: Pegem.
  • CHEEMA, J. R. ve ASRAR-UL-HAQ, M. (2017). Effects Of Staff Participation, Morale And Shortage On Organisational Performance: An İnternational Survey. Issues in Educational Research, 27(4), 677-696.
  • DEVELLIS, R. F. (1991). Scale Development: Theory And Applications. Newbury Park, CA: Sage.
  • DİNÇER, Ö. (2013). Stratejik Yönetim ve İşletme Politikası. İstanbul: Alfa Yayınları.
  • DİNÇER, Ö. ve YILMAZ, C. (2003). Değişimin Yönetimi İçin Yönetimde Değişim. Ankara: Başbakanlık
  • EKİNCİ, S. (2018). Profesyonel Öğrenme Topluluğu, Psikolojik Sahiplenme ve Bağlamsal Performans Arasındaki İlişki. Yayımlanmamış doktora tezi, Bolu Abant İzzet Baysal Üniversitesi, Bolu.
  • ERDAĞ, C. ve KARADAĞ, E. (2017). Öğretmenler ve Okul Müdürleri Perspektifinden Okul Hesap Verebilirliği Politikaları. Uluslararası Toplum Araştırmaları Dergisi, 7(13), 459-496. doi: 10.26466/opus.292614
  • GEFEN, D., STRAUB, D. W. ve BOUDREAU, M. (2000). Structural Equation Modeling And Regression: Guidelines For Research Practice. Communications Of The Association For Information Systems, 4(7), 1-78.
  • HESAPÇIOĞLU, M. (2003). Okul, New Public Management ve Toplam Kalite Yönetimi. Kuram Ve Uygulamada Eğitim Bilimleri, 3(1), 145-165.
  • HINKIN, T. R. (1995). A Review Of Scale Development Practices In The Study Of Organizations. Journal Of Management, 21(5), 967-988. doi: 10.1177/014920639502100509
  • İLHAN, M. ve GÜLER, N. (2017). Likert Tipi Ölçeklerde Olumsuz Madde ve Kategori Sayısı Sorunu: Rasch Modeli ile Bir İnceleme. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8 (3), 321-343. doi: 10.21031/epod.321057
  • JAMES, C. ve CONNOLLY, M. (2009). An Analysis Of The Relationship Between The Organizational Culture And The Performance Of Staff Work Groups In Schools And The Development Of An Explanatory Model. International Journal of Leadership in Education, 12(4), 389-407. doi: 10.1080/13603120902980804
  • KANTOS, E. Z. (2010). Türkiye’deki İlköğretim Okulu Yönetici ve Öğretmen Görüşlerine Göre Kamu ve Özel İlköğretim Okullarında Hesap Verebilirlik Modelinin Uygulanabilirliği. Yayımlanmamış doktora tezi, Ankara Üniversitesi, Ankara.
  • KARABAĞ-KÖSE, E. (2019). Dezavantajlı Bölge Okullarında Öğrenim Gören Risk Altındaki Öğrencilerin Okul Bağlılıklarını Etkileyen Faktörler. Eğitim ve Bilim. doi: 10.15390/ EB.2019.7893
  • KARASAR, N. (1995). Bilimsel Araştırma Yöntemi: Kavramlar, İlkeler, Teknikler. Ankara: 3a Araştırma Eğitim, Danışmanlık.
  • KESER-ÖZMANTAR, Z. (2011). Balanced Scorecard’ın Okullarda Stratejik Performans Yönetim Aracı Olarak Kullanılması. Yayımlanmamış doktora tezi, Gaziantep Üniversitesi, Gaziantep.
  • KILIÇ, R. (1998). Millî Eğitimi Geliştirme Projesi Kapsamında Müfredat Laboratuvar Okulları Uygulaması. Eğitim ve Bilim, 22(109), 32-36.
  • KOÇ, F. (2018). İlköğretimde Öğrenci Başarısında Okulun Etkisinin Katma Değer Belirleme Yöntemiyle İncelenmesi (Ankara İli Örneği). Eurasian Journal of Educational Research, 76, 41-72. doi: 10.14689/ejer.2018.76.3
  • LIU, S., XU, X., GRANT, L., STRONG, J. ve FANG, Z. (2017). Professional Standards And Performance Evaluation For Principals İn China: A Policy Analysis Of The Development Of Principal Standards. Educational Management Administration & Leadership, 45(2), 238–259. doi: 10.1177/1741143215587304
  • MASLOWSKI, R (2001) School culture and school performance: An Explorative Study İnto The Organizational Culture Of Secondary Schools And Their Effects. Yayımlanmamış Doktora Tezi, University of Twente, Netherlands.
  • MCDONALD, R. P. ve HO, R. H. (2002). Principles And Practice İn Reporting Structural Equation Analyses. Psychological Methods, 7, 64-82.
  • MEB. (2019). 2023 eğitim vizyonu. http://2023vizyonu.meb.gov.tr/ adresinden erişilmiştir.
  • MEB. (2010). İlköğretim Kurumları Standartları Eğitim Dokümanı. Ankara: MEB.
  • MEB. (2007). Eğitimde Kalite Ödülü El Kitabı. Ankara: MEB.
  • MEB. (2002). Okulda Performans Yönetimi. Ankara: MEB.
  • MEB. (1999). TKY Uygulama Yönergesi. Tebliğler Dergisi, 2506, 998-1101.
  • MEŞECİ, F. (2007). İngiltere’de İlköğretim Performans Değerlendirme Sistemi ve Türkiye İçin Öneriler. Değerler Eğitimi Dergisi, 5(14), 79-105.
  • MOYNIHAN, D.P. ve INGRAHAM, P.W. (2004). Integrative Leadership İn The Public Sector: A Model Of Performance-İnformation Use. Administration & Society, 36(4), 427-53.
  • NATIONAL Policy Board for Educational Administration (2015). Professional Standards For Educational Leaders 2015. Reston, VA: Author.
  • OECD. (2017). PISA 2015 results (Volume III): students’ well-being. Paris: PISA OECD Publishing. doi:10.1787/9789264273856-en
  • OFSTED, (2018). The Annual Report Of Her Majesty’s Chief İnspector Of Education, Children’s Services And Skills 2017/18. www.gov.uk/government/publications adresinden erişilmiştir.
  • OKÇU, V. (2009). İlköğretim Okulu Yönetici ve Öğretmenlerinin Toplam Kalite Yönetimine İlişkin Yönelimleri. Millî Eğitim Dergisi, 183, 272-288.
  • ÖZDEMİR, S., KÖSE, M.F., KAVGACI, H. (2014). Türkiye'de Eğitim Yönetimi Alanındaki Yüksek Lisans Programlarının Okul Liderliği Standartları Çerçevesinde Değerlendirilmesi. Mukaddime, 5(1), 1-26.
  • STRINGER, P. ve HOURANİ, R.B. (2016). Transformation Of Roles And Responsibilities Of Principals İn Times Of Change. Educational Management Administration & Leadership, 44(2) 224–246. doi: 10.1177/1741143214549971
  • SCHIEHLL, E. ve MORİSSETTE, R. (2000). Motivation, Measurement And Rewards From A Performance Evaluation Perspective. Revista de Administração Contemporânea, 4(3), 7-24. doi: 10.1590/S1415-65552000000300002
  • ŞAHİN, F. ve CEMALOĞLU, N. (2019). Eğitim Yönetimi Alan Kitaplarında Geleneksel Yönetim Yaklaşımlarına İlişkin İleri Sürülen İnanç İfadeleri: Doğruluk ve Haklılandırma Problemi. Gazi Üniversitesi Eğitim Fakültesi Dergisi,39(1), 397-430.
  • ŞAHİN, S. ve ARIKAN-ÇEPER, B. (2013). İlköğretim Kurumları Standartları (İKS) Etkililiği Üzerine. Elektronik Sosyal Bilimler Dergisi, 12(46), 84-111.
  • TAYLOR, F. W. (2016). Bilimsel yönetimin ilkeleri. Ankara: Adres.
  • TROTTIER, T., VAN Wart, M. ve WANG X. (2008). Examining The Nature And Significance Of Leadership İn Government Organizations. Public Administration Review, 68(2), 319-33.
  • VALLI, L. ve BUESE, D. (2007). The Changing Roles Of Teachers İn An Era Of High-Stakes Accountability. American Educational Research Journal, 44(3), 519–558. doi: 10.3102/0002831207306859
  • YEN, W. M. ve FERRARA, S. (1997). The Maryland School Performance Assessment Program: Performance Assessment With Psychometric Quality Suitable For High Stakes Usage. Educational And Psychological Measurement, 57(1), 60-84. doi: 10.1177/0013164497057001004
  • YILDIRIM, N. (2008). Bir Toplam Kalite Yönetimi Uygulaması: Tokat İli Çamağzı İlköğretim Okulu Örneği. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 8(14), 1-16.
There are 52 citations in total.

Details

Primary Language Turkish
Journal Section Research Article
Authors

Mehmet Fatih Köse 0000-0002-2297-8152

Publication Date February 4, 2021
Published in Issue Year 2021 Volume: 50 Issue: 229

Cite

APA Köse, M. F. (2021). OKUL PERFORMANSI DEĞERLENDİRME ÖLÇEĞİ. Milli Eğitim Dergisi, 50(229), 53-71.