A Qualitative Study on Using Multi-Source Data for Performance Assessment System at Elementary Schools

Abstract

The aim of this qualitative study is to reveal how performance assessment based on multi-source data were perceived by the teachers, the administrators, the primary education supervisors, and the central organization. It further aims to highlight the problems in the process of education and draw implications for possible solutions. The researchers got appointment from teachers and administrators who had been working at schools where the multi-source data performance assessment system was being piloted by Primary Education Supervisors. Two school principals, two assistant principals and 16 teachers were interviewed. The interview was extended with supervisors who piloted performance based assessment system. Later, the head of supervisory board and two ministerial supervisors were interviewed to understand the perspective of central office. To be able to achieve these goals, the data were collected through semi-structured interviews. Descriptive analysis and content analysis were used for the analyzing the nterview data. Data were reported in frequencies (and percentages) in order to present perception levels of the stakeholders in detail. It was found that one-person supervision is a problem. There should be more participation in teachers' supervision to increase the quality and success. Participants believe that principals' share of contribution to final assessment score should be more than the prescribed. On the other hand, involvement of parents and the students in the assessment process caused problems. Another finding is the frequently mentioned pros are “the quality will increase” and the frequently mentioned cons is the “organizational climate will be worse”. In addition, the enthusiasm and background that Ministry has not observed from the teachers, the supervisors and the administrators. Finally, it was found that there are some problems that were emerged based on multi-source data assessment. If those problems are eliminated by the Ministry of Education, this performance assessment may enhance the quality for education.

Keywords

• educational supervision , assessment on the basis of multi-source data , supervisors in education

İlköğretim Okullarında Çoklu Veri Kaynağına Dayalı Performans Değerlendirmesine İlişkin Nitel Bir Çalışma

Öz

Bu çalışmanın amacı, performans değerlendirme için seçilen çoklu veri kaynağına dayalı değerlendirmenin öğretmen, yönetici, ilköğretim müfettişi ve merkez teşkilatı tarafından nasıl algılandığını ortaya koymak; bu süreçte yaşanan problemleri anlamak ve bunlara paralel öneriler geliştirmektir. Araştırma nitel araştırma yöntemleriyle gerçekleştrilmiştir. Araştırmaya üç eğitim yöneticisi, 16 öğretmen ve çoklu veriye dayalı performans değerlendirmede pilot uygulamayı gerçekleştiren altı ilköğretim müfettişi katılmıştır. Bakanlık merkez teşkilatının görüşlerini almak için de Bakanlık Teftiş Kurulu başkanı ve iki bakanlık müfettişi ile görüşülmüştür. Veriler yarı yaplandırılmış görüşme yöntemi ile elde edilmiştir. Toplanan veriler betimsel ve içerik analiz yöntemine göre analiz edilmiştir. Veriler sunulurken frekanslar belirtilerek paydaşların görüşleri detaylı olarak verilmiştir. Araştrımanın sonucunda tek bir kişinin değerlendirme toplamasının sıkıntı yarattığı, çoğul değerlendirmenin olması gerektiği, bu durumun eğitimde kaliteyi arttıracağı ifade edilmiştir. Araştırmada katılımcılar yöneticlerin değerlendirmedeki yüzde oranlarının arttırılmasını isterken veli ve öğrenci değerlendirmelerinin kaldırılmasını istemişlerdir. Performans değerlendirmesinin en güçlü yanının kaliteyi artırmasına olan inanç iken en zayıf yanının okuldaki iklimi bozması olarak ifade edilmiştir. Bu bulgulara ek olarak, Bakanlık düzeyinde çoklu veri kaynağına ilişkin değerlendirmeye yönelik bilgi ve donanımın çok net ve açık olduğu gözlenirken, bu durumun ilköğretim düzeyindeki paydaşlarda aynı olmadığı gözlenmiştir. Çoklu veri kaynağına dayalı değerlendirmede birçok sorun yaşandığı gözlenmiştir. Bu sorunların giderilmesi durumunda çoklu veri kaynağına dayalı değerlendirmenin eğitimde kaliteyi arttıracağı söylenebilir

Anahtar Kelimeler

• eğitimde denetim , çoklu veri kaynağına dayalı değerlendirme , eğitim denetmenleri

Kaynakça

1. Ağaoğlu, E., Şimşek, Y. Ceylan, M. (2001). Çoklu Değerlendirme Modeli ve Eğitim Denetimine Uygulanabilirliği. Eğitim ve Bilim, 26 (122), 11-18.
2. Atwater, L.E., Rouch, P., & Fischall, A. (1995). The influence of upward feedback on self-and follower raters of leadership. Personnel Psychology, 48, 34-60.
3. Atwater, L.E., & Brett, J.F. (2006). 360 Degree Feedback to Leaders: Does it relate to changes in employee attitutes? Group & Organiztional Management, 31(5), 578-600.
4. Aydın. İ. (2005). Öğretimde Denetim. Ankara: PegemA Yayıncılık.
5. Borman, W.C. (1997). 360-degree ratings: An analysis of assumptions and a research agenda for evaluating their validity, Human Resource Management Review, 7, 299- 315.
6. Brutus, S., & Derayeh, M. (2002). Multisource Assessment Programs in Organizations: n Insider’s Perspective, Human Resource Development Quarterly, 13(2), 187-202.
7. Brett, JF., & Atwater, L.A. (2001). 360- degree feedback: Accuracy, reactions and perceptions of usefulness. Journal of Applied Psychology, 86, 930-942.
8. Church, A.H., Rogelberg, S.G., & Waclawsky, J. (2000). Since when is no news good news? The relationship between performance and response rates in multirater feedback. Personel Psychology, 53, 435-451.

9. DPT. Sekizinci Beş Yıllık Kalkınma Planı (2001-2005). http://ekutup.dpt.gov.tr/plan/plan8.pdf (İndirilme tarihi: 02.03.2007).
10. EARGED. (2001). Öğretmenlerin Performans Değerlendirme Modeli ve Sicil Raporları. Ankara: Milli Eğitim Basımevi.
11. Fletcher, C. & Baldry, C. (2000) A study of individual differences and self awareness in the context of multi-source feedback. Journal of Occupational and Organizational Psychology, 73, 303-319.
12. Garavan, T.N., Morley, M., Flynn, M. (1997), "360 degree feedback: its role in employee development", Journal of Management Development, 16(2), pp.134-47.
13. Greguras, G.J., & Robie, C. (1998). A new look at within-source interrater reliability of 360-degree feedback ratings. Journal of Applied Psychology, 6, 960-968.
14. Johnson, J.W., & Ferstl, K.L. (1999). The effects of interrater and self-other agremenet on performance improvement following upward feedback. Personnel Psychology, 52, 271-303.
15. Hall, J.L., Leidecker, J.K., & DiMacro, C. (1996). What we know about upward appraisal of management: Facilitating the future use of UPAs. Human Resource Development Querterly, 7, 209-226.
16. Kluger, A.N., & DeNisi, A. (1996). The effects of feedback intervention on performance: A historical review, a meta-analyisis, and a prileminary feedback intervention theory. Psychological Bulletin, 119, 254-284.
17. Kudisch, J.D., Fortunato, V., & Smith, A. (2006). Contextual and Individual Difference Factors Predicting Individuals’Desire to Provide Upward Feedback, Group & Organizational Management, 31(4), 503-529.
18. Lebreton, J.M., Burgess, J, R.D., Kaiser, R.B., Atchley, E.K., & James, L.R. (2003). The restriction of variance hypothesis and Interrater Reliability and Agreement: Are Ratings Fom Multiple Source Really Dissmilar? Organiztional Research Methods, 6(1), 80-128.
19. London, M., & Beatty, R.W. (1993). 360-degree feedback as a competitive advantage. Human Resource Management, 32, 353-372.
20. London, M., & Smither, J.M. (1995). Can multi-source feedback change perceptions of goal accomplishment, self-evaluations, and performance-related outcomes? Theoryapplications and directions for future research. Personnel Psychology, 48, 803-838. MEB, Teftiş Kurulu Başkanlığı, Van Koç İlköğretim Okulu Denetim ve Performans Değerlendirme Bilgilendirme Toplantısı Sunuları. Edinildiği Tarih: 17.05.2006.
21. Napier, N., & Latham, G. (1996). Outcome expectancies of people who conduct performance appraisals. Personnel Psychology, 39, 827-837.
22. Seifert, C. F., Yukl, G., & Mc Donald, R.A. (2003). Effects of multisource feedback and a feedback facilitator on the influence behavior of managers toward subordinates. Journal of Applied Psychology, 88, 561-569.
23. Smither, J.M., London, M., Reilly, R.R. (2005). Does Performans Improve Following Multisource Feedback? A Thepretical Model, Meta-analysis, and Review of Emrical Findings, Personnel Psychology, 58(1), 33-66.
24. Reilly, R.R., Smither, J.W., & Vasilopoulos, N.L. (1996). Alongitudinal study of upward feedback. Personnel Psychology, 49, 599-612.
25. Timmreck, C.W., & Bracken, D.W. (1996). Multisource assessment: Reinforcing the preffered “means” to the end.11th annual meeting of the Society for Industrial and Organizational Psychology. San Diego, California.
26. Waldman, D. A., & Atwater, L.E. /1998). The power of 360-degree feedback: How to Leverage performance evaluations for top productivity. Houstin, TX: Gulf.
27. Waldman, D. A., Atwater, L.E., & Antonioni, D. (1998). Has 360-degree feedback gone amok? Academi of Management, 12(2), 86-94.
28. Walker, A.G., & Smither, J.W. (1999). A five-year study of upward feedback: What managers do with their results matters. Personnel Psychology, 52, 393-423.
29. Westerman, J. W., & Rosse, J.G. (1997). Reducing the threat of rater nonparticipation in 360-Degree feedback systems: An explatory examination of antecendents to participation in upward ratings. Group &Organization Management, 22, 288-309.
30. Yıldırım, A., & Şimşek, H. (2005). Sosyal Blimlerde Nitel Araştırma Yöntemleri. (5. Baskı). Ankara: Seçkin Yayınevi.