Development of a Cause Analysis Scale (CAS) to Determine the Possible Causes of Performance Factors: The Case of Crime Scene Investigation and Identification Units (CSI)

Abstract

This study described the process of developing and validating the cause analysis scale (CAS) that can be utilized by governmental organizations to determine possible causes of performance factors. In the first phase of the study, data collected from 315 CSI officers provided evidence for the validity and reliability of the scale. After exploratory factor analysis, three factors emerged: the workplace, competency, and job value. To confirm the factorial structure of the 25-item CAS, in the second phase, data collected from 1176 CSI officers. The confirmatory factor analysis results indicated that the three-factor model was confirmed a good fit with high indices. Followed by the further validation studies, the CAS will be used as a diagnostic tool for researchers, practitioners, and stakeholders to determine performance factors from both theoretical and practical perspectives.

Keywords

• Cause analysis
• performance factors
• human performance technology
• scale development

Development of a Cause Analysis Scale (CAS) to Determine the Possible Causes of Performance Factors: The Case of Crime Scene Investigation and Identification Units (CSI)

Abstract

Performans Faktörlerinin Olası Nedenlerini Belirlemek için Neden Analizi Ölçeğinin (NAÖ) Geliştirilmesi: Olay Yeri İnceleme Müdürlükleri Örneği. Bu çalışma devlet kurumları tarafından olası
performans faktörlerinin belirlenmesi amacıyla kullanılabilecek Neden Analizi Ölçeğinin (NAÖ) geliştirme ve doğrulama süreçlerini açıklamaktadır. Çalışmanın ilk aşamasında 315 Olay Yeri İnceleme ve Kimlik Tespit Müdürlüğü’nde görevli polis memurlarından toplanan veriler ölçeğin geçerliliğini ve güvenirliğini gösteren bulguları sağlamıştır. Açıklayıcı faktör analizi sonucunda üç faktör ortaya çıkmıştır: işyeri, yeterlilik ve iş değeri. 25 maddelik Neden Analizi Ölçeği’nin (NAÖ) faktörel yapısını doğrulamak amacıyla 1176 polis memurundan veri toplanmıştır. Doğrulayıcı faktör analizi sonuçları üç faktörlü yapının yüksek uyum indeksleriyle iyi bir uyum gösterdiği doğrulanmıştır. Gelecekte yapılabilecek doğrulama çalışmaları sonrasında NAÖ; araştırmacılar, uygulayıcılar ve ilgili kişiler için hem teorik hem de uygulamalı bakış açısı bağlamında performans faktörlerinin belirlenmesinde tanısal bir ölçek olarak kullanılabilecektir. 

Keywords

• Neden analizi
• performans etkenleri
• insan performans teknolojisi
• ölçek geliştirme

References

1. Addison, R. M., & Haig, C. (2006). The performance architect’s essential guide to the performance technology landscape. In J. A. Pershing (Ed.), The handbook of human performance technology (3rd ed.), (pp. 35-54). San Francisco: Pfeiffer.
2. Addison, R. M., Haig, C., & Kearny, L. (2009). Performance Architecture: The art and science of improving organizations. San Francisco: Pfeiffer.
3. Binder, C. (1995). Promoting HPT Innovation: A return to our natural science roots. Performance Improvement Quarterly, 8(2), 95-113.
4. Boyne, G. A., Meier, K. J., O’Toole, L. J., & Walker, R. M. (2006). Introduction. In G. A. Boyne, K. J. Meier, L. J. O’Toole, & R. M. Walker (Eds.), Public service performance: Perspectives on measurement and management (pp. 1-14). New York: Cambridge University Press.
5. Brinkerhoff, R. O. (2006). Using evaluation to measure and improve the effectiveness of human performance technology initiatives. In J. A. Pershing (Ed.), The handbook of human performance technology (3rd ed.) (pp. 287-311). San Francisco: Pfeiffer.
6. Broad, M. (2000). Ensuring transfer of learning to the job. In E. M. Piskurich, P. Beckeshi, & B. Hall (Eds.), The ASTD handbook of training design and delivery. (pp. 430-452). New York: McGrawHill.
7. Brown, T. A. (2006). Confirmatory factor analysis for applied research. New York: The Guilford Press.
8. Chyung, S. Y. (2008). Foundations of Instructional Performance Technology. Amherst, MA: HRD Press Inc.

9. Ferond, C. (2006). The origins and evolution of human performance technology. In J. A. Pershing (Ed.), The handbook of human performance technology (3rd ed.) (pp. 155-187). San Francisco: Pfeiffer. Field, A. (2005). Discovering statistics using SPSS (2nd ed.). London: Sage.
10. Gilbert, T. (2007). Human competence: Engineering worthy performance. (Tribute edition). San Francisco, CA: Pfeiffer.
11. Main, R. E. (2000). Leveraging technology for human performance improvement. In E. M. Piskurich, P. Beckeshi, & B. Hall (Eds.), The ASTD handbook of training design and delivery. (pp. 453-472). New York: McGraw-Hill.
12. Meyers, L. S., Gamst, G., & Guarino, A. J. (2006). Applied multivariate research design and interpretation. Newbury Park, CA: Sage.
13. Miles, D. H. (2003). The 30-second encyclopedia of learning and performance: A trainer's guide to theory, terminology, and practice. New York: American Management Association.
14. Pershing, J. L. (2006). Human performance technology fundamentals. In J. A. Pershing (Ed.), The handbook of human performance technology (3rd ed.) (pp. 5-34). San Francisco: Pfeiffer.
15. Ripley, E. D. (1998). The development of the performance environment perception scale and its underlying theoretical model (Doctoral dissertation). Retrieved February 20, 2008, from: http://proquest.umi.com
16. Robinson, D. G., & Robinson, J.C. (1998). A focus on performance: What is it? In Robinson, D. G., & Robinson, J.C. (Ed.), Moving from training to performance: A practical guidebook, (pp.3-13). San Francisco: American Society for Training & Development (ASTD) and Berrett-Koehler.
17. Rosenberg, M. J. (2006). Beyond e-learning: Approaches and technologies to enhance organizational knowledge, learning, and performance. San Francisco: Pfeiffer.
18. Ross, L. (2003). Seven performance drivers. Performance Improvement, 42(4), 26-29.
19. Rossett, A. (2009). First things fast: A handbook for performance analysis (2nd ed.). San Francisco: Pfeiffer.
20. Rothwell, W. J. (1996). Beyond training and development: State-of-the-art strategies for enhancing human performance. New York: American Management Association.
21. Rothwell, W. J. (2005). Beyond training and development. (2nd ed.). New York: AMACOM.
22. Schwen, T. M., Kalman, H. K., Hara, N., & Kisling, E. L. (1998). Potential knowledge management contributions to human performance technology research and practice. ETR&D, 46(4). 73-89.
23. Spitzer, D. R. (2007). Performance measurement: Rethinking the way we measure and drive organizational success. New York: AMACOM.
24. Swanson, R. A. (1999). The foundations of performance improvement and implications for practice. Advances in Developing Human Resources, 1(1), 1-25. doi: 10.1177/152342239900100102
25. Swanson, R. A. (2007). Analysis for improving performance: Tools for diagnosing organizations and documenting workplace expertise (2nd ed.) San Francisco: Berrett-Koehler.
26. Swanson, R. A., & Holton, E. F. III (2001). Foundations of human resource development. San Francisco: Berrett-Koehler.
27. Talaq, J., & Ahmed, P. K. (2004). Why HPT, not TQM?: An examination of the HPT concept. Journal of Management Development, 23(3), 212-218. doi: 10.1108/02621710410524087
28. Thomas, P. G. (2006). Performance measurement, reporting, obstacles and accountability: Recent trends and future directions. Canberra: The Australian National University Press.
29. Van Tiem, D. M., Moseley, J. L., & Dessinger, J. C. (2001). Performance improvement interventions: Enhancing people, process, and organizations through performance technology. Silver Spring, MD: International Society for Performance Improvement.
30. Wallace, G. W. (2006). Modeling mastery performance and systematically deriving the enablers for performance improvement. In J. A. Pershing (Ed.), The handbook of human performance technology (3rd ed.) (pp. 238-261). San Francisco: Pfeiffer.
31. Watkins, R. (2007a). Designing for performance, part 1: Aligning your HPT decisions from top to bottom. Performance Improvement. 46(1), 7-13. doi: 10.1002/pfi.033
32. Watkins, R. (2007b). Performance by design: The systematic selection, design, and development of performance technologies that produce useful results. Amherst, MA: HRD Press.
33. Bu çalışmanın amacı Olay Yeri İnceleme ve Kimlik Tespit Şube Müdürlüklerinin performansını etkileyen olası performans faktörlerini ortaya çıkarmayı hedefleyen bir Neden Analizi Ölçeği (NAÖ) geliştirmektir. Araştırmanın bu amacını gerçekleştirmek amacıyla aşağıdaki sorulara cevap aranmıştır: Neden Analizi Ölçeğinin (NAÖ) faktöriyel yapısı nedir? Ölçeğin belirlenen faktöriyel yapısı Olay Yeri İnceleme Şube Müdürlüğü’nde çalışan polis memurları örnekleminde doğrulanmakta mıdır? Türkiye’de 81 ilde ve 342 ilçede toplam 3396 Olay Yeri İnceleme personeli çalışmaktadır. Ölçeğin geliştirilmesinde pilot çalışmaya 3 büyükşehirden, Ankara. Bursa ve Antalya ve 3 şehirden, Kırıkkale, Isparta ve Balıkesir toplam 315 polis memuru (evrenin % 9’u) katılmıştır. Çalışmanın ikinci aşaması olan ölçeğin doğrulanması aşamasına ise tüm Türkiye’den 1176 personel (evrenin %34’ü) katılmıştır. Ölçeğin geliştirme aşaması daha önce de belirtildiği gibi pilot çalışma ile başlamıştır. Pilot çalışmada kullanılacak olan ölçeğin ilk versiyonu çevresel ve bireysel performans faktörlerini içerecek şekilde geliştirilmiştir. Çevresel faktörlerin ölçümü Ripley’in (1998) 25 maddelik Çevresel Performans Algı Ölçeği uyarlanmıştır. Bireysel performans faktörleri ise araştırmacıların alanyazın taramaları sonucunda geliştirdikleri 19 madde ile ölçülmüştür. Geliştirilen ölçek iki dil bilen bir öğretin teknoloğu tarafından Türkçe’ye çevrilmiş ve tasarı haline getirilen ölçek 2 alan uzmanı ve 2 Olay Yeri İnceleme personeli tarafından incelenmiş ve ölçeğin son hali verilmiştir. Verilerin analizinde açıklayıcı faktör analizi için PASW 18, doğrulayıcı faktör analizi için de AMOS programları kullanılmıştır. Pilot çalışma sonrasında veriler açıklayıcı faktör analizi ile değerlendirilmiştir. The Kaiser-MeyerOlkin (0.91) ve Bartlett’s Test of Sphericity (p=.000) istatistik değerleri ile verilerin örneklem uygunluğu ve korelasyon matrisinin faktör uygunluğu test edilmiştir. İlk analiz sonuçlarına göre faktör yükü en az 0.3 değerinde olan maddeler anlamlı değişken olarak yorumlanmıştır. Faktör analizi sonuçlarına göre 19 madde ölçekten çıkarılmıştır ve geriye kalan 25 madde ile ölçeğin 3 alt faktörden oluşabileceğine karar verilmiştir. Elde edilen veri setinin 3-lü faktör sonucunun toplam varyansın %52.39’luk bir kısmını açıkladığı görülmüştür. Daha sonra madde içeriklerinin incelenmesi sonucunda elde edilen faktörler isimlendirilmiştir. İlk faktör olarak “iş ortamı” 12 maddeden, “yeterlilik” 7 maddeden ve “iş değeri” 6 maddeden oluşmaktadır. Ayrıca ölçeğe ilişkin güvenirlik belirleme çalışmaları için Cronbach Alpha güvenirlik katsayısı hem tüm ölçek hem de alt faktörler için ayrı ayrı hesaplanmıştır. Neden Analizi Ölçeği için Cronbach Alpha iç tutarlılık katsayısının .89 olduğu tespit edilmiştir. Bununla birlikte her alt faktörün iç tutarlılık katsayıları sırasıyla “iş ortamı” için .85, “yeterlilik” için .90 ve “iş değeri” için .82 olarak bulunmuştur. Çalışmanın ikinci aşamasında ise doğrulayıcı faktör analizi ile açıklayıcı faktör analizi sonucunda elde edilen 3 faktörlü yapının doğrulanıp doğrulanmayacağı araştırılmıştır. Bu amaçla en yüksek olabilirlik metodu kullanılmıştır. Doğrulayıcı faktör analizi sonuçlarına göre 25 maddeden oluşan üç faktörlü yapının gözlemlenen verilerle ve uyum indeksleriyle iyi bir uyum sergilediği görülmüştür (CFI=0.987; NNFI=0.985; RMSEA=0.06). Ayrıca faktör yükleri incelendiğinde her bir maddenin uygun düştüğü boyuta anlamlı katkı verdiği gözlemlenmiştir. Sonuç olarak 25 maddelik Neden Analizi Ölçeğinin olası performans faktörlerinin belirlenmesinde kullanılabileceğine karar verilmiştir. Farklı faktör yüklerinde toplanan maddelerin içeriği incelendiğinde “iş ortamı” faktörünün iş çevresi ve ortamı ile ilgili performans değişkenleri ile ilgili olduğu ve bireylerden bağımsız maddeleri kapsadığı görülmektedir. “Yeterlilik” ve “İş değeri” faktörleri ise bireysel değişkenler ile belirlenmiş olup insan kaynaklı performans değişkenlerine vurgu yapmaktadır. Elde edilen bu faktöriyel yapılar farklı teorisyen ve araştırmacıların önerdiği ve geliştirdiği modellerdeki yapılar ile uygunluk göstermektedir. Performans terimi devlet kurumlarında herhangi bir amaç için bir strateji, yön veya yaklaşım olarak seçildiğinde özel kurumlara oranla daha karmaşık, çoğulcu, değer yüklü ve tartışmalı bir terim olmaktadır (Thomas, 2006). Bu açıdan devlet kurumlarının performansı tek bir boyut ile sınırlandırılamaz (Boyne, Meier, O’Toole, & Walker, 2006). Bu yüzden elde edilen üç faktörlü Neden Analizi Ölçeği (NAÖ) araştırmacılar, uygulayıcılar ve kurumlardaki karar vericiler için performans değişkenlerinin belirlenmesinde hem teorik hem de pratik açıdan psikometrik özellikler içeren tanısal bir araç olarak kullanılabilecektir. Appendix A
34. The Final Version of the Scale Item No Items Factor 1: Workplace P4 Olay Yeri İnceleme ve Kimlik Tespit hizmetlerinde iş tanımlarımız doğru tanımlanmıştır. P5 Yardıma ihtiyacımız olduğunda amirlerimiz bize yardımcı olmak için zaman ayırırlar. P6 Ortaya çıkan problemlerin çözümü ile uğraşmak işimizin bir parçasıdır. P7 İ htiyaç duyduğumda, işimi yapmak için gerekli olan kaynaklara rahatlıkla ulaşabilirim. P9 İş lerimi tamamlamak için gereken yeterli zamana sahibim. P10 Yaptığım işin prosedürleri değiştiğinde, bununla ilgili eğitim verilmektedir. P11 Görevli personeller olarak birbirimizi ve çalışma alışkanlıklarımızı biliriz. P12 Olay Yeri İnceleme ve Kimlik Tespit hizmetlerinde yüksek performans standartları mevcuttur. P13 İş yerinde işi tamamlamamız için gereken araç ve teçhizata sahibiz. P14 Yaptığımız işler ile ilgili amirlerimden sıklıkla geribildirim alırım. P15 Rutin olarak işimizle ilgili karar verme sürecine katılırız. P19 İş yerinde her bir görev için beklenen yeterlilikleri gösteren yazılı iş tanımlarına sahibiz. Factor 2: Competency P18 İş imi yapmak için gerekli yeterliliğe sahibim. P20 İş yerinde ortaya çıkan sorunların üstesinden başarılı bir şekilde gelebilirim. P21 İş yerimde bana verilen görevler için gerekli becerilere sahibim. P22 İş imde başarılı olmak için gerekli tecrübeye sahibim. P23 Görev yerimde hem düşük hem de yüksek performansın ne gibi sonuçlar doğuracağını bilirim. P24 İş imi başarılı bir şekilde yapabilmek için gereken teknik kavramları bilirim. P25 İş imi yapmak için gerekli yeteneğe sahibim. Factor 3: Job Value P1 Olay Yeri İnceleme ve Kimlik Tespit hizmetlerine yönelik beklentiler oldukça yüksektir. P2 Olay Yeri İnceleme ve Kimlik Tespit hizmetleri bünyesinde çalışmaya yönelik olumlu tutuma sahibim. P3 İş imi önemli bir sorumluluk olarak görüyorum. P8 Yaptığım iş Emniyet Teşkilatı için önemlidir. P16 İş imin Olay Yeri İnceleme ve Kimlik Tespit hizmetleri için önemli olduğunu düşünüyorum. P17 Yaptığım iş bana anlamlı geliyor.