AN EXAMINATION OF ELECTION POLLS IN TURKEY FROM THE TOTAL SURVEY ERROR PARADIGM PERSPECTIVEe

Abstract

Election polls are not only essential to measure electorates' political attitudes, preferences, and behavior but may also influence their formation. In this study, we evaluate election polls in Turkey, which have been increasingly popular and criticized by political actors in the last years, from a survey methodology perspective and investigate whether they follow internationally recognized standards. To this end, we collected a comprehensive dataset covering all election polls on eight elections between 2011 and 2019 published at traditional or social media outlets. Our assessment of a total of 295 election polls from the perspective of the "total survey error" paradigm and CNN's transparency guidelines shows that, most election polls in Turkey do not follow scientific standards, especially in terms of representation, and are thus unsuccessful at predicting election outcomes. In the conclusion, we discuss how survey data from public opinion and election polls, and cross-national surveys can be employed in political science research.

Keywords

• Public opinion polls
• election polls
• survey methodology
• total survey error paradigm

TÜRKİYE'DE SEÇİM ANKETLERİNİN TOPLAM ANKET HATASI PERSPEKTİFİNDEN BİR İNCELEMESİ

Abstract

Seçim anketleri, seçmenlerin siyasi tutum, tercih ve davranışlarına ayna tutmakta ve bunları şekillendirebilmektedir. Çalışmamızda ülkemizde son yıllarda sayıları hızla artan ve siyasi aktörler tarafından sıklıkla eleştirilen seçim anketleri, toplam anket hatası perspektifinden değerlendirilmekte ve seçim anketlerinin olası hataları asgari düzeye indirme amacıyla uluslararası yazında ve meslek birlikleri tarafından dikkat çekilen kriterlere ne ölçüde uydukları incelenmektedir. Bu amaçla ülkemizde 2011-2019 yılları arasındaki sekiz seçim için gerçekleştirilen ve geleneksel ve sosyal medyada yayımlanan toplam 295 seçim anketini içeren kapsamlı bir veri seti toplanmıştır. Bu anketlerin "toplam anket hatası" yaklaşımı ve CNN'in belirlemiş olduğu "şeffaflık kriterleri" ışığında yapılan değerlendirmeleri, ülkemizdeki seçim anketlerinin birçoğunun özellikle temsil alanında bilimsel standartların önemli ölçüde uzağında ve bu nedenle seçim sonuçlarını tahmin etmede başarısız olduklarını göstermektedir. Çalışmamızın sonuç bölümünde kamuoyu ve seçim araştırmaları ile çok uluslu anket çalışmalarından elde edilen anket verilerinin siyaset bilimi araştırmalarında hangi amaçlarla kullanılabileceği tartışılmaktadır.

Keywords

• Kamuoyu araştırmaları
• seçim anketleri
• anket metodolojisi
• toplam anket hatası yaklaşımı

References

1. Ansolabehere, S. ve Iyengar, S. (1994). "Of Horseshoes and Horse Races: Experimental Studies of the Impact of Poll Results on Electoral Behavior", Political Communication, 11/4, 413–430.
2. Atabek, N. (2003). "Gazetelerde Kamuoyu Araştırmaları ve Uluslararası Standartlar", Kocaeli Üniversitesi İletişim Fakültesi Araştırma Dergisi, 3, 7-26.
3. Aydaş, İ. (2020). Pre-Election Polls in Turkey. Yüksek Lisans Tezi, Sanat ve Sosyal Bilimler Fakültesi, Sabancı Üniversitesi.
4. Balcı, Ş., ve Ayhan, B. (2004). "Seçmen Tercihlerinin Belirlenmesine Yönelik Yapılan Kamuoyu Arastırmalarında Güvenilirlik ve Geçerlilik Problemleri: 28 Mart 2004 Yerel Seçimleri Örneği", Selçuk Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, 11, 135-167.
5. Biemer, P. P. (2011). "Total Survey Error: Design, Implementation, and Evaluation", Public Opinion Quarterly 74/5, 817-848.
6. Blais, A., Gidengil, E. ve Nevitte, N. (2006). "Do Polls Influence the Vote?", Capturing Campaign Effects, (Ed. Henry E. Brady ve Richard Johnston), University of Michigan, Ann Arbor.
7. Brady, H. E. (2000). "Contributions of Survey Research to Political Science", PS: Political Science and Politics, 33/1, 47-57.
8. Campbell, A., Convere, P.E., Miller, W.E. ve Stokes, D.E. (1960). The American Voter. John Wiley & Sons, New York.

9. Çarkoğlu, A. ve Kalaycıoğlu, E. (2020). "Toplumsal Kaynaklar ve Toplumsal Ağlar: Karşılaştırmalı Türkiye Örneği", İstanbul Politikalar Merkezi, İstanbul.
10. Çarkoğlu, A. ve Yıldırım, K. (2015). "Election Storm in Turkey: What do the Results of June and November 2015 Elections Tell Us?", Insight Turkey, 17/4, 57-79.
11. Çarkoğlu, A. ve Yıldırım, K. (2018). "Change and Continuity in Turkey's June 2018 Elections", Insight Turkey, 20/4, 153-183.
12. Deniz, E., ve İlhan, A. (2021). "Sosyal Bilimlerde Araştirma Yöntemleri: Anket Metodolojisine Giriş", Pamukkale Üniversitesi Sosyal Bilimler Dergisi, 42, 199-214.
13. Dillman, D. A. 2002. "Presidential Address- Navigating the Rapids of Change- Some Observations on Survey Methodology in the Early Twenty-First Century." Public Opinion Quarterly 66/3, 473-494.
14. Erdoğan, E. ve Uyan-Semerci, Pınar. (2021). Toplumsal Araştırma Yöntemleri için Bir Rehber:Gereklilikler, Sınırlılıklar ve İncelikler. İstanbul Bilgi Üniversitesi Yayınları, İstanbul.
15. Fleitas, D. W. (1971). "Bandwagon and Underdog Effects in Minimal-Information Elections", American Political Science Review 65/2, 434–438.
16. Gasperoni, G. ve Mantovani, D. (2015). "The Impact of Exposure to Pre-Election Polls on Voting Behaviour", Italian Political Science Review/Rivista Italiana di Scienza Politica 45/1, 1–23.
17. Göksu, O. (2018). "Kamuoyu Araştırmalarında Tutarlılık Sorunsalı: 2010-2018 Dönemi Kamuoyu Araştırmaları Üzerine Bir İnceleme", Türkiye İletişim Araştırmaları Dergisi, (Özel Sayı), 30-54.
18. Görmüş, Ş. (2016). "Araştırma şirketleri 30 Mart Testini Geçti mi?" Uluslararası Politik Araştırmalar Dergisi, 1/1, 35-53.
19. Groves, R. M., Couper, J.F., Lepkowski, M. P., Singer ve Tourangeau, R. (2009). Survey Methodology, (2. Baskı), John Wiley & Sons, New Jersey.
20. Groves, R. M. (2011). "Three Eras of Survey Research", Public Opinion Quarterly 75/5, 861-871.
21. Güz, N., Kocabaş, O. ve Yanık, H. 2018. "Kamuoyu Araştırmaları ve 16 Nisan Referandumu", İletişim Kuram ve Araştırma Dergisi, 47, 1-19.
22. Harder, J. ve Krosnick J. A. (2008). "Why Do People Vote? A Psychological Analysis of the Causes of Voter Turnout", Journal of Social Issues 64/3, 525–549.
23. Hillygus, D. S. (2011). "The Evolution of Election Polling in the United States", Public Opinion Quarterly 75/5, 962-981.
24. Jackson, N. (2016). "The Rise of Poll Aggregation and Election Forecasting", The Oxford Handbook of Polling and Survey Methods, (Ed: R.L. Atkeson ve M. R. Alvarez), Oxford University Press, Oxford.
25. Jennings, W. ve Wlezien, C. (2018). "Election Polling Errors Across Time and Space." Nature Human Behaviour 2/4, 276-283.
26. Kalaycıoğlu, E. (2018). "Two Elections and a Political Regime in Crisis: Turkish Politics at the Crossroads", Southeast European and Black Sea Studies, 18/1, 21-51.
27. Kalaycıoğlu, E. (1980). "Why Legislatures Persist in Developing Countries: The Case of Turkey", Legislative Studies Quarterly, 5/1, 123-140.
28. Kalender, A. ve Tabakçı, N. (2013). "İletişim Fakültelerinin Ortak Örgütlenmesine Yönelik Bir Proje Önerisi: Türk Kamuoyu Araştırmaları Ağı", Selçuk İletişim, 4/1, 91-100.
29. Kim, C.L., Barkan, J.D., Turan, İ. Ve Jewell, M.E. (1984). The Legislative Connection: The Politics of Representation in Kenya, Korea, and Turkey. Duke University Press, North Carolina.
30. Küçükkurt, M., Bir, A. A. ve Yeles, S. (1988). "29 Kasım 1987 Erken Genel Seçimlerine İlişkin Kamuoyu Araştırmalarının Geçerliliği", Anadolu Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 6/2, 137-149.
31. Lavrakas, P.J, Holley, J.K. ve Miller, P.V. (1991). "Public Reactions to Polling News During the 1988 Presidential Election Campaign", Polling and Presidential Election Coverage, (Ed: P. J. Lavrakas, ve J. K. Holley), Sage, California.
32. Lazarsfeld, P.F., Berelson, B. ve Gaudet, H. (1944). The People's Choice. Columbia University Press, New York. Marsh, C. (1985.) "Back on the Bandwagon: The Effect of Opinion Polls on Public Opinion", British Journal of Political Science, 15/1, 51–74.
33. Meer, V. D.T.W.G., Hakhverdian, A. ve Aaldering, L. (2015). "Off the Fence, Onto the Bandwagon? A Large-Scale Survey Experiment on Effect of Real-Life Poll Outcomes on Subsequent Vote Intentions", International Journal of Public Opinion Research, 28/1, 46–72.
34. Moral, M. (2021). "Politics as (Un)usual? An Overview of the June 2018 Presidential and Parliamentary Elections in Turkey", Elections and Public Opinion in Turkey (Ed: A. Çarkoğlu ve E. Kalaycıoğlu), Routledge, Londra.
35. Morton, R. B., Muller, D., Page, L. ve Torgler, B. (2015). "Exit Polls, Turnout, and Bandwagon Voting: Evidence from a Natural Experiment", European Economic Review 77, 65–81.
36. Moy, P. ve Rinke, E. K. (2012)."Attitudinal and Behavioral Consequences of Published Opinion Polls."Opinion Polls and the Media, (Ed: C. Holz-BachaJesper ve J. Strömbäck), Palgrave Macmillan, Londra.
37. Pasek, J. (2015). "Predicting Elections: Considering Tools to Pool the Polls", Public Opinion Quarterly, 79/2, 594-619. Rothschild, D., ve Malhotra, N. (2014). "Are Public Opinion Polls Self-Fulfilling Prophecies?", Research and Politics, 1/2, 1–10.
38. Sanders, D. (2003). "Pre-Election Polling in Britain, 1950–1997", Electoral Studies 22/1, 1–20.
39. Schmitt-Beck, R. (2015). "Bandwagon Effect", The International Encyclopedia of Political Communication, (Ed: G. Mazzoleni, K. G. Barnhurst, K. Ikeda, R. C. M. Maia, ve H. Wessler), John Wiley, New Jersey.
40. Schmitt-Beck, R. (2015). "Underdog Effect", The International Encyclopedia of Political Communication, (Ed: G. Mazzoleni, K. G. Barnhurst, K. Ikeda, R. C. M. Maia, ve H. Wessler), John Wiley, New Jersey.
41. Strateji Düşünce ve Araştırma Merkezi (SDAM). (2018). Siyasi Nitelikli Kamuoyu Araştırmaları ve Türkiye'de Son Seçimler. http://sdam.org.tr/image/foto/2018/07/01/Siyasi-Nitelikli-Kamuoyu-Arastirmalari-ve-Turkiyede-Son-Secimler_1530470242.pdf
42. Taymaz, Erol. (2015). "Seçim Anketleri Ne Kadar Güvenilir?", Türkiye Ekonomi Politikaları Araştırma Vakfı (TEPAV) https://www.tepav.org.tr/tr/haberler/s/3965.
43. Tourangeau, R., Rips, L. J. ve Rasinski, K. (2000). The Psychology of Survey Response. Cambridge University Press, New York.
44. van der Meer, T. W. G., Hakhverdian, A. ve Aaldering, L. (2015). "Off the Fence, onto the Bandwagon? A Large-Scale Survey Experiment on Effect of Real-Life Poll Outcomes on Subsequent Vote Intentions", International Journal of Public Opinion Research, 28/1, 46–72.