Middle school students' digital literacy, their perceptions of moral values in the digital environment and Levels of cyberbullying

Abstract

The aim of this study is to determine middle school students' digital literacy, their perceptions of moral values in the digital environment and their cyberbullying levels. The study was conducted with a descriptive survey model. The study group consisted of 553 students studying in middle. Data were collected using the digital literacy scale, middle school students' perceptions of moral values in the digital environment scale, and cyberbullying scale. T-test, ANOVA, correlation test and regression analysis were performed with the data obtained and the following results were obtained in summary: Secondary school students have high levels of digital literacy, medium levels of perception towards moral values in digital environment and low levels of cyberbullying. The digital literacy and cyberbullying levels of male and female students are similar. It was determined that their digital literacy had a significant positive relationship with their perceptions towards moral values in the digital environment, but there was no statistically significant relationship with cyberbullying. It was concluded that there was a statistically significant negative relationship between their perceptions of moral values in the digital environment and cyberbullying. Perceptions of moral values in the digital environment, cyber and digital literacy perceptions predict each other.

Keywords

• Digital Literacy
• Middle School Student
• erception of Moral Values in the Digital Environment
• Cyber Bullying

Ortaokul Öğrencilerinin Dijital Okuryazarlıkları, Dijital Ortamda Ahlaki Değerlere Dönük Algıları ve Siber Zorbalık Düzeyleri

Abstract

Bu araştırmanın amacı ortaokul öğrencilerinin dijital okuryazarlıklarının, dijital ortamdaki ahlaki değerlere dönük algılarının ve siber zorbalık düzeylerinin belirlenmesidir. Araştırma betimsel tarama modeli ile gerçekleştirilmiştir. Araştırmanın çalışma grubunu 2022-2023 eğitim öğretim yılında ortaokulda okuyan toplam 553 öğrenci oluşturmaktadır. Veriler, dijital okuryazarlık ölçeği, ortaokul öğrencilerinin dijital ortamda ahlaki değerlere dönük algıları ölçeği, siber zorbalık ölçeği kullanılarak toplanmıştır. Elde edilen veriler, aritmetik ortalama, standart sapma, bağımsız örneklem T-testi, tek yönlü ANOVA, Pearson korelasyon testi ve regresyon analizi kullanılarak incelenmiştir. Araştırtmada şu sonuçlar elde edilmiştir: Ortaokul öğrencilerinin dijital okuryazarlık düzeylerinin yüksek, dijital ortamda ahlaki değerlere dönük algı düzeylerinin orta ve siber zorbalık düzeylerinin düşük düzeydedir. Kız ve erkek öğrencilerin dijital okuryazarlık ve siber zorbalık düzeylerinin benzerdir. Dijital okuryazarlıklarının dijital ortamda ahlaki değerlere dönük algıları ile pozitif yönde anlamlı bir ilişkilerinin olduğu ancak siber zorbalık ile istatistiki olarak anlamlı bir ilişkilerinin olmadığı belirlenmiştir. Dijital ortamda ahlaki değerlere dönük algıları ile siber zorbalıkları arasında negatif yönde istatistiki olarak anlamlı bir ilişkinin olduğu sonucuna ulaşılmıştır. Dijital ortamda ahlaki değerlere dönük algı, siber ve dijital okuryazarlık algıları birbirlerini yordamaktadır.

Keywords

• Ortaokul Öğrencileri
• Dijital Okuryazarlık
• Dijital Ortamda Ahlaki Değerlere Dönük Algı
• Siber Zorbalık

References

1. Asan, R., Bozdağ, R. ve Çalışkan, E. (2023). Ortaöğretim Öğrencilerinin Dijital Okuryazarlık Becerilerinin İncelenmesi. International Journal of Active Learning, 7(2), 131-142. https://doi.org/10.48067/ijal.1213615
2. Aslan, S. ve Aybek, B. (2020). Ortaokul Öğrencilerinin Dijital Okuryazarlık Düzeylerinin Çeşitli Değişkenler Açısından İncelenmesi. 7. International Eurasian Educational Research Congress. Anı Yayıncılık.
3. Arıcak, O. T., Kınay, H. ve Tanrıkulu, T. (2012). Siber Zorbalık Ölçeğinin ilk psikometrik bulguları. Hasan Ali Yücel Eğitim Fakültesi Dergisi, 17(1), 101-114.
4. Aydın, M. Z. (2003). Ailede Ahlak Eğitimi. Cumhuriyet Üniversitesi İlahiyat Fakültesi Dergisi, 7(2), 125-158.
5. Aydoğdu, Ö. U. (2022). Ortaokul öğrencilerinin dijital okuryazarlık düzeylerinin incelenmesi. Doktora Tezi, Kastamonu Üniversitesi, Kastamonu.
6. Barlińska, J., Szuster, A. & Winiewski, M. (2013). Cyberbullying among adolescent bystanders: Role of the communication medium, form of violence, and empathy. Journal of Community & Applied Social Psychology, 23(1), 37-51. https://doi.org/10.1002/casp.2137
7. Baterna, H. B., Mina, T. D. G. & Rogayan Jr, D. V. (2020). Digital Literacy of STEM Senior High School Students: Basis for Enhancement Program. International Journal of Technology in Education, 3(2), 105-117. https://doi.org/10.46328/ijte.v3i2.28
8. Bayra, E., ve Baysan, E. (2022). Gerçek Yaşam Durumu Senaryolarıyla Ortaöğretim Öğrencilerinin Bilişim Etiği Düzeylerinin Bazı Değişkenler Açısından İncelenmesi. Gazi Eğitim Bilimleri Dergisi, 8(1), 82-107.

9. Bolat, D. ve Korkmaz, Ö. (2021). Ortaokullarda Ergenlik Çağındaki Öğrencilerin Siber Zorbalık Davranışları, Sosyal Medya Bağımlılıkları ve Sosyal Medya Bozuklukları. Türkiye Sosyal Araştırmalar Dergisi, 25(1), 253-268.
10. Chase, Z., & Laufenberg, D. (2011). Embracing the Squishiness of Digital Literacy. Journal of Adolescent & Adult Literacy, 54(7), 535-537. https://doi.org/10.1598/JAAL.54.7.7
11. Çelik, H. ve Kılıçoğlu, G. (2022). Ortaokul öğrencilerinin dijital okuryazarlık düzeylerinin belirlenmesi. Anadolu Kültürel Araştırmalar Dergisi, 6(1), 115-134.
12. Çepni, S. (2012). Araştırma ve proje çalışmalarına giriş (6.Baskı). Celepler Matbaacılık.
13. Çepni, O., Kılınç, A. Ç. ve Palaz, T. (2019). Ortaokul öğrencilerinin evrensel değerlere yönelik tutum düzeylerinin bir yordayıcısı olarak okul iklimi. İnsan ve Toplum Bilimleri Araştırmaları Dergisi, 8(1), 608-623. https://doi.org/10.15869/itobiad.515047
14. Çivilidağ, A. & Cooper, H. T. (2013). Ergenlerde siber zorba ve öfkenin incelenmesi üzerine bir araştırma: Niğde ili örneği. International Journal of Social Science, 6(1), 497-511. https://doi.org/10.9761/JASSS_482
15. Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nd ed.) Hillsdale, NJ: Lawrence Erlbaum Associates.
16. Dashtestani, R., & Hojatpanah, S. (2022). Digital literacy of EFL students in a junior high school in Iran: voices of teachers, students and Ministry Directors. Computer Assisted Language Learning, 35(4), 635-665. https://doi.org/10.1080/09588221.2020.1744664
17. Demir, Ö. ve Seferoğlu, S. S. (2016). Bilgi okuryazarlığı, internet bağımlılığı, sanal aylaklık ve çeşitli diğer değişkenlerin sanal zorbalık ile ilişkisinin incelenmesi. Online Journal of Technology Addiction and Cyberbullying, 3(1), 1-26.
18. Dönmez, G. (2019). Lise öğrencilerinin bilgi güvenliği farkındalığı ile dijital okuryazarlığı arasındaki ilişkinin incelenmesi. Yüksek Lisans Tezi, Hacettepe Üniversitesi Eğitim Bilimleri Enstitüsü, Ankara.
19. Erdoğan, E. (2021). Dijital Okuryazarlık ve Siber Zorbalık: Ortaokul Öğrencilerine Yönelik Bir İlişkisel Tarama Araştırması. Uluslararası Alan Eğitimi Dergisi, 7(2), 61-76. https://doi.org/10.32570/ijofe.1013788
20. Gelmez, Ö. S. Ö. (2020). Ortaokul Öğrencilerinin Siber zorbalığa ilişkin duyarlılıklarının incelenmesi. Gençlik Araştırmaları Dergisi, 8(Özel Sayı), 75-95.
21. Gökçearslan, Ş., Günbatar, M. S. ve Berikan, B. (2015). Ortaokul Öğrencilerinde Bilişim Etiği: Gerçek Yaşam Durumu Senaryolarıyla Bir Değerlendirme. Ege Eğitim Dergisi, 16(2), 254-273. https://doi.org/10.12984/eed.75260
22. Gönültaş, A., Avcu, Y. E., Taşdelen, A. S. ve Hünerli, S. (2023). Examination of the Relationshp Between Digital Literacy And Cyberloafıng Levels of Gifted Students. Eğitim Teknolojisi Kuram ve Uygulama, 13(2), 415-439. https://doi.org/10.17943/etku.1275319
23. Gündüz, S. ve Odabaşı, F. (2004). Bilgi Çağında Öğretmen Adaylarının Eğitiminde Öğretim Teknolojileri ve Materyal Geliştirme Dersinin Önemi. TOJET: The Turkish Online Journal of Educational Technology, 3(1), 43-48.
24. Gürkan, H., Atabay, E. ve Gezgin, D. M. (2022). Lise Öğrencileri Arasında Dijital Şiddet: Siber Zorbalık, Akıllı Telefon Bağımlılığı ve Medya Okuryazarlık Arasındaki İlişki. Trakya Eğitim Dergisi, 12(3), 1799-1820. https://doi.org/10.24315/tred.1115385
25. Harrison, T., &Polizzi, G. (2022). (In) civility and adolescents’ moral decision making online: drawing on moral theory to advance digital citizenship education. Education and Information Technologies, 27(3), 3277-3297. https://doi.org/10.1007/s10639-021-10710-0
26. Huang, C. L., Zhang, S., & Yang, S. C. (2020). How students react to different cyberbullying events: Past experience, judgment, perceived seriousness, helping behavior and the effect of online disinhibition. Computers in human behavior, 110, 106338. https://doi.org/10.1016/j.chb.2020.106338
27. Jondeau E., & Rockinger M. (2003). Conditional volatility, skewness, and kurtosis: existence, persistence, and comovements. Journal of Economic Dynamics & Control, 27, 1699 - 1737. https://doi.org/10.1016/S0165-1889(02)00079-9
28. Kana, F. (Editör) (2023). Türkçe Eğitiminde Güncel Araştırmalar. Holistence Publications.
29. Kang, K. I., Kang, K., & Kim, C. (2021). Risk factors influencing cyberbullying perpetration among middle school students in Korea: Analysis using the zero-inflated negative binomial regression model. International journal of environmental research and public health, 18(5), 2224. https://doiçorg/10.3390/ijerph18052224
30. Kaplan, Y. (2020). 8. Sınıf öğrencilerinin Siber Zorba/kurban Davranışları ile Hoşgörü ve öz Güven Değerleri Arasındaki İlişkinin İncelenmesi. Yüksek Lisans Tezi, Bursa Uludağ Üniversitesi Eğitim Bilimleri Enstitüsü, Bursa.
31. Karabacak, Z. İ. ve Sezgin, A. A. (2019). Türki̇ye’de di̇ji̇tal dönüşüm ve di̇ji̇tal okuryazarlik. Türk İdare Dergisi, 1(488), 319-343.
32. Karoğlu, A. K., Kübra, B. A. L. ve Çimşir, E. (2020). Toplum 5.0 sürecinde Türkiye’de eğitimde dijital dönüşüm. Üniversite Araştırmaları Dergisi, 3(3), 147-158. https://doi.org/10.32329/uad.815428
33. Kaya, M. (2007). İlköğretim din kültürü ve ahlak bilgisi öğretim programlarındaki ahlaki konuların ahlak eğitimi açısından değerlendirilmesi. Ondokuz Mayıs Üniversitesi İlahiyat Fakültesi Dergisi, 23(23), 23-50.
34. Keskin, İ. ve Yazar, T. (2018). Milli Eğitim Şuralarında Değer, Ahlak ve Karakter Eğitimi ile İlgili Alınan Kararların Değerlendirilmesi. Recep Tayyip Erdoğan Üniversitesi Sosyal Bilimler Dergisi, 4(8), 386-405.
35. Kim, S. ve Kim, R. (2002). A study of internet addiction: Status, causes, and remedies. Journal of Korean Home Economics Association English Edition, 3(1), 1-19.
36. Korkmaz, Ö., Kovancı, Ö. ve Erdoğmuş, F. U. (2021). Ortaokul Öğrencilerinin Dijital Ortamda Ahlaki Değerlere Dönük Algıları Ölçeği geçerlilik ve güvenirlik çalışması. Erzincan Üniversitesi Eğitim Fakültesi Dergisi, 23(2), 298-315. https://doi.org/10.17556/erziefd.646377
37. Korkmaz, Ö., & Demir, B. (2012). Meb Hizmetiçi Eğitimlerinin Öğretmenlerin Bilgi ve İletişim Teknolojilerine İlişkin Tutumlarına ve Bilgisayar Öz-Yeterliklerine Etkisi. Eğitim Teknolojisi Kuram ve Uygulama, 2(1), 1-18.
38. Kovancı, Ö. (2021). Ortaokul öğrencilerinin dijital ve evrensel ahlaki değerler algısı: Bir ilişkisel çalışma. Yüksek Lisans Tezi, Amasya Üniversitesi Fen Bilimleri Enstitüsü, Amasya.
39. Kozan, M. ve Bulut Özek, M. (2019). BÖTE Bölümü Öğretmen Adaylarının Dijital Okuryazarlık Düzeyleri ve Siber Zorbalığa İlişkin Duyarlılıklarının İncelenmesi. Fırat Üniversitesi Sosyal Bilimler Dergisi, 29(1), 107-120. https://doi.org/10.18069/firatsbed.538657
40. Kumar, V. L., ve Goldstein, A. M. (2020). Cyberbullying and Adolescents. Current Pediatrics Reports, 8(3), 86-92. https://doi.org/10.1007/s40124-020-00217-6
41. Lee, C., & Shin, N. (2017). Prevalence of cyberbullying and predictors of cyberbullying perpetration among Korean adolescents. Comput. Hum. Behav., 68, 352-358. https://doi.org/10.1016/j.chb.2016.11.047
42. Maden, S., Maden, A. ve Banaz, E. (2018). Ortaokul 5. Sınıf Türkçe Ders Kitaplarının Dijital Okuryazarlık Bağlamında Değerlendirilmesi. Journal of International Social Research, 11(55), 685-698. https://doi.org/10.17719/jisr.20185537239
43. Maviş, V. (2021). Ceza Hukuku Boyutuyla Siber Zorbalık. Selçuk Üniversitesi Hukuk Fakültesi Dergisi. 29(3), 2455-2500. https://doi.org/10.15337/suhfd.929815
44. MEB. (2020). Dijital Okuryazarlık Öğretmen Kılavuzu. Millî Eğitim Bakanlığı.
45. Metin, T. N. (2022). Ortaokul öğrencilerinin dijital okuryazarlık düzeyleri ile öğrenme stilleri arasındaki ilişkinin belirlenmesi. Yüksek Lisans Tezi, Aydın Adnan Menderes Üniversitesi Fen Bilimleri Enstitüsü, Aydın.
46. Metli, G. ve Şirin, T. (2019). Ortaokul Öğrencilerinin Siber Zorbalık, Siber Mağduriyet ve İnsani Değerleri Arasındaki İlişkinin İncelenmesi. Ekev Akademi Dergisi, (77), 179-200.
47. Ng, W. (2012). Can we teach digital natives digital literacy?. Computer and Education. 59(3), 1065-1078. https://doi.org/10.1016/j.compedu.2012.04.016
48. Nguyen, L. A. T., & Habók, A. (2022). Digital literacy of EFL students: An empirical study in Vietnamese Universities. Libri, 72(1), 53-66. https://doi.org/10.1515/libri-2020-0165
49. OECD (2021). 21st-Century Readers: Developing Literacy Skills in a Digital World. OECD Publishing.
50. O’Reilly, M., Levine, D., & Law, E. (2020). Applying a ‘digital ethics of care’ philosophy to understand adolescents’ sense of responsibility on social media. Pastoral Care in Education, 39(2), 91-107. https://doi.org/10.1080/02643944.2020.1774635
51. Öztürk, C. (2019). 8. sınıf öğrencilerinin dijital vatandaşlık düzeyleri ile siber zorbalık eğilimleri arasındaki ilişki. Yüksek Lisans Tezi, Sakarya Üniversitesi Eğitim Bilimleri Enstitüsü, Sakarya.
52. Öztürk, D. (2023). Student Perceptions of Moral Values in a Digital Environment. Türk Akademik Yayınlar Dergisi (TAY Journal), 7(Special Issue), 298-319.
53. Pala, Ş. M. ve Başıbüyük, A. (2020a). 10-12 yaş grubu öğrencileri için Dijital Okuryazarlık Ölçeği geliştirme çalışması. Akdeniz Araştırmaları Dergisi, 14(33), 542-565. https://doi.org/10.29329/mjer.2020.272.25
54. Pala, Ş. M. ve Başıbüyük, A. (2020b). Ortaokul Beşinci Sınıf Öğrencilerinin Dijital Okuryazarlık Düzeylerinin İncelenmesi. Cumhuriyet Uluslararası Eğitim Dergisi, 9(3), 897-921. https://doi.org/10.30703/cije.672882
55. Peng, D. ve Yu, Z. (2022). A literature review of digital literacy over two decades. Education Research International, 2022(1), 2533413. https://doi.org/10.1155/2022/2533413
56. Perdana, R., Yani, R., Jumadi, J., & Rosana, D. (2019). Assessing students’ digital literacy skill in senior high school Yogyakarta. Jurnal Pendidikan Indonesia, 8(2), 169-177. https://doi.org/10.23887/jpi-undiksha.v8i2.17168
57. Prensky, M. (2001). Digital Natives, Digital Immigrants. From on the Horizon MCB University Press, 9(5), 1-6.
58. Porat, E., Blau, I. and Barak, A. (2018). Measuring digital literacies: Junior high-school students' perceived competencies versus actual performance. Computers & Education, 126, 23-36. https://doi.org/10.1016/j.compedu.2018.06.030
59. Pozzoli, T., Gini, G., & Thornberg, R. (2016). Bullying and defending behavior: The role of explicit and implicit moral cognition. Journal of school psychology, 59, 67-81. https://doi.org/10.1016/j.jsp.2016.09.005
60. Salı, J., Başak, B. ve Akca, E. (2015). Türkiye'de Ortaokul Öğrencileri Arasında Siber Zorbalık. Anadolu Journal of Educational Sciences International, 5(2), 109-130. https://doi.org/10.18039/ajesi.59645
61. Sarışık, S., Aydoğdu, M., Yamak, C., Dönmez, E. ve Kahya, İ. (2022). Ortaokul Öğrencilerinin Siber Zorbalığa Maruz Kalma Durumlarını Etkileyen Faktörlerin İncelenmesi. Muallim Rıfat Eğitim Fakültesi Dergisi, 4(2), 190-202.
62. Sezer, B. ve Demirören, M. (2021). Tıp fakültesi öğrencilerinin sanal zorba ve sanal kurban olma durumlarının incelenmesi. Tıp Eğitimi Dünyası, 20(61), 106-118. https://doi.org/10.25282/ted.902235
63. Şimşek, H. ve Kara, T. (2021). Ortaokulun Evrensel Ahlâki Değerlerine Uyma Düzeylerinin Sınıf ve Cinsiyet Değişkinleri Açısından İncelenmesi. Uluslararası İnsan ve Sanat Araştırmaları Dergisi, 6(1), 69-83.
64. Talan, T. ve Aktürk, C. (2021). Orta Öğretim Öğrencilerinin Dijital Okuryazarlık ve Bilgi Güvenliği Farkındalığı Seviyelerinin İncelenmesi. Kahramanmaraş Sütçü İmam Üniversitesi Sosyal Bilimler Dergisi, 18(1), 158-180. https://doi.org/10.33437/ksusbd.668255
65. TDK (Türk Dil Kurumu) (2022). Genel Açıklamalı Sözlük. TDK Yayınları.
66. Toraman, L. ve Usta, E. (2018). Ortaokul Öğrencilerinin Dijital Yerli ve Siber Zorba Olma Durumlarının Çeşitli Değişkenler Açısından İncelenmesi. Ondokuz Mayis University Journal of Education Faculty, 37(2), 57-77. https://doi.org/10.7822/omuefd.378621
67. Tran, T., Ho, M. T., Pham, T. H., Nguyen, M. H., Nguyen, K. L. P., Vuong, T. T., & Vuong, Q. H. (2020). How digital natives learn and thrive in the digital age: Evidence from an emerging economy. Sustainability, 12(9), 3819. https://doi.org/10.3390/su12093819
68. Ulusoy, K. (2007). Sosyal Bilgiler Öğretmenlerinin Tarih ve Ahlâk Eğitimi İlişkisi Üzerine Görüşleri (Sakarya İl Örneği). Değerler Eğitimi Dergisi, 5(13), 155-177.
69. Ulusoy, K. ve Dilmaç, B. (2020). Değerler eğitimi. Pegem Akademi.
70. Umar, Ç. N. (2018). Özel Yetenekli Çocukların Evrensel Ahlaki Değer Düzeylerinin Bazı Değişkenler Açısından İncelenmesi. İnönü Üniversitesi Eğitim Fakültesi Dergisi, 19(3), 344-361. https://doi.org/10.17679/inuefd.486962
71. UNICEF (2022). Siber zorbalık: Nedir ve nasıl önlenir, 9 Kasım 2024 tarihinde UNICEF: https://www.unicef.org/turkiye/siber-zorbal%C4%B1k-nedir-ve-nas%C4%B1l-%C3%B6nlenir adresinden alındı.
72. Üstündağ, A. (2021). Covid 19 Pandemi Sürecinde Ortaokul Öğrencilerinin Dijital Okuryazarlık Düzeylerinin İncelenmesi. Adıyaman Üniversitesi Sosyal Bilimler Enstitüsü Dergisi, (39), 1-26. https://doi.org/10.14520/adyusbd.1009512
73. Wang, X., Lei, L., Liu, D., & Hu, H. (2016). Moderating effects of moral reasoning and gender on the relation between moral disengagement and cyberbullying in adolescents. Personality and individual differences, 98, 244-249. https://doi.org/10.1016/j.paid.2016.04.056
74. Wang, X., Yang, L., Yang, J., Wang, P., & Lei, L. (2017). Trait anger and cyberbullying among young adults: A moderated mediation model of moral disengagement and moral identity. Computers in Human Behavior, 73, 519-526. https://doi.org/10.1016/j.chb.2017.03.073
75. Yaman, E. ve Sönmez, Z. (2015). Ergenlerin Siber Zorbalık Eğilimleri. Online Journal of Technology Addiction and Cyberbullying, 2(1), 18-31.
76. Yang, J., Li, S., Gao, L., & Wang, X. (2022). Longitudinal associations among peer pressure, moral disengagement and cyberbullying perpetration in adolescents. Computers in Human Behavior, 137, 107420. https://doi.org/10.1016/j.chb.2022.107420
77. Yıldırım, A. ve Şimşek, H. (2011). Nitel araştırma yöntemleri. Seçkin Yayınevi.
78. Yılmaz, F. ve Ersoy, A. (2014). Beşinci Sınıf Öğrencilerinin BİT Erişim Olanakları ve Bit Okuryazarlık Düzeyleri Arasındaki Dijital Bölünme. Journal of Educational Science, 2(2), 16-32.
79. Yiğit, M. F., Keskin, S. ve Yurdugül, H. (2018). Ortaokullarda siber zorbalık ve aile desteği arasındaki ilişkinin cinsiyet, internet kullanımı ve öğrenim düzeyi bağlamında incelenmesi. The Turkish Journal on Addictions, 5(2), 249-284. http://dx.doi.org/10.15805/addicta.2018.5.2.0050
80. Yontar, A. (2019). Öğretmen Adaylarının Dijital Okuryazarlık Düzeyleri. Ana Dili Eğitimi Dergisi, 7(4), 815-824. https://doi.org/10.16916/aded.593579
81. You, S., & Lim, S. A. (2016). Longitudinal predictors of cyberbullying perpetration: Evidence from Korean middle school students. Personality and Individual Differences, 89, 172-176. https://doi.org/10.1016/j.paid.2015.10.019