A Hybrid Framework for Identifying and Weighting Artificial Intelligence Bias Criteria in Organizational Information Systems

Öz

Integrating AI into OIS poses several challenges in terms of governance due to the possibility of algorithmic bias. In ERP systems, AI-driven modules play a critical role in making key decisions related to employee evaluation, resource management, demand prediction, and procurement of suppliers. With biased data, erroneous modeling assumptions, and black-box decision-making, the impact could be adverse to particular user categories, skewing organizational processes and potentially harming the company's reputation and regulatory compliance. Even though there is increased consciousness about AI bias, no systematic criteria have been put forward for prioritizing bias factors in OIS. This paper proposes a novel hybrid approach to identifying and prioritizing AI bias criteria in OIS through a combination of literature review and Fuzzy-AHP. The expert opinions of five AI and OIS specialists were used to generate criterion weights under fuzziness conditions. The findings reveal three main bias factors: Machine Learning (w = 0.5304), Fairness and Ethics (w = 0.3043), and Natural Language Processing (w = 0.1653). From the list of sub-criteria, Training Data Quality (GW = 0.2430), Model Explainability (GW = 0.1345), and Accountability and Transparency (GW = 0.1304) are the most significant factors. The suggested methodology provides a framework for aiding OIS design, IT management, and organizational policy formulation on AI bias governance.

Anahtar Kelimeler

• Artificial intelligence bias
• Organizational information systems
• ERP
• Fuzzy-AHP
• Algorithmic governance

Kurumsal Bilgi Sistemlerinde Yapay Zeka Önyargı Kriterlerini Belirleme ve Ağırlıklandırma için Hibrit Bir Çerçeve

Öz

Yapay zekanın (YZ) kurumsal bilgi sistemlerine (KBS) entegrasyonu, algoritmik önyargı olasılığı nedeniyle yönetişim açısından çeşitli zorluklar ortaya koymaktadır. Kurumsal kaynak planlama (ERP) sistemlerinde, yapay zeka destekli modüller, çalışan değerlendirmesi, kaynak yönetimi, talep tahmini ve tedarikçi alımı ile ilgili önemli kararların alınmasında kritik bir rol oynamaktadır. Önyargılı veriler, hatalı modelleme varsayımları ve kara kutu karar verme ile, etki belirli kullanıcı kategorileri için olumsuz olabilir, organizasyonel süreçleri çarpıtabilir ve potansiyel olarak şirketin itibarını ve mevzuat uyumluluğunu zedeleyebilir. Yapay zeka önyargısı konusunda artan bir farkındalık olmasına rağmen, KBS’de önyargı faktörlerini önceliklendirmek için sistematik bir kriter ortaya konmamıştır. Bu makale, literatür taraması ve Bulanık AHP’nin bir kombinasyonu yoluyla KBS’de yapay zeka önyargı kriterlerini belirlemek ve önceliklendirmek için yeni bir hibrit yaklaşım önermektedir. Bulanıklık koşulları altında kriter ağırlıklarını oluşturmak için beş yapay zeka ve KBS uzmanının uzman görüşleri kullanılmıştır. Bulgular üç ana önyargı faktörünü ortaya koymaktadır: Makine Öğrenimi (w = 0,5304), Adalet ve Etik (w = 0,3043) ve Doğal Dil İşleme (w = 0,1653). Alt kriterler listesinden, Eğitim Veri Kalitesi (GW = 0,2430), Model Açıklanabilirliği (GW = 0,1345) ve Hesap Verebilirlik ve Şeffaflık (GW = 0,1304) en önemli faktörlerdir. Önerilen metodoloji, KBS tasarımına, BT yönetimine ve yapay zeka önyargı yönetimi konusunda kurumsal politika oluşturulmasına yardımcı olacak bir çerçeve sağlamaktadır.

Anahtar Kelimeler

• Yapay zeka önyargısı
• Kurumsal bilgi sistemleri
• ERP
• Bulanık AHP
• Algoritmik yönetişim

Kaynakça

1. [1] Ahmed, F., & Kilic, K. (2019). Fuzzy Analytic Hierarchy Process: A performance analysis of various algorithms. Fuzzy Sets and Systems, 362, 110-128.
2. [2] Atan, M., Atan, S., & Altın, K. (2008). İnsan Kaynakları Seçiminde Analitik Hiyerarşi Süreci Kullanımı Ve Bir Yazılım Önerisi. Gazi Üniversitesi İktisadi ve İdari Bilimler Fakültesi Dergisi, 10(3), 143-162..
3. [3] Arsu, T., & Varlı, E. (2022). Çok kriterli karar verme yöntemiyle finansal performans analizi: İtfaiye malzemeleri ve çok maksatlı yangın müdahale-kurtarma araçları ihracatı yapan bir firma uygulaması. Düzce Üniversitesi Sosyal Bilimler Dergisi, 12(2), 305-325.
4. [4] Barocas, S., Hardt, M., & Narayanan, A. (2023). Fairness and machine learning: Limitations and opportunities. MIT Press.
5. [5] Bender, E. M., Gebru, T., McMillan-Major, A., & Shmitchell, S. (2021). On the dangers of stochastic parrots: Can language models be too big? Proceedings of the 2021 ACM Conference on Fairness, Accountability, and Transparency (pp. 610-623).
6. [6] Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in Neural Information Processing Systems, 33, 1877-1901.
7. [7] Buolamwini, J., & Gebru, T. (2018). Gender shades: Intersectional accuracy disparities in commercial gender classification. Conference on Fairness, Accountability and Transparency (pp. 77-91).
8. [8] Calabrese, A., Costa, R., Levialdi, N., & Menichini, T. (2016). A fuzzy analytic hierarchy process method to support materiality assessment in sustainability reporting. Journal of Cleaner Production, 121, 248-264. https://doi.org/10.1016/j.jclepro.2015.12.005

9. [9] Chang, D.-Y. (1996). Applications of the extent analysis method on fuzzy AHP. European Journal of Operational Research, 95(3), 649–655. https://doi.org/10.1016/0377-2217(95)00300-2
10. [10] Daim, T. U., Udbye, A., & Balasubramanian, A. (2013). Use of analytic hierarchy process (AHP) for selection of 3PL providers. Journal of Manufacturing Technology Management, 24(1), 28-51.
11. [11] Duan, Y., Edwards, J. S., & Dwivedi, Y. K. (2019). Artificial intelligence for decision making in the era of Big Data: Evolution, challenges and research agenda. International Journal of Information Management, 48, 63-71.
12. [12] Floridi, L., Cowls, J., Beltrametti, M., Chatila, R., Chazerand, P., Dignum, V., ... & Vayena, E. (2018). AI4People: An ethical framework for a good AI society. Minds and Machines, 28(4), 689-707.
13. [13] Friedman, B., & Nissenbaum, H. (1996). Bias in computer systems. ACM Transactions on Information Systems, 14(3), 330-347.
14. [14] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press.
15. [15] Hardt, M., Price, E., & Srebro, N. (2016). Equality of opportunity in supervised learning. Advances in Neural Information Processing Systems, 29.
16. [16] Kaplan, A., & Haenlein, M. (2019). Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence. Business Horizons, 62(1), 15-25.
17. [17] Kleinberg, J., Mullainathan, S., & Raghavan, M. (2016). Inherent trade-offs in the fair determination of risk scores. arXiv preprint arXiv:1609.05807.
18. [18] Laudon, K. C., & Laudon, J. P. (2022). Management information systems: Managing the digital firm (17th ed.). Pearson.
19. [19] Mehrabi, N., Morstatter, F., Saxena, N., Lerman, K., & Galstyan, A. (2021). A survey on bias and fairness in machine learning. ACM Computing Surveys, 54(6), 1-35.
20. [20] Naveed, Q. N., Qureshi, M. R. N. M., Shaikh, A., Alsayed, A. O., Sanober, S., & Mohiuddin, K. (2019). Evaluating and ranking cloud-based e-learning critical success factors (CSFs) using combinatorial approach. IEEE Access, 7, 157145-157157.
21. [21] Obermeyer, Z., Powers, B., Vogeli, C., & Mullainathan, S. (2019). Dissecting racial bias in an algorithm used to manage the health of populations. Science, 366(6464), 447-453.
22. [22] Pasquale, F., & Citron, D. K. (2014). Promoting innovation while preventing discrimination: Policy goals for the scored society. Washington Law Review, 89, 1413-1424.
23. [23] Saaty, T. L. (1980). The analytic hierarchy process. McGraw-Hill.
24. [24] Saaty, T. L. (2003). Decision-making with the AHP: Why is the principal eigenvector necessary. European Journal of Operational Research, 145(1), 85-91.
25. [25] Sunman, G. (2025). Artificial intelligence in management: Bibliometric analysis. Politik Ekonomik Kuram, 9(2), 723-739. https://doi.org/10.30586/pek.1637141
26. [26] T.C. Cumhurbaşkanlığı Dijital Dönüşüm Ofisi ve Sanayi ve Teknoloji Bakanlığı. (2021). Ulusal yapay zekâ stratejisi 2021-2025. Retrieved October 30, 2024, from https://www.cbddo.gov.tr/UYZS
27. [27] Thiem, A., Mkrtchyan, L., Haesebrouck, T., & Sanchez, D. (2020). Algorithmic bias in social research: A meta-analysis. PloS ONE, 15(6), e0233625.
28. [28] Triantaphyllou, E., & Sanchez, A. (1997). A sensitivity analysis approach for some deterministic multi-criteria decision-making methods. Decision Sciences, 28(1), 151-194. https://doi.org/10.1111/j.1540-5915.1997.tb01306.x
29. [29] Weidinger, L., Mellor, J., Rauh, M., Griffin, C., Uesato, J., Huang, P. S., ... & Gabriel, I. (2021). Ethical and social risks of harm from language models. arXiv preprint arXiv:2112.04359.
30. [30] Zheng, N., Liu, Z., Ren, P., Ma, Y., Chen, S., Yu, S., ... & Wang, F. (2017). Hybrid-augmented intelligence: Collaboration and cognition. Frontiers of Information Technology and Electronic Engineering, 18(2), 153-179.
31. [31] Özyörük, B., Taşdemir, B. D., Kumcu, S., & Karacaer, B. (2025). Comparative analysis of internal hospital supply chain management performance with PFAHP and PFTOPSIS methods. Journal of the Faculty of Engineering and Architecture of Gazi University, 40(4), 2839-2849.
32. [32] Desticioğlu Taşdemir, B., Kumcu, S., & Özyörük, B. (2023). Comparison of E-Commerce Sites with Pythagorean Fuzzy AHP and TOPSIS Methods. Springer Nature.