TÜBİTAK Proje Önerisi Üretimi İçin Anlamsal Uzlaşı Temelli Çoklu Büyük Dil Modeli Mimarisi

Abstract

Bu çalışma, yüksek kaliteli TÜBİTAK proje önerilerinin otomatik olarak oluşturulması için çok modelli büyük dil modeli (LLM) tabanlı bir çerçeve önermektedir. Çalışmanın temel amacı, tek model yanlılığını azaltarak yapay zeka tarafından oluşturulan proje metinlerinin tutarlılığını, akademik kalitesini ve güvenilirliğini artırmaktır. Önerilen sistemin kapsamı, hedefler, özgünlük, beklenen etki, maliyet tahmini ve iş planlaması dahil olmak üzere TÜBİTAK proje başvurularının tüm yapısını kapsamaktadır. Metodolojik olarak, sistem öncelikle birleşik ve kontrollü bir komut yapısı altında farklı son teknoloji LLM'ler kullanarak birden fazla bağımsız proje taslağı oluşturur. Her taslak daha sonra önceden tanımlanmış değerlendirme bölümlerine ayrıştırılır. Bu bölümler, çok dilli cümle düzeyinde bir transformatör modeli kullanılarak yerleştirilir ve karşılık gelen bölümler arasındaki anlamsal benzerlikler kosinüs benzerliği kullanılarak hesaplanır. Her bölüm için, en yüksek ortalama benzerlik puanına sahip metin, modeller arasında anlamsal uzlaşmayı yansıtan en temsili çıktı olarak seçilir. Seçilen içeriğin güvenilirliğini ölçmek için güven puanları da hesaplanır. Deneysel sonuçlar, önerilen yaklaşımın, stilistik farklılıkları azaltılmış ve yapısal tutarlılığı artırılmış, tutarlı, hakem düzeyinde bir proje önerisi ürettiğini göstermektedir. Çalışma, anlamsal uzlaşmaya dayalı çok modelli entegrasyonun, akademik proje hazırlığı için etkili bir karar destek mekanizması olduğu sonucuna varmaktadır.

Keywords

• Büyük Dil Modelleri
• Semantik Konsensus
• Proje Önerisi Oluşturma

Semantic Consensus-Based Multi-LLM Architecture for TÜBİTAK Proposal Generation

Abstract

This study proposes a multi-model large language model (LLM)–based framework for the automated generation of high-quality TÜBİTAK project proposals. The primary aim of the study is to improve the consistency, academic quality, and reliability of AI-generated project texts by reducing single-model bias. The scope of the proposed system covers the full structure of TÜBİTAK project applications, including objectives, originality, expected impact, cost estimation, and work planning. Methodologically, the system first generates multiple independent project drafts using different state-of-the-art LLMs under a unified and controlled prompt structure. Each draft is then decomposed into predefined evaluation sections. These sections are embedded using a multilingual sentence-level transformer model, and semantic similarities among corresponding sections are calculated using cosine similarity. For each section, the text with the highest average similarity score is selected as the most representative output, reflecting semantic consensus across models. Confidence scores are also computed to quantify the reliability of the selected content. Experimental results show that the proposed approach produces a coherent, referee-level project proposal with reduced stylistic variation and improved structural consistency. The study concludes that semantic consensus–driven multi-model integration is an effective decision-support mechanism for academic project preparation.

Keywords

• Large Language Models
• Semantic Consensus
• Project Proposal Generation

References

1. [1] TÜBİTAK, Araştırma Destek Programları Başkanlığı Proje Değerlendirme Kriterleri, Ankara, Türkiye, 2023.
2. [2] OECD, Peer Review and Project Evaluation in Public Research Funding, OECD Publishing, Paris, France, 2020.
3. [3] J. M. Swales and C. B. Feak, Academic Writing for Graduate Students, 3rd ed., Ann Arbor, MI, USA: Univ. Michigan Press, 2012.
4. [4] T. Brown et al., “Language models are few-shot learners,” in Advances in Neural Information Processing Systems (NeurIPS), 2020, pp. 1877–1901.
5. [5] J. Devlin, M.-W. Chang, K. Lee, and K. Toutanova, “BERT: Pre-training of deep bidirectional transformers for language understanding,” in Proc. NAACL-HLT, 2019, pp. 4171–4186.
6. [6] S. Min, M. Lewis, H. Hajishirzi, and L. Zettlemoyer, “Rethinking the role of demonstrations: What makes in-context learning work?” in Proc. EMNLP, 2022, pp. 11048–11064.
7. [7] A. Vaswani et al., “Attention is all you need,” in Advances in Neural Information Processing Systems, 2017, pp. 5998–6008.
8. [8] Y. Liu et al., “RoBERTa: A robustly optimized BERT pretraining approach,” arXiv:1907.11692, 2019. [9] E. M. Bender, T. Gebru, A. McMillan-Major, and S. Shmitchell, “On the dangers of stochastic parrots,” in Proc. ACM FAccT, 2021, pp. 610–623.

9. [10] Z. Zhang, “Artificial intelligence in academic writing: Bias and limitations,” Scientometrics, vol. 128, no. 1, pp. 1–15, 2023.
10. [11] S. Ji et al., “Survey of hallucination in natural language generation,” ACM Computing Surveys, vol. 55, no. 12, pp. 1–38, 2023.
11. [12] T. G. Dietterich, “Ensemble methods in machine learning,” in Multiple Classifier Systems, Springer, 2000, pp. 1–15.
12. [13] L. Rokach, “Ensemble-based classifiers,” Artificial Intelligence Review, vol. 33, no. 1–2, pp. 1–39, 2010. [14] R. Polikar, “Ensemble learning,” in Ensemble Machine Learning, Springer, 2012, pp. 1–34.
13. [15] Y. Freund and R. E. Schapire, “A decision-theoretic generalization of on-line learning and an application to boosting,” Journal of Computer and System Sciences, vol. 55, no. 1, pp. 119–139, 1997.
14. [16] D. Wang, Y. Chen, and X. Li, “Consensus-based text generation from multiple neural models,” Information Processing & Management, vol. 59, no. 4, 2022.
15. [17] M. Geva et al., “Are we modeling the task or the annotator? An investigation of annotator bias,” in Proc. EMNLP, 2019, pp. 1161–1166.
16. [18] N. Reimers and I. Gurevych, “Sentence-BERT: Sentence embeddings using Siamese BERT-networks,” in Proc. EMNLP, 2019, pp. 3982–3992.
17. [19] N. Reimers and I. Gurevych, “Making monolingual sentence embeddings multilingual,” in Proc. ACL, 2020, pp. 4512–4525.
18. [20] S. Cer et al., “Universal sentence encoder,” arXiv:1803.11175, 2018.
19. [21] S. Wu and M. Dredze, “Beto, Bentz, Becas: The surprising cross-lingual effectiveness of BERT,” in Proc. EMNLP, 2019, pp. 833–844.
20. [22] A. Conneau et al., “Unsupervised cross-lingual representation learning,” in Proc. ICLR, 2018.
21. [23] C. D. Manning, P. Raghavan, and H. Schütze, Introduction to Information Retrieval, Cambridge, U.K.: Cambridge Univ. Press, 2008.
22. [24] S. Han, K. Song, and Y. J. Kim, “Semantic similarity measurement using cosine similarity,” Journal of Information Science, vol. 45, no. 2, pp. 1–12, 2019.