Büyük Dil Modellerinin (BDM’ler) sağlık alanında yaygın kullanımı, tıbbi uygulamalar için alana özgü eğitimin gerekli olup olmadığı konusunda temel soruları gündeme getirmiştir. Bu çalışma, yaklaşık 11.000 soru-cevap çiftinden oluşan üç tıbbi veri seti (PubMedQA, BioASQ ve WikiDoc) kullanarak tıbbi alan ve genel amaçlı BDM’lerin kapsamlı bir değerlendirmesini sunmaktadır. Dört tıbbi alan modeli (Meditron-7B, BioMistral-7B, MedAlpaca-13B ve PMC-LLaMA-13B) ile dört genel amaçlı yönerge ayarlı modeli (Ministral-8B-Instruct, Gemma 2-9B-it, Vicuna-13B v1.5 ve Llama 3-8B-Instruct) hem sıfır-atış hem de az-atış ayarlarında 182.944 istem üzerinde değerlendirdik. Sonuçlarımız, genel amaçlı modellerin tüm değerlendirme metriklerinde tıbbi alan modellerini tutarlı bir şekilde geride bıraktığını göstermektedir. Özellikle, Ministral-8B-Instruct, az-atış ayarlarında 0.613 BERTScore, 0.764 SimCSE ve 0.684 anlamsal benzerlik ile en yüksek genel performansı elde ederek, sırasıyla 0.545, 0.678 ve 0.533 puan alan en iyi tıbbi model (BioMistral-7B) performansını önemli ölçüde aşmıştır. Ayrıca, sıfır-atış performansı genellikle az-atış sonuçlarına eşit veya daha üstün olmuş, Llama-3-8B-Instruct sıfır-atış ayarlarında 0.794 SimCSE puanı elde etmiştir. Bu bulgular, özelleşmiş tıbbi görevlerde optimal performans için alana özgü ön eğitimin gerekli olduğu şeklindeki yaygın varsayımı sorgulamakta ve sağlık AI sistemlerinin geliştirilmesinde kaynak tahsisi açısından önemli çıkarımlar sunmaktadır.
Büyük Dil Modelleri Alan Özgü Modeller Sıfır Atışlı Öğrenme Model Karşılaştırması Sağlık Yapay Zekası
The growing use of Large Language Models (LLMs) in healthcare raises important questions about the need for domain-specific training in medical applications. This study presents a detailed evaluation of medical-domain and general-purpose LLMs using three medical datasets (PubMedQA, BioASQ, and WikiDoc), which contain approximately 11,000 question-answer pairs. We evaluated four medical-domain models (Meditron-7B, BioMistral-7B, MedAlpaca-13B, and PMC-LLaMA-13B) against four general-purpose instruction-tuned models (Ministral-8B-Instruct, Gemma 2-9B-it, Vicuna-13B v1.5, and Llama 3-8B-Instruct). Across 182,944 prompts in both zero-shot and few-shot settings, our findings show that general-purpose models consistently outperformed their medical-specific counterparts on all evaluation metrics. Specifically, Ministral-8B-Instruct achieved the highest performance in few-shot settings with a BERTScore of 0.613, SimCSE of 0.764, and semantic similarity of 0.684. These scores were significantly higher than those of the best medical model, BioMistral-7B (0.545, 0.678, and 0.533, respectively). Furthermore, zero-shot performance often matched or surpassed few-shot results, as seen with Llama-3-8B-Instruct achieving a SimCSE score of 0.794. These findings challenge the common assumption that domain-specific pretraining is required for optimal performance in specialized tasks and have major implications for how resources are allocated in healthcare AI development.
Large Language Models Domain-Specific Models Zero-shot Learning Model Benchmarking Healthcare AI
| Birincil Dil | İngilizce |
|---|---|
| Konular | Doğal Dil İşleme, Yapay Zeka (Diğer) |
| Bölüm | Araştırma Makalesi |
| Yazarlar | |
| Gönderilme Tarihi | 13 Haziran 2025 |
| Kabul Tarihi | 4 Aralık 2025 |
| Erken Görünüm Tarihi | 2 Ocak 2026 |
| Yayımlanma Tarihi | 3 Mart 2026 |
| DOI | https://doi.org/10.2339/politeknik.1719005 |
| IZ | https://izlik.org/JA64GR87GT |
| Yayımlandığı Sayı | Yıl 2026 Cilt: 29 Sayı: 1 |
Temel mühendislik alanlarındaki hem deneysel hem de kuramsal çalışmaların yer aldığı dergimiz, mühendisliğin hızla gelişen alanlarına ilişkin makalelerin yayınına öncelik tanır ve disiplinlerarası yöntem ve teknolojiler üzerine yoğunlaşmayı,mühendislik bilimlerindeki en güncel bilimsel ve teknolojik gelişmeleri araştırmacılara, mühendislere ve ilgili kitlelere ulaştırmayı hedefler. Dergiye gönderilen bilimsel çalışmaların yayımlanmış veya sözlü veya poster sunum olarak başka yerde yayın için değerlendirme aşamasında bulunmaması gereklidir.
“Politeknik Dergisi" temel mühendislik konularını kapsayan bir dergidir. Dergi ulusal ve uluslararası düzeyde bilim, teknoloji ve mühendislik alanlarında orijinal bir araştırmayı bulgu ve sonuçlarıyla yansıtan ve bilime katkısı olan araştırma makalelerini veya yeterli sayıda bilimsel makaleyi tarayıp, konuyu bugünkü bilgi ve teknoloji düzeyinde özetleyen, değerlendirme yapan ve bulguları karşılaştırarak yorumlayan tarama makalelerini kabul etmektedir.
Dergimize ait herhangi bir ŞABLON formatı bulunmamaktadır. İlk gönderi için makalelerin aşağıdaki kurallara göre hazırlanması gerekmektedir.
Gazi Üniversitesi Politeknik Dergisi, Fen ve Mühendislik alanlarında çalışan bilim insanları arasındaki bilimsel iletişimi oluşturmak amacıyla, bilimsel özgün makaleleri Türkçe veya İngilizce olarak kabul etmektedir.
Araştırma Makalesi: Orijinal bir araştırmayı bulgu ve sonuçlarıyla yansıtan çalışmalar,
Tarama Makalesi: Yeterli sayıda bilimsel makaleyi tarayıp, konuyu günümüzün bilgi ve teknoloji düzeyinde özetleyen, değerlendirme yapan ve bu bulguları karşılaştırarak yorumlayan yazılar,
Teknik Not: Yapılan bir araştırmanın önemli bulgularını açıklayan yeni bir yöntem veya teknik tanımlayan yazılar.
Bütün yazıların Telif Hakkı Devir Formu, makalenin bütün yazarları tarafından doldurulup editörlüğe iletilmelidir. Telif Hakkı Devir Formu göndermeyen yazarların yayınları işleme konulmaz. Yayınlanmasına karar verilen makaleler üzerine yazarlar tarafından sonradan hiçbir eklenti yapılamaz.
Her makale en az iki hakeme gönderilerek şekil ve içerik bakımından incelenir. Dergide yayınlanabilecek nitelikteki olduğu belirlenen makalelerin dizgisi yapılarak yayına hazır hale getirilir.
SUNUŞ
İlk gönderi esnasında, makalenin yazar(lar)ı tarafından benzerlik taraması yapılarak benzerlik oranını gösteren raporun makale ile birlikte yüklenmesi gerekmektedir. Detaylı bilgi için tıklayınız.
Her makalede yapılan çalışmanın özetlendiği bir Özet Sayfası bulunmalıdır. (Bu sayfa makalenin ilk sayfası olacak şekilde makalenizi tek dosya halinde gönderiniz). Özet sayfasına ait şablon dosyaya ulaşmak için tıklayınız.
1. METİN : Times New Roman yazı karakterinde ve 12 pt olacak şekilde yazılmalı, kaynaklar ve şekiller dahil tarama yazıları dışında 20 sayfayı geçmemelidir. Yazarlar makalelerinin ne türde bir yazı olduğunu belirtmelidirler.
2. BAŞLIK : Eserin başlığı, ilk harfleri büyük olacak şekilde Türkçe ve İngilizce olarak yazılmalı, başlık metne uygun, kısa ve açık olmalıdır.
Metin içerisindeki 1. derece başlıkların tamamı büyük harfle, 2. derece başlıkların tüm kelimelerinin ilk harfleri büyük harfle ve 3. ve daha alt başlıklar için başlığın yalnızca ilk kelimesi büyük harfle olacak şekilde yazılmalıdır (Metin içerisinde kullanılan başlıkların ve alt başlıkların tümünün İngilizceleri parantez içerisinde belirtilmelidir. Yazım dili İngilizce olan makalelerde, parantez içerisinde herhangi bir şey belirtilmemelidir. Tüm metin İngilizce olmalıdır)
3. ÖZET : 200 kelimeyi geçmeyecek şekilde Türkçe ve İngilizce yazılmalıdır. İngilizce özetin başına eserin başlığı da ingilizce olarak yazılmalıdır.
4. ANAHTAR KELİMELER : En az 3 en fazla 5 adet Türkçe/ İngilizce olarak verilmelidir.
5. METİN : Genel olarak giriş, yöntem, bulgular, sonuç ve tartışmaya ilişkin kısımları kapsar.
6. KAYNAKLAR : Metinde parantez içerisindeki [1], [2] vb. rakamlarla numaralandırılmalı ve metin sonunda da eser içinde veriliş sırasına göre yazılmalıdır.
Kaynak bir makale ise: Yazarın soyadı adının baş harfi, tırnak içerisinde makalenin tam başlığı, derginin adı (varsa uluslararası kısaltmaları), cilt no: makalenin başlangıç ve bitiş sayfa no, (yıl)
Örnek: Sözen A., Özbaş E., Menlik T., Çakır M. T., Gürü M. and Boran K., ''Improving the thermal performance of diffusion absorption refrigeration system with alumina nanofluids'', International Journal of Refrigeration, 44: 73-80, (2014)
Kaynak bir kitap ise: Yazarın soyadı adının başharfi, tırnak içerisinde kitabın adı, cilt no, varsa editörü, yayınevinin adı, yayın no, yayınlandığı yer, (yıl).
Kaynak kitaptan bir bölüm ise: Bölüm yazarının soyadı adının başharfi, tırnak içerisinde bölümün adı, bölümün alındığı kitabın adı, yayınevinin adı, yayınlandığı yer, (yıl).
Kaynak basılmış tez ise: Yazarın soyadı adının baş harfi, tırnak içerisinde tezin adı, cinsi (yüksek lisans, doktora), sunulduğu üniversite ve enstitüsü, (yıl).
Kaynak kongreden alınmış tebliğ ise: Yazarın soyadı adının baş harfi, tırnak içerisinde tebliğin adı, kongrenin adı, yapıldığı yer, tebliğin başlangıç ve bitiş sayfa no, (yıl).
Kaynak bir standart ise: Standardın numarası, tırnak içerisinde standardın adı, (yıl).
7. ÇİZELGE VE ŞEKİLLER: Çizelge içermeyen bütün görüntüler (fotoğraf, çizim, diyagram, grafik, harita vs.) şekil olarak isimlendirilmelidir. Her bir çizelge ve şekil, metin içinde gireceği yere yerleştirilmelidir. Bütün şekiller metin içinde ardışık olarak numaralandırılmalıdır (Metin içerisinde kullanılan Çizelge ve Şekillerin tümünün ingilizceleri parantez içerisinde belirtilmelidir. Yazım dili İngilizce olan makalelerde, parantez içerisinde herhangi bir şey belirtilmemelidir. Tüm metin İngilizce olmaldır).
8. FORMÜLLER VE BİRİMLER: Metin içerisindeki tüm formüller equation formatında yazılmalıdır. Formüllere (1), (2) şeklinde sıra numarası verilmelidir. Tüm birimler SI birim sisteminde olmalıdır.
9. SİMGELER VE KISALTMALAR : Metin sonunda kaynaklardan önce verilebilir.
10. TEŞEKKÜR : Eğer kişi veya kurumlara teşekkür yapılacaksa bu kısımda yazılmalı ve kaynaklardan önce verilmelidir.
İngilizce dilindeki makaleler için:
DECLARATION OF ETHICAL STANDARDS
The author(s) of this article declare that the materials and methods used in this study do not require ethical committee permission and/or legal-special permission.
12. YAZAR KATKILARININ BEYANI: Bu bölümde makalede adı geçen her bir araştırmacının makaleye olan katkısı belirtilmelidir.
13. ÇIKAR ÇATIŞMASININ BEYANI: Makale yazarları arasındaki çıkar çatışması durumu belirtilmelidir. Herhangi bir çıkar çatışması yoksa "Bu çalışmada herhangi bir çıkar çatışması yoktur" ibaresi yazılmalıdır.
Politeknik Dergisi makale gönderimi veya basım aşamasında herhangi bir ücret talep etmemektedir.
Bu eser Creative Commons Atıf-AynıLisanslaPaylaş 4.0 Uluslararası ile lisanslanmıştır.