Otomatik Konuşma Tanıma Sistemlerinde Kullanılan Gerçek Metin Verisinde Biçimbilimsel-Sözdizimsel Hataların Tespiti ve Düzeltmesi
Year 2019,
Volume: 2 Issue: 2, 18 - 24, 30.12.2019
Hüseyin Polat
,
Hayri Sever
,
Saadin Oyucu
,
Şükran Tekbaş
Abstract
Türkçe
Otomatik Konuşma Tanıma (ASR: Automatic Speech Recognition) sistemlerinde
kullanılan akustik model gürbüz bir dil modeli ile desteklenmediği durumlarda
kelime hata oranı yüksek çıkmaktadır. İyi dizayn edilmiş bir dil modeli ile
akustik modelin birlikte ASR’de kullanılması kelime hata oranını düşürmektedir.
ASR için gerekli dil modelinin eğitiminde düz metin verisi kullanılmaktadır.
Kullanılan metin verisinin doğruluğu ASR modellerinin eğitimi için oldukça
önemlidir. Bu çalışmada, doğal dil işlemeye dayalı bir yöntem kullanılarak
Türkçe ASR sisteminin eğitilmesinde kullanılan metin verisi içerisindeki yazım
hatalarının tespiti ve düzeltilmesi gerçekleştirilmiştir. Öncelikle metin
verisi içerisinde dil bilgisel olarak yanlış yazılmış olan kelimeler
bulunmuştur. Bir kelimedeki karakter eksikliği, karakter fazlalığı, karakterlerin
yer değiştirmesi veya karakteri yanlış yazılmış olan kelimeler hatalı olarak
kabul edilmiştir. Metin verisi içerisinde hatalı olarak kabul edilen kelimeler
morfolojik analiz ile tespit edilmiştir. Yanlış kelimelerin yerine atanacak
olan kelimeler belirlenmiştir. Yanlış yazılmış olan kelimeler doğru kelimeler
ile değiştirilmiştir. Gerçekleştirilen çalışma hatalı kelimeleri tespit etme ve
doğru kelimeler ile yer değiştirme işleminde %93 oranında başarı göstermiştir.
References
- [1] Delibas A. “Doğal Dil İşleme İle Türkçe Yazım Hatalarının Denetlenmesi”. Yüksek Lisans Tezi, İstanbul Teknik Üniversitesi, Bilgisayar Mühendisliği, İstanbul, Türkiye, 2008 .
- [2] Starlander M, Popescu-Belis A. “Corpus-based Evaluation of A French Spelling and Grammer Checker”. Third International Conference On Language Resources And Evaluation, Las Palmas, Canary Islands, Spain, 29 -31 May 2002.
- [3] Gabriele K. “A Word Analysis System for German Hyphenation Full Text Search and Spell Checking with Regard to the Latest Reform of German Orthography” Institute of Computer Graphics, Algorithms and Data Structures Group, Vienna University of Technology, Vienna, Austria, 2011.
- [4] Dembitz S, Knezevich P, Sokele M. “Developing A Spell Checker As An Expert System” Journal of Computing and Information Technology, 1(4), 285- 291, 2004.
- [5] Dembitz S, Knezevich P, Sokele M. “Hascheck – the Croatian Academic Spelling Checker” 18th Annual International Conference of The British Computer Society Specialist Group on Expert System, Cambridge, England, December 1998.
- [6] Dhanabalan T, Parthasarathi R, Geetha TV. “Tamil Spell Checker” Tamil Internet, Chennai, India 2003.
- [7] Murata M, Utiyama M, Uchimoto K, Ma Q, Isahara H. “Correction of Errors in a Modality Corpus Used for Machine Translation Using Machine-learning”. Japan Communications Research Laboratory, Kyoto, Japan, 2001.
- [8] Cakiroglu U, Ozyurt, O. “Türkçe Metinlerdeki Yazım Yanlışlarına Yönelik Otomatik Düzeltme Modeli”, Eleco, Bursa, Türkiye, 7-9 Haziran 2016.
- [9] Zemberek. “Ağaç Performansı ve Kök Seçiciler”. http://zembereknlp.blogspot.com/2007/04/zemberek-nasl-alr-2aa-performans-ve-kk.html (15.04.20189).
- [10] Akgul O. “Türkçe Kelimelerin Morfolojik Analizi”. https://akgulomer.wordpress.com/2011/01/23/turkce-kelimelerin-morfolojik-analizi/ (13.04.2019).
Year 2019,
Volume: 2 Issue: 2, 18 - 24, 30.12.2019
Hüseyin Polat
,
Hayri Sever
,
Saadin Oyucu
,
Şükran Tekbaş
References
- [1] Delibas A. “Doğal Dil İşleme İle Türkçe Yazım Hatalarının Denetlenmesi”. Yüksek Lisans Tezi, İstanbul Teknik Üniversitesi, Bilgisayar Mühendisliği, İstanbul, Türkiye, 2008 .
- [2] Starlander M, Popescu-Belis A. “Corpus-based Evaluation of A French Spelling and Grammer Checker”. Third International Conference On Language Resources And Evaluation, Las Palmas, Canary Islands, Spain, 29 -31 May 2002.
- [3] Gabriele K. “A Word Analysis System for German Hyphenation Full Text Search and Spell Checking with Regard to the Latest Reform of German Orthography” Institute of Computer Graphics, Algorithms and Data Structures Group, Vienna University of Technology, Vienna, Austria, 2011.
- [4] Dembitz S, Knezevich P, Sokele M. “Developing A Spell Checker As An Expert System” Journal of Computing and Information Technology, 1(4), 285- 291, 2004.
- [5] Dembitz S, Knezevich P, Sokele M. “Hascheck – the Croatian Academic Spelling Checker” 18th Annual International Conference of The British Computer Society Specialist Group on Expert System, Cambridge, England, December 1998.
- [6] Dhanabalan T, Parthasarathi R, Geetha TV. “Tamil Spell Checker” Tamil Internet, Chennai, India 2003.
- [7] Murata M, Utiyama M, Uchimoto K, Ma Q, Isahara H. “Correction of Errors in a Modality Corpus Used for Machine Translation Using Machine-learning”. Japan Communications Research Laboratory, Kyoto, Japan, 2001.
- [8] Cakiroglu U, Ozyurt, O. “Türkçe Metinlerdeki Yazım Yanlışlarına Yönelik Otomatik Düzeltme Modeli”, Eleco, Bursa, Türkiye, 7-9 Haziran 2016.
- [9] Zemberek. “Ağaç Performansı ve Kök Seçiciler”. http://zembereknlp.blogspot.com/2007/04/zemberek-nasl-alr-2aa-performans-ve-kk.html (15.04.20189).
- [10] Akgul O. “Türkçe Kelimelerin Morfolojik Analizi”. https://akgulomer.wordpress.com/2011/01/23/turkce-kelimelerin-morfolojik-analizi/ (13.04.2019).