Otomatik Konuşma Tanıma Sistemlerinde Kullanılan Gerçek Metin Verisinde Biçimbilimsel-Sözdizimsel Hataların Tespiti ve Düzeltmesi

Abstract

Türkçe Otomatik Konuşma Tanıma (ASR: Automatic Speech Recognition) sistemlerinde kullanılan akustik model gürbüz bir dil modeli ile desteklenmediği durumlarda kelime hata oranı yüksek çıkmaktadır. İyi dizayn edilmiş bir dil modeli ile akustik modelin birlikte ASR’de kullanılması kelime hata oranını düşürmektedir. ASR için gerekli dil modelinin eğitiminde düz metin verisi kullanılmaktadır. Kullanılan metin verisinin doğruluğu ASR modellerinin eğitimi için oldukça önemlidir. Bu çalışmada, doğal dil işlemeye dayalı bir yöntem kullanılarak Türkçe ASR sisteminin eğitilmesinde kullanılan metin verisi içerisindeki yazım hatalarının tespiti ve düzeltilmesi gerçekleştirilmiştir. Öncelikle metin verisi içerisinde dil bilgisel olarak yanlış yazılmış olan kelimeler bulunmuştur. Bir kelimedeki karakter eksikliği, karakter fazlalığı, karakterlerin yer değiştirmesi veya karakteri yanlış yazılmış olan kelimeler hatalı olarak kabul edilmiştir. Metin verisi içerisinde hatalı olarak kabul edilen kelimeler morfolojik analiz ile tespit edilmiştir. Yanlış kelimelerin yerine atanacak olan kelimeler belirlenmiştir. Yanlış yazılmış olan kelimeler doğru kelimeler ile değiştirilmiştir. Gerçekleştirilen çalışma hatalı kelimeleri tespit etme ve doğru kelimeler ile yer değiştirme işleminde %93 oranında başarı göstermiştir.

Keywords

• Konuşma Tanıma,Doğal Dil İşleme,Düz Metin Hataları,Gramatik Kelime Hatası

References

1. [1] Delibas A. “Doğal Dil İşleme İle Türkçe Yazım Hatalarının Denetlenmesi”. Yüksek Lisans Tezi, İstanbul Teknik Üniversitesi, Bilgisayar Mühendisliği, İstanbul, Türkiye, 2008 .
2. [2] Starlander M, Popescu-Belis A. “Corpus-based Evaluation of A French Spelling and Grammer Checker”. Third International Conference On Language Resources And Evaluation, Las Palmas, Canary Islands, Spain, 29 -31 May 2002.
3. [3] Gabriele K. “A Word Analysis System for German Hyphenation Full Text Search and Spell Checking with Regard to the Latest Reform of German Orthography” Institute of Computer Graphics, Algorithms and Data Structures Group, Vienna University of Technology, Vienna, Austria, 2011.
4. [4] Dembitz S, Knezevich P, Sokele M. “Developing A Spell Checker As An Expert System” Journal of Computing and Information Technology, 1(4), 285- 291, 2004.
5. [5] Dembitz S, Knezevich P, Sokele M. “Hascheck – the Croatian Academic Spelling Checker” 18th Annual International Conference of The British Computer Society Specialist Group on Expert System, Cambridge, England, December 1998.
6. [6] Dhanabalan T, Parthasarathi R, Geetha TV. “Tamil Spell Checker” Tamil Internet, Chennai, India 2003.
7. [7] Murata M, Utiyama M, Uchimoto K, Ma Q, Isahara H. “Correction of Errors in a Modality Corpus Used for Machine Translation Using Machine-learning”. Japan Communications Research Laboratory, Kyoto, Japan, 2001.
8. [8] Cakiroglu U, Ozyurt, O. “Türkçe Metinlerdeki Yazım Yanlışlarına Yönelik Otomatik Düzeltme Modeli”, Eleco, Bursa, Türkiye, 7-9 Haziran 2016.

9. [9] Zemberek. “Ağaç Performansı ve Kök Seçiciler”. http://zembereknlp.blogspot.com/2007/04/zemberek-nasl-alr-2aa-performans-ve-kk.html (15.04.20189).
10. [10] Akgul O. “Türkçe Kelimelerin Morfolojik Analizi”. https://akgulomer.wordpress.com/2011/01/23/turkce-kelimelerin-morfolojik-analizi/ (13.04.2019).