Exploiting Redundancy to Achieve Lossy Text Compression

Öz

Regardless of the source language, text documents contain significant amount of redundancy. Data compression exploits this redundancy to improve transmission efficiency and/or save storage space. Conventionally, various lossless text compression algorithms have been introduced for critical applications, where any loss after recovery is intolerable. For non-critical applications, i.e. where data loss to some extent is acceptable, one may employ lossy compression to acquire superior efficiency. We use three recent techniques to achieve character-oriented lossy text compression: Letter Mapping (LM), Dropped Vowels (DV), and Replacement of Characters (RC), and use them as a front end anticipating to improve compression performance of conventional compression algorithms. We implement the scheme on English and Turkish sample texts and compare the results. Additionally, we include performance improvement rates for these models when used as a front end to Huffman and Arithmetic Coding algorithms. As for the future work, we propose several ideas to further improve the current performance of each model.

Anahtar Kelimeler

• Lossy text compression, Letter mapping, Dropped vowels, Replacement of characters.

Fazlalıktan Yararlanarak Kayıplı Metin Sıkıştırma Gerçekleştirimi

Öz

Kaynak dil her ne olursa olsun metin dosyaları, kayda değer miktarda tekrar (fazlalık) içerebilmektedir. Veri sıkıştırma, bu fazlalığı kullanarak ileti etkinliğini artırmayı ve bilgi depolama masrafını azaltmayı amaçlar. Geleneksel olarak, kodlanan verinin çözülmesi sırasında kaybın tolere edilemeyeceği kritik uygulamalarda kullanılmak üzere, çok çeşitli kayıpsız sıkıştırma algoritması geliştirilmiştir. Belirli bir dereceye kadar veri kaybının tolere edilebileceği kritik olmayan uygulamalar için, daha iyi etkinlik elde etmek adına, kayıplı sıkıştırma algoritmalarından faydalanılabilir. Bu çalışmada, karakter tabanlı kayıplı sıkıştırma sağlamayı hedefleyen üç yeni teknik - Harf eşleme (LM), düşürülen sesliler (DV), ve karakterlerin değiştirilmesi (RC) modelleri – kullanılarak geleneksel sıkıştırma algoritmalarının performansının iyileştirilmesi öngörülmektedir. Adı geçen modeller İngilizce ve Türkçe örnek metinler üzerinde çalıştırılarak sonuçları karşılaştırılmıştır. Buna ek olarak çalışmada, önerilen modeller Huffman Kodlaması ve Aritmetik Kodlama gibi yaygın olarak kullanılan geleneksel sıkıştırma algoritmalarına ön yüz olarak kullanıldığında kaydedilen performans iyileşme değerleri de yer almaktadır. Makale kapsamında, gelecekteki çalışmayla ilgili olarak, herbir modelin mevcut performansını artırmaya yönelik çeşitli öneriler de sunulmuştur.

Anahtar Kelimeler

• Kayıplı metin sıkıştırma, Harf eşleme, Düşürülen sesliler, Karakterlerin değiştirilmesi.