Identification of OOV words in Turkish texts

Authors : Enis ARSLAN, Umut ORHAN

Pages : 35-48

View : 15 | Download : 9

Publication Date : 2019-10-31

Article Type : Research Paper

Abstract :Bu çalışmada, Türkçe metinler için sözlük dışı kelime (SDK) tespiti yapabilen anlamsal bir çizge ağı modeli sunulmuştur. Doğal dil işleme (DDİ) alanında, biçimbirimsel çözümleyiciler, kelime analizi esnasında bilinmeyen kelime (BK)’lerle karşılaşabilmektedirler. Bu durum daha çok, bu tip araçların çözümleme esnasında aday bulabilmeleri için bir sözlüğe bağımlı oldukları durumlarda oluşmaktadır.  Bazen, bir çözümleyici madde başı adaylarının sözlükte mevcut olmaması sebebiyle hiçbir madde başı adayını bulamamaktadır. Bu durum çözümleme çıktı değerini düşürebilmektedir.  Sözlük dışı kelime (SDK) tespiti için önerilen model, sözlükler için uygun olabilecek sözlük dışı kelimeleri tespit edebilmektedir. Ayrıca çizge veri tabanında birliktelik ilişkileri kullanılarak bir anlamsal alt-ağ oluşturulmuş ve yeni eşdizimliliklerin madde başı olarak önerilecek şekilde keşfedilmesi amacıyla kullanılmıştır.
Keywords : Bilinmeyen kelimeler, Eşdizimlilik, Birliktelik, Sözlük dışı kelimeler