BERT Modeli`nin Sınıflandırma Doğruluğunun Sıfır-Atış Öğrenmesi ile Artırılması

Authors : Şükrü OZAN, Umut ÖZDİL, Davut Emre TAŞAR, Büşra ARSLAN, Gökçe POLAT

Pages : 99-108

Doi:10.54525/tbbmd.1004781

View : 10 | Download : 5

Publication Date : 2021-12-22

Article Type : Research Paper

Abstract :Bu çalışmada, çevrimiçi reklam platformlarında oluşturulan reklam metinlerinin sektöre göre otomatik olarak sınıflandırılması için Çift Yönlü Kodlayıcı Gösterimleri insert ignore into journalissuearticles values(BERT); modeli kullanılmıştır. Eğitim veri setimiz 44 farklı sektöre ait yaklaşık 101.000 adet, ilgili sektör isimleri ile etiketlenmiş reklam metninden oluşmaktadır. Sınıflandırma başarımının belirli sektörler için düşük olduğu gözlemlenmiştir. Bunun, ilgili eğitim veri setindeki aykırı bazı reklam metinlerinden kaynaklandığı gözlemlenmiştir. Bu sebeple sektör ve reklam metni uygunluğunu otomatik olarak tespit etmek ve veri seti için bir ön işleme gerçekleştirmek amacıyla doğal dil işleme insert ignore into journalissuearticles values(NLP); alanında güncel bir yöntem olan Sıfır-Atış Öğrenmesi yöntemi kullanılmıştır. Bu ön işleme çalışmasından sonra temizlenen veri seti ile tekrardan eğitilen BERT modelinin sınıflandırma başarımının önemli ölçüde arttığı gözlemlenmiştir.
Keywords : Dijital Pazarlama, Reklam Metni, NLP, Metin Sınıflandırma, BERT, Sıfır Atış Öğrenmesi