Sequence-to-Sequence Video Captioning with Residual Connected Gated Recurrent Units

Authors : Selman AYDIN, Özkan ÇAYLI, Volkan KILIÇ, Aytuğ ONAN

Pages : 380-386

Doi:10.31590/ejosat.1071835

View : 17 | Download : 8

Publication Date : 2022-05-07

Article Type : Research Paper

Abstract :Tekrarlayan sinir ağları, son zamanlarda bilgisayarla görme ve görüntü ve video altyazısı gibi dil modelleme görevlerinde kullanışlı bir araç olarak ortaya çıkmıştır. Bu ağların ana sınırlaması, ağ derinleştikçe gradyan akışını korumaktır. Bu sınırlamanın üstesinden gelmek ve bilgileri ek özelliklerle katmanlar arasında aşağıdan yukarıya taşıyarak gradyan akışını sürdürmek için artık bağlantıları kullanan bir video altyazı yaklaşımı öneriyoruz. MSVD veri seti üzerindeki deneysel değerlendirmeler, önerilen yaklaşımın en son teknoloji sonuçlarla karşılaştırıldığında doğru altyazı oluşturmayı başardığını göstermektedir. Ek olarak, önerilen yaklaşım, internet bağlantısı olmadan altyazı oluşturabilen özel olarak tasarlanmış Android uygulamamız WeCapV2 ile entegre edilmiştir.
Keywords : Evrişimsel Sinir Ağı, Kapılı Tekrarlayan Birim, Artık Bağlantılar, Video Altyazılama, Android Uygulama