A THEORETICAL INVESTIGATION ON TRAINING OF PIPE-LIKE NEURAL NETWORK BENCHMARK ARCHITECTURES AND PERFORMANCE COMPARISONS OF POPULAR TRAINING ALGORITHMS

Authors : Özlem İMİK ŞİMŞEK, Barış Baykant ALAGÖZ

Pages : 1251-1271

Doi:10.21923/jesd.1104772

View : 11 | Download : 7

Publication Date : 2022-12-30

Article Type : Research Paper

Abstract :Sinir ağlarının mimarileri, yapay sinir ağlarının eğitim performansını etkiler. Eğitim algoritmalarının daha tutarlı performans değerlendirmesi için eğitimi zor kıyaslama mimarileri kullanılmalıdır. Bu çalışma, boru-benzeri mimari olarak adlandırılan bir referans sinir ağı mimarisini tanıtmakta ve popüler Sinir Ağı Geriyeyayılım Algoritmaları insert ignore into journalissuearticles values(SAGA); ve iyi bilinen Metasezgisel Arama Algoritmalarının insert ignore into journalissuearticles values(MAA); eğitim performansı analizlerini sunmaktadır. Boru-benzeri sinir mimarileri, temelde bir derin sinir ağının uzunlamasına bir kesitini temsil eder ve öğrenme süreci için bir daraltılmış uzun darboğaz oluşturur. Bu nedenle, uzun boru-benzeri ağ boyunca parametre güncellemelerinin geriye doğru yayılmasında gradyan kaybolma problemleri ve büyük eğitim gecikmelerine neden olarak eğitim sürecini önemli ölçüde zorlaştırır. Bu çalışmada boru-benzeri mimarilerin eğitim zorlukları birleştirilmiş tek-nöron öğrenme kanalları konjektörüne göre ağırlık güncellemelerinin üst sınırı dikkate alınarak teorik olarak gösterilmiştir. Bu analizler aynı zamanda Baldi ve arkadaşlarının sinir ağlarının öğrenme kanalı teoremine pratik açıdan da katkıda bulunmaktadır. Popüler NNBA ve MSA algoritmalarının eğitim deneyleri, bir biyolojik veri seti kullanılarak boru benzeri kıyaslama mimarisinde gerçekleştirmiştir. Ayrıca, eğitim algoritmalarının genel performansının ölçüt tabanlı değerlendirmesi için Normalleştirilmiş Genel Performans Puanlaması insert ignore into journalissuearticles values(NGPP); uygulanmıştır.
Keywords : Yapay Sinir Ağları, Ağ Mimarileri, Eğitim Performansı, Geriyeyayılım Algoritmaları, Metasezgisel Eğitim