Evaluatıon of DDPG and PPO Algorıthms for Bıpedal Robot Control

Authors : Mustafa Can BINGOL

Pages : 783-791

Doi:10.47495/okufbed.1031976

View : 19 | Download : 9

Publication Date : 2022-07-18

Article Type : Research Paper

Abstract :Bacaklı robotlar, zorlu arazilerde hareket edebilmeleri nedeniyle robotik alanında çalışılan popüler konulardan biridir. Bu çalışmada, ayaklı bir robot olan iki ayaklı bir robotun yürümesi amaçlanmıştır. Bu amaçla sistem incelenmiş ve bir yapay sinir ağı tasarlanmıştır. Daha sonra Derin Deterministik Politika Gradyanı insert ignore into journalissuearticles values(Deep Deterministic Policy Gradient - DDPG); ve Yakınsal Politika Optimizasyonu insert ignore into journalissuearticles values(Proximal Policy Optimization - PPO); algoritmaları kullanılarak sinir ağı eğitilmiştir. Eğitim sürecinden sonra PPO algoritması, DDPG algoritmasına göre daha iyi eğitim performansı oluşturulmuştur. Ayrıca, PPO algoritmasının en iyi gürültü standart sapması araştırılmıştır. Sonuçlar, en iyi sonuçların 0,50 kullanılarak elde edildiğini göstermiştir. Sistem, 0,50 gürültü standart sapmasına sahip PPO algoritmasını eğiten yapay sinir ağları kullanılarak test edilmiştir. Test sonucuna göre toplam ödül 274,334 olarak hesaplanmış ve amaçlanan yapı ile yürüme görevi gerçekleştirilmiştir. Sonuç olarak, mevcut çalışma, iki ayaklı bir robotun kontrol edilmesi ve PPO gürültü standart sapma seçiminin temelini oluşturmuştur.
Keywords : İki Ayaklı Robot, Derin Deterministik Politika Gradyanı, Yakınsal Politika Öğrenme, Pekiştirmeli Öğrenme