Adam: A Method for Stochastic Optimization

Bu makale, varyasyonel çıkarım kullanarak derin öğrenme modellerini eğitmek için kullanılan "Adam" optimizasyon algoritmasını sunmaktadır. Adam, hem adaptif öğrenme oranlarını hem de momentumu birleştirerek, farklı parametreler için öğrenme hızlarını ayrı ayrı ayarlayarak ve gradyanların hareketli ortalamalarını kullanarak eğitimi hızlandırır ve daha iyi sonuçlar elde etmeyi sağlar. Bu yöntem, karmaşık veri kümeleri üzerinde yüksek performans gösterir ve geniş bir uygulama yelpazesine sahiptir.