Attention is All You Need

Bu makale, geleneksel yinelemeli veya evrişimli sinir ağları yerine, yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Makine çevirisi görevlerinde, bu model paralelleştirilebilirliği artırırken, daha az eğitim süresiyle daha iyi sonuçlar elde etmeyi sağlamıştır. Dikkat mekanizması, modelin girdi dizisindeki farklı kelimeler arasındaki ilişkileri öğrenmesini sağlayarak, uzun mesafeli bağımlılıkları daha etkili bir şekilde yakalamasına olanak tanır.