Attention is all you need

Bu makale, makine çevirisi gibi görevlerde kullanılan tekrarlayan ve evrişimli ağlara bir alternatif olarak yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Transformer modeli, paralelleştirme potansiyelini artırırken, daha az sürede daha iyi sonuçlar elde etmeyi sağlamaktadır. Dikkat mekanizmaları, modelin girdinin farklı bölümlerine odaklanmasını sağlayarak uzun mesafeli bağımlılıkları daha iyi yakalamasına olanak tanır.