Attention is All You Need

Bu makale, geleneksel yinelemeli veya evrişimli ağları tamamen ortadan kaldıran ve yalnızca dikkat mekanizmalarına dayanan yeni ve basit bir ağ mimarisi olan Transformer'ı sunmaktadır. Transformer, makine çevirisi görevlerinde üstün performans göstererek, paralelleştirme potansiyelini artırır ve eğitim süresini önemli ölçüde azaltır. Dikkat mekanizmaları sayesinde, model girdi dizisinin farklı parçaları arasındaki ilişkileri daha iyi yakalar, bu da özellikle uzun dizilerde daha iyi sonuçlar sağlar.