Attention is All You Need

Bu makale, özellikle makine çevirisi görevlerinde, yinelemeli veya evrişimli katmanlara olan ihtiyacı tamamen ortadan kaldıran ve yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Dikkat mekanizmaları, giriş ve çıkış arasındaki bağımlılıkları, mesafelerinden bağımsız olarak modellemeyi amaçlar. Transformer modeli, paralelleştirme potansiyelini artırırken, öğrenme süresini önemli ölçüde azaltır ve makine çevirisi görevlerinde üstün sonuçlar elde eder.