Attention is All You Need

Bu makale, makine çevirisi gibi görevlerde yaygın olarak kullanılan tekrar eden ağlara ve evrişimli ağlara bir alternatif olan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Transformer, yalnızca dikkat mekanizmalarına dayanarak girdi ve çıktı arasındaki küresel bağımlılıkları modellemektedir. Makalede, Transformer'ın paralel hale getirilebileceği ve daha az eğitim süresi gerektirdiği gösterilmektedir. İngilizce-Almanca ve İngilizce-Fransızca çeviri görevlerinde üstün sonuçlar elde edilmiştir.