Attention Is All You Need

Bu makale, özellikle makine çevirisi görevlerinde kullanılan, dikkat mekanizmalarına dayalı yeni bir ağ mimarisi olan Transformer'ı sunmaktadır. Geleneksel yinelemeli veya evrişimli ağların aksine, Transformer, girdi ve çıktı arasındaki ilişkileri modellemek için tamamen dikkat mekanizmalarına dayanır. Bu sayede paralelleştirme imkanı artar ve daha iyi performans elde edilir.