Attention is All You Need

Bu makale, geleneksel tekrar eden veya evrişimli ağları tamamen ortadan kaldıran ve yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Makine çevirisi görevlerinde test edilen model, daha hızlı eğitilirken ve daha az veri gerektirirken üstün sonuçlar elde etmektedir. Dikkat mekanizmaları, bir dizideki kelimeler arasındaki ilişkileri dinamik olarak modelleyerek, uzun mesafeli bağımlılıkları daha etkili bir şekilde yakalamayı sağlar.