Attention is All You Need

Bu makale, makine çevirisi gibi görevlerde yaygın olarak kullanılan tekrar eden ağlar ve evrişimli ağlar yerine, "dikkat" mekanizmasına dayanan yeni ve basit bir ağ mimarisi olan Transformer'ı sunmaktadır. Dikkat mekanizması, modelin dizideki farklı kelimeler arasındaki ilişkilere odaklanmasını sağlayarak, uzun mesafeli bağımlılıkları daha iyi yakalamasına olanak tanır. Transformer, paralel işlemeye izin verir ve üstün performans gösterir.