Attention is all you need

Bu makale, dizisel verileri işlemekte kullanılan tekrar eden ağlar ve evrişimli ağlar yerine, dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Transformer modeli, makine çevirisi görevlerinde üstün performans göstermiş ve paralel hesaplama imkanı sunarak eğitim sürelerini önemli ölçüde azaltmıştır. Dikkat mekanizmaları, modelin giriş dizisinin farklı kısımlarına odaklanmasını sağlayarak uzun mesafeli bağımlılıkları etkili bir şekilde yakalamasına olanak tanır.