Attention is all you need

Bu makale, makine çevirisi gibi görevlerde kullanılan ve dikkat mekanizmalarına dayanan yeni bir ağ mimarisi olan Transformer'ı sunmaktadır. Geleneksel tekrar eden veya evrişimli ağlardan farklı olarak, Transformer, tüm girdi ve çıktı arasındaki ilişkileri doğrudan modelleyerek paralelleştirmeyi mümkün kılar ve performansı artırır. Dikkat mekanizmaları, modelin girdinin farklı kısımlarına odaklanmasını sağlayarak uzun menzilli bağımlılıkları etkili bir şekilde yakalamasına olanak tanır. Transformer mimarisi, çeşitli görevlerde üstün sonuçlar elde ederek doğal dil işlemede devrim yaratmıştır.