Attention is All You Need
"x.ai" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, makine çevirisi için yaygın olarak kullanılan tekrar eden ağlar ve evrişimli ağlar yerine yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Dikkat mekanizması, bir dizideki kelimeler arasındaki bağımlılıkları modelleyerek paralelleştirmeye olanak tanır ve önemli performans iyileştirmeleri sağlar. Deneyler, Transformer modelinin çeviri kalitesinde daha iyi sonuçlar elde ettiğini ve daha fazla paralelleştirme özelliği sayesinde eğitim süresini önemli ölçüde azalttığını göstermektedir. Bu çalışma, doğal dil işleme görevlerinde dikkat mekanizmalarının kullanımında önemli bir ilerleme sunmaktadır.