Attention is All You Need
"Sourcegraph Cody" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, geleneksel yinelemeli veya evrişimli ağları tamamen ortadan kaldıran ve yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Makine çevirisi görevlerinde yapılan deneyler, bu modelin paralelleştirilebilirken daha az eğitim süresiyle daha üstün kalitede sonuçlar elde ettiğini göstermektedir. Dikkat mekanizmaları, girdi ve çıktı arasındaki bağımlılıkları, mesafelerinden bağımsız olarak modelleyerek performansı artırır.