Attention is All You Need
"Perplexity AI" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, geleneksel yinelemeli veya evrişimli ağlara güvenmek yerine, yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Bu mimari, makine çevirisi görevlerinde daha hızlı eğitilebilir ve daha yüksek doğruluk elde edilebilir. Dikkat mekanizmaları, modelin giriş dizisindeki farklı kelimeler arasındaki ilişkilere odaklanmasını sağlayarak, uzun mesafeli bağımlılıkları daha etkili bir şekilde modellemesine olanak tanır.