Attention is All You Need
"Google Bard" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, geleneksel yinelemeli veya evrişimli ağlar yerine, yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Transformer, makine çevirisi görevlerinde daha hızlı eğitilebilir ve daha yüksek doğruluk elde edebilir. Dikkat mekanizmaları, modelin girdinin farklı bölümlerine odaklanmasını sağlayarak, uzun mesafeli bağımlılıkları daha iyi yakalamasına olanak tanır.