Attention is All You Need
"Gamma App" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, geleneksel yinelemeli veya evrişimli sinir ağlarına dayanmak yerine, girdi ve çıktı arasındaki bağımlılıkları modellemek için yalnızca dikkat mekanizmalarına dayanan yeni ve basit bir ağ mimarisi olan Transformer'ı sunmaktadır. Bu model, makine çevirisi görevlerinde üstün performans göstermiş ve paralel hesaplama yeteneği sayesinde eğitim sürelerini önemli ölçüde azaltmıştır. Dikkat mekanizmaları, modelin girdinin farklı bölümlerine odaklanmasını sağlayarak, uzun mesafeli bağımlılıkları daha etkili bir şekilde yakalamasına olanak tanır.