Attention is All You Need
"ChatGPT" aracının arkasındaki bilimsel makalenin özeti.
Bu makale, geleneksel yinelemeli veya evrişimli ağlara dayanmak yerine, yalnızca dikkat mekanizmalarına dayanan yeni bir basit ağ mimarisi olan Transformer'ı sunmaktadır. Transformer modeli, makine çevirisi görevlerinde üstün performans göstermiş ve paralel hesaplama imkanı sunarak eğitim sürelerini önemli ölçüde azaltmıştır. Dikkat mekanizmaları, modelin girdi dizisindeki farklı kelimeler arasındaki ilişkileri ağırlıklandırarak, daha etkili bir şekilde anlamasına olanak tanır.