注意メカニズム

2017 年の「Attending Is All You Need」の論文では、繰り返しではなく注意を中心に構築されたトランスフォーマー アーキテクチャが紹介されています。アテンションは、クエリ、キー、値を通じて説明できます。クエリはキーと比較されてスコアが生成され、正規化された重みによって対応する値ベクトルが結合されます。セルフアテンションは同じシーケンスからの表現を使用しますが、クロスアテンションは別のエンコードされたシーケンスからキーと値を取得できます。許可される位置は重要です。因果デコーダ マスクは、自己回帰トレーニングまたは生成中に位置が将来の位置を使用するのを防ぎます。したがって、すべてのセルフアテンション層が常に制限なくすべてのトークンを読み取るというのは不正確です。スケーリングされたドット積アテンションは、ソフトマックスの前に、クエリ キーのドット積をキー ディメンションの平方根で除算します。このスケーリングは、論文の仮定の下でスコアの大きさが次元とともにどのように増加するかを示します。 Softmax は、許可された位置に対して正規化された重みを生成し、重み付けされた値の合計がアテンション出力になります。単純なスカラー図では、重みが 4 分の 3 と 4 分の 1 である値 2 と 6 が結合されて 3 になります。マルチヘッド アテンションは、出力を組み合わせる前に、いくつかの学習された投影とアテンション操作を実行します。これは、すべてのヘッドが人間が判読できる固有の意味論的役割を持つことを保証することなく、さまざまな関係や部分空間を表現する能力を提供します。高密度の完全な注意には、シーケンスの長さに応じて二次関数的にスケールされるペアごとの相互作用が含まれます。効率的な実装と代替の注意パターンにより、さまざまなコストに対処できます。そのメリットを評価するには、特定のワークロードを測定する必要があります。