ALiBi 位置バイアス

It lets a model trained on short text handle much longer inputs at inference time.

トランスフォーマーには語順の概念が組み込まれていないため、位置をエンコードする方法が必要です。古典的なアプローチでは、トークン ベクトルに位置埋め込みを追加します。 2021年にPress、Smith、Lewisによって導入されたALiBiは、それらを完全に放棄します。代わりに、アテンション スコアを直接微調整します。クエリ トークンがキー トークンを参照すると、ALiBi はそれらの間の距離に比例したペナルティを減算します。遠く離れたトークンはより大きなペナルティを受けるため、モデルは当然近くのコンテキストを優先します。各アテンション ヘッドには独自の固定ペナルティ スロープが与えられるため、一部のヘッドは局所的に見る一方、他のヘッドはより遠くを見ることになります。バイアスは距離の関数にすぎないため、ALiBi はトレーニングで見られたシーケンスよりもはるかに長いシーケンスを適切に外挿します。