ガイド連動クイズ · 中 レベル

ALiBi 位置バイアス クイズ

ALiBi がどのように距離ベースの注意バイアスを追加し、学習された絶対位置テーブルを使用せずに長い推論シーケンスをサポートするかを確認してください。

関連するガイドパスアリバイ位置のバイアス
質問 1 の 8

ALiBiって何の略ですか？

すべての質問をプレビューする8 質問

クイズに答えると、答えと解説が表示されます。

  1. ALiBiって何の略ですか？
    • 線形バイアスによる注意
    • 適応型線形バイアス
    • アライメントされた双方向エンコーディング
    • 絶対線形インデックス作成
  2. ALiBi は遠隔トークンにどのようにペナルティを与えるのでしょうか?
    • 固定ウィンドウを超えて埋め込みをゼロにすることによって
    • クエリ位置とキー位置の間の距離に比例したペナルティを追加することによって
    • 位置ごとに個別のエンベディングを学習することで
    • クエリとキー ベクトルを回転することによって
  3. ALiBi の最も有名な実用的な利点は何ですか?
    • ソフトマックスが不要になります
    • 常に記憶に注意を向けさせます
    • トレーニングで見られたシーケンスよりも長いシーケンスをうまく推定します。
    • 複数のアテンションヘッドが不要になります
  4. アテンションヘッド間の線形バイアスの違いは何ですか?
    • 各ヘッドはまったく同じ傾斜を共有します
    • 坂道はトレーニング中に学びます
    • 最初のヘッドのみがバイアスを受けます
    • 各ヘッドには独自の固定傾斜があり、幾何学的シーケンスを形成します。
  5. 従来の位置埋め込みと比較して、ALiBi は学習済みパラメータをいくつ追加しますか?
    • なし - バイアスの傾きは固定されており、学習されません。
    • ポジションごとに 1 つ
    • トークンごとに 1 つ
    • アテンションヘッドごとに 2 つ
  6. ALiBi を位置情報に使用した有名な大型モデルはどれですか?
    • GPT-2
    • ブルーム
    • バート
    • Word2Vec
  7. At what stage does ALiBi apply its distance-based bias?
    • To token IDs before they enter the embedding table
    • To the final vocabulary probabilities after decoding
    • To query-key attention scores before the softmax
    • To the training labels after loss calculation
  8. Why can ALiBi support inference on sequences longer than those used in training?
    • It removes the need for attention at longer lengths
    • It automatically retrains the model while generating
    • It stores a complete answer for every possible sequence length
    • Its distance-based bias does not require a separately learned embedding for every absolute position