構造化プルーニングとレイヤードロップに関するクイズ

クイズに答えると、答えと解説が表示されます。

1. 非構造化プルーニングでは速度が向上しないことが多いのに、構造化プルーニングでは実際の速度が向上するのはなぜですか?
   • 構造化枝刈りにより、実際にテンソルを縮小するコヒーレントなブロックが削除されます
   • 非構造化枝刈りによりモデルのサイズが増加する
   • 構造化プルーニングによりさらにレイヤーが追加されます
   • 非構造化プルーニングは CPU でのみ機能します
2. トランスフォーマーの文脈における「レイヤードロップ」とは何ですか?
   • 層ごとの学習率を下げる
   • トランス ブロック全体を削除してモデルの深さを減らす
   • すべてのレイヤーにドロップアウトを追加する
   • レイヤーをランダムに並べ替える
3. 変圧器層を安全にドロップできることを一般的に示す信号はどれですか?
   • レイヤーには最も多くのパラメーターがあります
   • この層はネットワーク内の最初の層です
   • レイヤーの入力と出力の隠れ状態は非常に似ています。
   • レイヤーが最も多くのメモリを使用します
4. 構造化プルーニング後に精度を回復するのは通常どのステップですか?
   • バッチサイズのみを増やす
   • 16ビットへの再量子化
   • さらに注目を集める
   • 短いラウンドの微調整または知識の抽出
5. 個々の注目のヘッドは、剪定の対象としてどのようにランク付けされることが多いですか?
   • ヘッドマスク時の損失増加による（感度）
   • アルファベット順
   • 語彙における位置によって
   • 見たトークンの数による
6. 構造化剪定と蒸留を組み合わせた主な実際の用途は何ですか?
   • トレーニングデータを自動生成する
   • 1 つの大きなチェックポイントから、より小型で高速なモデルのファミリーを導出する
   • モデルの重みの暗号化
   • コンテキストウィンドウの長さを増やす
7. Why can a smaller student recover some function of a pruned model during distillation?
   • It restores the deleted weights in place
   • It changes the test labels
   • It is trained to match useful outputs or behavior of the larger teacher
   • It removes the need for validation
8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
   • The layer is guaranteed to be useless for every task
   • The model must add another layer
   • The output has no features
   • The layer changed the representation relatively little and may be a candidate for dropping