Вікторина, пов’язана з посібником · Середній Рівень

Тест щодо структурованого обрізання та видалення шару

Перевіряє, чому структуроване скорочення прискорює висновок, як оцінюється важливість шару та як точне налаштування чи дистиляція відновлюють якість.

Пов'язані напрямні шляхиСтруктуроване обрізання та скидання шару
Питання 1 з 8

Чому структуроване скорочення забезпечує реальне прискорення, тоді як неструктуроване скорочення часто ні?

Перегляньте кожне запитання8 запитання

Відповіді та пояснення з’являються під час виконання тесту.

  1. Чому структуроване скорочення забезпечує реальне прискорення, тоді як неструктуроване скорочення часто ні?
    • Структуроване скорочення видаляє когерентні блоки, які фактично зменшують тензори
    • Неструктуроване обрізання збільшує розмір моделі
    • Структуроване обрізання додає більше шарів
    • Неструктуроване скорочення працює лише на ЦП
  2. Що таке «зниження рівня» в контексті трансформаторів?
    • Зменшення швидкості навчання на шар
    • Видалення цілих трансформаторних блоків для зменшення глибини моделі
    • Додавання випадання до кожного шару
    • Перевпорядкування шарів випадковим чином
  3. Який сигнал зазвичай вказує на те, що шар трансформатора можна безпечно скинути?
    • Шар має найбільше параметрів
    • Шар є першим у мережі
    • Вхідні та вихідні приховані стани шару дуже схожі
    • Цей шар використовує найбільше пам’яті
  4. Який крок зазвичай відновлює точність після структурованого скорочення?
    • Лише збільшення розміру партії
    • Повторне квантування до 16 біт
    • Додавання більше уваги голови
    • Короткий раунд тонкого налаштування або дистиляції знань
  5. Як часто класифікуються індивідуальні головки для обрізки?
    • За збільшенням втрати при маскуванні голови (чутливість)
    • За алфавітом
    • За своїм положенням у словнику
    • За кількістю жетонів, які вони побачили
  6. Яке основне практичне застосування структурованої обрізки в поєднанні з дистиляцією?
    • Автоматичне генерування навчальних даних
    • Виведення сімейства менших, швидших моделей з однієї великої контрольної точки
    • Шифрування ваг моделі
    • Збільшення довжини контекстного вікна
  7. Why can a smaller student recover some function of a pruned model during distillation?
    • It restores the deleted weights in place
    • It changes the test labels
    • It is trained to match useful outputs or behavior of the larger teacher
    • It removes the need for validation
  8. If a transformer layer’s input and output have high cosine similarity, what does that suggest under the guide’s pruning heuristic?
    • The layer is guaranteed to be useless for every task
    • The model must add another layer
    • The output has no features
    • The layer changed the representation relatively little and may be a candidate for dropping