Викторина, связанная с руководством · Жесткий Уровень

RWKV Линейный тест на внимание

Изучите приемный вентиль RWKV, затухание по времени, повторение ключа/значения, состояние постоянного размера и форму параллельного обучения, подобную Трансформатору.

Связанные направляющие путиRwkv Линейное внимание
Вопрос 1 из 8

Какова главная особенность RWKV?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Какова главная особенность RWKV?
    • Он обучается как Transformer, но выполняет вывод как RNN.
    • Его можно обучать только на изображениях
    • Требуется квадратичный кеш-значение.
    • Его вообще нельзя распараллелить
  2. Что означают буквы в RWKV?
    • Читайте, записывайте, сохраняйте, проверяйте
    • Приемная способность, вес, ключ, значение
    • Повторяющийся, Широкий, Ядро, Вектор
    • Случайный, Взвешенный, Знание, Вариант
  3. Как RWKV сохраняет память постоянной во время генерации?
    • Удалением весов модели
    • Сохраняя каждый токен на диске
    • Перенос небольшого скрытого состояния фиксированного размера вместо растущего кэша.
    • Ограничив выходы десятью токенами
  4. Какую роль играет вес затухания во времени (W)?
    • Он устанавливает скорость обучения
    • Он подсчитывает количество токенов
    • Он выбирает язык вывода
    • Он контролирует, насколько быстро старая информация теряет влияние.
  5. Чего позволяет избежать повторение линейного внимания RWKV по сравнению с softmax вниманием?
    • Квадратичное сравнение всех пар токенов
    • Любое использование ключей и значений
    • Необходимость вложений
    • Использование нейронных сетей
  6. Почему RWKV особенно хорошо подходит для создания потоковой передачи?
    • Потому что он должен видеть весь ввод перед любым выводом.
    • Потому что каждый новый токен зависит только от предыдущего состояния фиксированного размера.
    • Потому что он не может генерировать текст
    • Потому что для каждого токена нужен кластер графического процессора.
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions