Тест, свързан с ръководство · трудно Ниво

RWKV Линеен тест за внимание

Разгледайте вратата за приемане на RWKV, затихването във времето, повтарянето на ключ/стойност, състоянието с постоянен размер и подобна на Transformer форма за паралелно обучение.

Свързани ръководни пътекиRwkv Линейно внимание
Въпрос 1 на 8

Какво е заглавието на RWKV?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Какво е заглавието на RWKV?
    • Той се обучава като Transformer, но изпълнява извод като RNN
    • Може да се тренира само върху изображения
    • Изисква квадратичен кеш ключ-стойност
    • Изобщо не може да се прави паралел
  2. Какво означават буквите в RWKV?
    • Четете, пишете, пазете, проверявайте
    • Получаване, тегло, ключ, стойност
    • Повтарящ се, широк, ядро, вектор
    • Случаен, претеглен, знание, вариация
  3. Как RWKV поддържа паметта постоянна по време на генериране?
    • Чрез изтриване на теглата на модела
    • Като съхранява всеки токен на диск
    • Чрез пренасяне на малко скрито състояние с фиксиран размер напред вместо нарастващ кеш
    • Чрез ограничаване на изходите до десет токена
  4. Каква роля играе теглото на затихване във времето (W)?
    • Той определя скоростта на обучение
    • Той отчита броя на токените
    • Той избира изходния език
    • Той контролира колко бързо по-старата информация губи влияние
  5. В сравнение с softmax вниманието, какво избягва повторението на линейното внимание на RWKV?
    • Квадратното сравнение на токени с всички двойки
    • Всяко използване на ключове и стойности
    • Необходимостта от вграждане
    • Използването на невронни мрежи
  6. Защо RWKV е особено подходящ за генериране на стрийминг?
    • Тъй като трябва да види целия вход преди всеки изход
    • Тъй като всеки нов токен зависи само от предишното състояние с фиксиран размер
    • Защото не може да генерира текст
    • Тъй като се нуждае от GPU клъстер за всеки токен
  7. In the guide’s RWKV description, what does the receptance gate control?
    • How many image patches are generated
    • The size of the model vocabulary
    • How much of the accumulated state is read out
    • The amount of GPU memory available
  8. What training property does RWKV retain from Transformers?
    • Full quadratic key-value caching at inference
    • A separate generator and discriminator
    • A fixed top-k token router in every layer
    • Parallelizable training across sequence positions