Вікторина, пов’язана з посібником · важко Рівень
Лінійна вікторина RWKV
Ознайомтеся з шлюзом приймання RWKV, загасанням у часі, повторенням ключа/значення, станом постійного розміру та формою паралельного навчання, подібною до трансформатора.
Питання 1 з 8
Яка властивість заголовка RWKV?
Перегляньте кожне запитання8 запитання
Відповіді та пояснення з’являються під час виконання тесту.
- Яка властивість заголовка RWKV?
- Він навчається як Transformer, але виконує висновки як RNN
- Його можна тренувати лише на зображеннях
- Для цього потрібен квадратичний кеш ключ-значення
- Це взагалі не можна паралелізувати
- Що означають літери в RWKV?
- Читати, писати, зберігати, перевіряти
- Отримання, вага, ключ, вартість
- Рекурентний, широкий, ядро, вектор
- Випадкові, зважені, знання, варіації
- Як RWKV підтримує постійну пам'ять під час генерації?
- Видалення ваг моделі
- Зберігаючи кожен маркер на диску
- Перенесенням невеликого прихованого стану фіксованого розміру вперед замість зростаючого кешу
- Обмежуючи виходи до десяти токенів
- Яку роль відіграє вага розпаду з часом (W)?
- Він встановлює швидкість навчання
- Він підраховує кількість жетонів
- Він вибирає мову виводу
- Він контролює, як швидко старіша інформація втрачає вплив
- Порівняно з softmax увагою, чого уникає повторення лінійної уваги RWKV?
- Квадратичне порівняння всіх пар токенів
- Будь-яке використання ключів і значень
- Необхідність вставок
- Використання нейронних мереж
- Чому RWKV особливо добре підходить для генерації потокового передавання?
- Тому що він повинен бачити весь вхід перед будь-яким виходом
- Оскільки кожен новий токен залежить лише від попереднього стану фіксованого розміру
- Тому що він не може генерувати текст
- Оскільки для кожного токена потрібен кластер GPU
- In the guide’s RWKV description, what does the receptance gate control?
- How many image patches are generated
- The size of the model vocabulary
- How much of the accumulated state is read out
- The amount of GPU memory available
- What training property does RWKV retain from Transformers?
- Full quadratic key-value caching at inference
- A separate generator and discriminator
- A fixed top-k token router in every layer
- Parallelizable training across sequence positions