Тест, свързан с ръководство · Среден Ниво

Тест за модели на оскъдно внимание

Сравнете локални, разширени, произволни и глобални връзки с рядко внимание и как оптимизираните ядра пропускат неизползваните записи при обработка на дълги входове.

Свързани ръководни пътекиМодели на оскъдно внимание
Въпрос 1 на 8

Защо пълното самовнимание е скъпо при дълги поредици?

Визуализирайте всеки въпрос8 въпроси

Отговорите и обясненията се появяват, докато отговаряте на теста.

  1. Защо пълното самовнимание е скъпо при дълги поредици?
    • Цената му расте с квадрата на дължината на последователността
    • Не може да използва GPU
    • Работи само с кратки думи
    • Изобщо не изисква памет
  2. Какво е (локално) внимание с плъзгащ се прозорец?
    • Всеки токен се отнася до произволна база данни
    • Всеки токен се грижи само за близките си съседи
    • Токените никога не се занимават с нищо
    • Всеки жетон се грижи за всички жетони два пъти
  3. Каква е целта на „глобалните токени“ при оскъдно внимание?
    • За забавяне на модела
    • За съхраняване на изображения
    • Да действат като центрове, които се грижат за всичко и на които всичко се грижи
    • За заместване на речника
  4. Кой модел доказа, че комбинирането на случайно, прозорец и глобално внимание запазва пълната изразителност на вниманието?
    • ResNet
    • Word2Vec
    • AlexNet
    • BigBird
  5. Приблизително как се мащабира броят на връзките в добре проектираното рядко внимание?
    • Приблизително линейно с дължина на последователността
    • Квадратно с дължина на последователност
    • Не зависи от дължината
    • Експоненциално с дължина на последователността
  6. What do strided or dilated sparse-attention patterns allow?
    • Изчислява ги и след това ги нулира
    • Skip ahead to reach distant context with fewer attention links
    • Изпраща ги на друг сървър
    • Съхранява ги постоянно
  7. How does Longformer combine local and global attention?
    • Every token attends to every other token
    • Only random edges are allowed
    • Most tokens use a sliding local window, while selected global tokens connect across the sequence
    • Each token attends only to the final token
  8. What is the goal of learned, content-based sparse attention?
    • A full dense connection to every token
    • A rule for removing all future tokens
    • A learned vocabulary for each attention head
    • Avoid spending attention compute and memory on content unrelated to the current query