Útmutatóhoz kapcsolódó kvíz · Kemény Szint

Lineáris figyelem és előadói kernelek kvíz

Ellenőrzi a softmax figyelem szekvenciaköltségét, asszociatív átrendezését, FAVOR+ kernel közelítését, véletlenszerű jellemzőit és lineáris összetettségét.

Kapcsolódó útmutató utakLineáris figyelem és előadó kernelek
kérdés 1 -ból 8

Miért skálázódik rosszul a standard softmax figyelem a sorozat hosszával?

Tekintse meg az összes kérdést8 kérdéseket

A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.

  1. Miért skálázódik rosszul a standard softmax figyelem a sorozat hosszával?
    • Ideje és memóriája a sorozat hosszának négyzetével nő
    • Az összes token ábécé szerinti rendezése szükséges
    • Egyszerre csak egy tokent tud feldolgozni
    • Tokenenként külön neurális hálózatra van szüksége
  2. Milyen matematikai tulajdonság teszi lehetővé, hogy a lineáris figyelem elkerülje az n-szer mátrixot?
    • Összeadás kommutativitása
    • A mátrixszorzás asszociativitása
    • A softmax eloszlási törvénye
    • Sajátérték-bontás
  3. Mihez közelít a Performer's FAVOR+ mechanizmus?
    • Gradiens süllyedés frissítések
    • A tokenizáló szókincs
    • A softmax figyelmi kernel
    • Réteg normalizálási statisztikák
  4. Miért használ a Performer pozitív véletlenszerű jellemzőket a korábbi trigonometrikus jellemzők helyett?
    • Csak CPU-n futnak gyorsabban
    • Megszüntetik a véletlenszerűség szükségességét
    • Teljes mértékben értelmezhetővé teszik a modellt
    • Nem negatív figyelemsúlyt garantálnak és javítják a numerikus stabilitást
  5. Mekkora az Előadó-stílusú lineáris figyelem hozzávetőleges összetettsége n sorozathosszban?
    • O(n)
    • O(n^2)
    • O(n log n)
    • O(2^n)
  6. Mi a közös korlátja a tiszta lineáris figyelemnek a teljes softmax figyelemhez képest?
    • GPU-n nem fut
    • Gyakran valamivel alacsonyabb modellezési minőséget ér el
    • Csak képeknél működik
    • Minden tokenhez címkézett adat szükséges
  7. A phi(Q)(phi(K)^T V-ként írt figyelem esetében melyik szorzást lehet először elvégezni, hogy elkerüljük az n-szeres mátrix létrehozását?
    • Számítsa ki a QK^T-t, és tároljon el minden páronkénti pontszámot
    • Először alkalmazza a softmax-ot a teljes n-szer mátrixra
    • Számítsa ki phi(K)^T V értékét, mielőtt megszorozza phi(Q)-val
    • Szorozzuk meg a végső kimenetet a sorozat hosszával
  8. Milyen előnyökkel jár az ortogonális véletlenszerű jellemzők használata a Performer's FAVOR+ közelítésben?
    • Pontos softmax-ot garantál minden sorozathoz
    • Szükségtelenné teszi a lekérdezéseket és a kulcsvektorokat
    • Kvadratikussá teszi a figyelmet a sorozat hosszában
    • Csökkenti a véletlenszerű becslés varianciáját