Útmutatóhoz kapcsolódó kvíz · Kemény Szint
Lineáris figyelem és előadói kernelek kvíz
Ellenőrzi a softmax figyelem szekvenciaköltségét, asszociatív átrendezését, FAVOR+ kernel közelítését, véletlenszerű jellemzőit és lineáris összetettségét.
kérdés 1 -ból 8
Miért skálázódik rosszul a standard softmax figyelem a sorozat hosszával?
Tekintse meg az összes kérdést8 kérdéseket
A válaszok és magyarázatok megjelennek a kvíz kitöltésekor.
- Miért skálázódik rosszul a standard softmax figyelem a sorozat hosszával?
- Ideje és memóriája a sorozat hosszának négyzetével nő
- Az összes token ábécé szerinti rendezése szükséges
- Egyszerre csak egy tokent tud feldolgozni
- Tokenenként külön neurális hálózatra van szüksége
- Milyen matematikai tulajdonság teszi lehetővé, hogy a lineáris figyelem elkerülje az n-szer mátrixot?
- Összeadás kommutativitása
- A mátrixszorzás asszociativitása
- A softmax eloszlási törvénye
- Sajátérték-bontás
- Mihez közelít a Performer's FAVOR+ mechanizmus?
- Gradiens süllyedés frissítések
- A tokenizáló szókincs
- A softmax figyelmi kernel
- Réteg normalizálási statisztikák
- Miért használ a Performer pozitív véletlenszerű jellemzőket a korábbi trigonometrikus jellemzők helyett?
- Csak CPU-n futnak gyorsabban
- Megszüntetik a véletlenszerűség szükségességét
- Teljes mértékben értelmezhetővé teszik a modellt
- Nem negatív figyelemsúlyt garantálnak és javítják a numerikus stabilitást
- Mekkora az Előadó-stílusú lineáris figyelem hozzávetőleges összetettsége n sorozathosszban?
- O(n)
- O(n^2)
- O(n log n)
- O(2^n)
- Mi a közös korlátja a tiszta lineáris figyelemnek a teljes softmax figyelemhez képest?
- GPU-n nem fut
- Gyakran valamivel alacsonyabb modellezési minőséget ér el
- Csak képeknél működik
- Minden tokenhez címkézett adat szükséges
- A phi(Q)(phi(K)^T V-ként írt figyelem esetében melyik szorzást lehet először elvégezni, hogy elkerüljük az n-szeres mátrix létrehozását?
- Számítsa ki a QK^T-t, és tároljon el minden páronkénti pontszámot
- Először alkalmazza a softmax-ot a teljes n-szer mátrixra
- Számítsa ki phi(K)^T V értékét, mielőtt megszorozza phi(Q)-val
- Szorozzuk meg a végső kimenetet a sorozat hosszával
- Milyen előnyökkel jár az ortogonális véletlenszerű jellemzők használata a Performer's FAVOR+ közelítésben?
- Pontos softmax-ot garantál minden sorozathoz
- Szükségtelenné teszi a lekérdezéseket és a kulcsvektorokat
- Kvadratikussá teszi a figyelmet a sorozat hosszában
- Csökkenti a véletlenszerű becslés varianciáját