VolgendeVolgende gids
Blok-sparse en inheemse schaarse aandacht
Technisch
Taal AI-GIDS
Schaarse aandacht maakt Transformers goedkoper door elk token slechts een zorgvuldig gekozen subset van andere tokens te laten gebruiken in plaats van allemaal.
Luister naar deze gidsAI-verteld · ~2 min
Dit ruilt een klein mondiaal bereik in voor grote besparingen in geheugen en rekenkracht op lange reeksen.
Volledige zelfaandacht vergelijkt elk token met elk ander token, zodat de kosten toenemen met het kwadraat van de reekslengte, wat pijnlijk wordt voor lange documenten. Schaarse aandacht vervangt het dichte patroon door een gestructureerd patroon. Veel voorkomende ontwerpen zijn onder meer (lokale) aandacht met een schuifraam, waarbij elk token alleen nabijgelegen buren ziet; getrapte of uitgezette patronen die vooruit springen om goedkoop een verre context te bereiken; en mondiale tokens, een paar speciale posities die voor alles zorgen en waar alles voor zorgt, die fungeren als informatieknooppunten. Modellen als Longformer, BigBird en de Sparse Transformer combineren deze zodat het totale aantal verbindingen grofweg lineair groeit in plaats van kwadratisch, waardoor contexten van duizenden tot tienduizenden tokens mogelijk worden.
Longformer verwerkt volledige wetenschappelijke artikelen of juridische documenten in één keer met behulp van een schuifvenster plus wereldwijde aandacht
BigBird verwerkt de beantwoording van lange documenten en genomics-reeksen met aandacht voor lineaire schaling
Het samenvatten van tekst in boeklengte waarbij volledige aandacht het GPU-geheugen zou uitputten
Ophaal- en lange-context-chatsystemen die globale hub-tokens gebruiken om belangrijke informatie over duizenden tokens te routeren
Schaarse aandacht blijft centraal staan bij lange-contextmodellering, steeds vaker gecombineerd met geoptimaliseerde kernels zoals FlashAttention en met aangeleerde of dynamische spaarzaamheid die per invoer kiest welke tokens aandacht moeten krijgen. Terwijl contextvensters zich uitstrekken over miljoenen tokens, combineren hybride stapels schaarse, dichte en toestandsruimtelagen. Verwacht dat hardwarebewuste, schaarse kernels en op routering gebaseerde aandacht de kosten voor het lezen van zeer lange invoer blijven verlagen.
Gratis nieuwsbrief
Drie verifieerde AI-verhalen elke weekdagmorgen, geschreven in eenvoudig Engels. Gratis voor altijd, geen advertenties.
Eén e-mail elke weekdag. Afmelden met één klik. We verkopen of delen je adres nooit.
Test jezelf
Directe feedback op elke antwoord, en een deelbare certificaat met een verifieerbare ID zodra je een cursus hebt afgerond.
Ondersteun gratis AI-onderwijs. AI Understanding is een 501(c)(3) non-profit — geen advertenties, geen betaalmuur, nooit. Doe een donatie
Schaarse aandacht maakt Transformers goedkoper door elk token slechts een zorgvuldig gekozen subset van andere tokens te laten gebruiken in plaats van allemaal. Dit ruilt een klein mondiaal bereik in voor grote besparingen in geheugen en rekenkracht op lange reeksen.
Volledige aandacht vergelijkt elk token met elk ander token, wat O(N kwadraat) kosten in tijd en geheugen oplevert.
Lokale aandacht beperkt het zicht van elk token tot een vast venster met omringende tokens, waardoor de kosten dramatisch worden verlaagd.
Een paar globale tokens zijn verbonden met alle posities, waardoor informatie goedkoop door de hele reeks kan stromen.
BigBird liet zien dat zijn spaarzame patroon een universele benadering is van reeksfuncties, terwijl het ruwweg lineair wordt geschaald.
Door verbindingen te beperken tot lokale vensters plus een paar globale verbindingen, groeien de totale verbindingen ongeveer lineair.
Blijf leren
Er zijn meer handleidingen voor dit onderwerp geselecteerd
VolgendeVolgende gids
Blok-sparse en inheemse schaarse aandacht
Technisch