Wat is Aandachtsmechanisme?

Het onderdeel van een model dat input omzet in latente representaties.

Een transformatormechanisme dat meerdere aandachtsoperaties parallel uitvoert om verschillende soorten relaties vast te leggen.

Een positionele bias-methode die aandachtsscores bestraft op basis van tokenafstand, waardoor modellen kunnen worden geëxtrapoleerd naar langere contexten.

Een taak waarbij een model een invoer toewijst aan een of meer vooraf gedefinieerde categorieën.

Het maximale aantal invoertokens dat een taalmodel tegelijk kan verwerken.

Een verschuiving in reële invoergegevens in de loop van de tijd die de modelprestaties kan verslechteren.