Wat is ALiBi?

Een positionele coderingsmethode die query- en sleutelvectoren roteert om relatieve tokenposities te coderen.

Informatie toegevoegd aan token-inbedding, zodat transformatoren de volgorde van de sequenties kunnen onderscheiden.

Een aandachtspatroon waarbij elk token alleen betrekking heeft op een venster met een vaste grootte van nabijgelegen tokens om de rekenkracht te verminderen.

Systematische oneerlijkheid in modelresultaten veroorzaakt door scheve gegevens, aannames of modelleringskeuzes.

Een modelcomponent die zich dynamisch richt op relevante delen van een input bij het produceren van een output.

Een consistent patroon van fouten of oneerlijkheid in gegevens of modelgedrag.