Wat is RoPE (roterende positionele inbedding)?

Informatie toegevoegd aan token-inbedding, zodat transformatoren de volgorde van de sequenties kunnen onderscheiden.

Een positionele bias-methode die aandachtsscores bestraft op basis van tokenafstand, waardoor modellen kunnen worden geëxtrapoleerd naar langere contexten.

Een ophaalmethode die meerdere zoekvarianten genereert, voor elke variant resultaten ophaalt en de ranglijsten samenvoegt.

Algoritmen die vectoren vinden die dicht bij een zoekopdracht liggen zonder uitputtende vergelijking, waarbij nauwkeurigheid wordt ingeruild voor snelheid.

Een methode die externe kennis ophaalt en deze op het moment van inferentie in de generatie invoert.

Een trainingsmethode die menselijke voorkeurssignalen gebruikt om modelgedrag vorm te geven.