Termine del glossario AI

Cos'è ALiBi?

Definizione

Un metodo di bias posizionale che penalizza i punteggi di attenzione in base alla distanza del token, aiutando i modelli a estrapolare contesti più lunghi.

Termini correlati

RoPE (incorporamenti posizionali rotanti)
Un metodo di codifica posizionale che ruota la query e i vettori chiave per codificare le posizioni relative dei token.
Codifica posizionale
Informazioni aggiunte agli incorporamenti di token in modo che i trasformatori possano distinguere l'ordine della sequenza.
Attenzione alla finestra scorrevole
Un modello di attenzione in cui ogni token si occupa solo di una finestra di dimensione fissa di token vicini per ridurre il calcolo.
Bias algoritmico
Ingiustizia sistematica nei risultati del modello causata da dati, ipotesi o scelte di modellazione distorte.
Meccanismo di attenzione
Un componente del modello che si concentra dinamicamente sulle parti rilevanti di un input quando si produce un output.
Pregiudizio
Un modello coerente di errore o ingiustizia nei dati o nel comportamento del modello.

Scopri di più nelle nostre guide gratuite

ALiBi Position Bias

Vedi anche

BPE (Byte Pair Encoding)Multi-Head AttentionSentencePieceFlash AttentionANN (Approximate Nearest Neighbor)QLoRAHNSWDPO (Direct Preference Optimization)
Sfoglia il glossario completo dell'intelligenza artificialeEsplora tutte le guide gratuite sull'intelligenza artificiale