Nyelvi AI ÚTMUTATÓ

ALiBi pozíció torzítás: Figyelem lineáris torzítással

Az ALiBi (figyelem lineáris torzításokkal) egy módja annak, hogy megmondja a transzformátornak, hogy az egyes tokenek hol helyezkednek el anélkül, hogy pozícióbeágyazásokat kellene hozzáadni.

Hallgassa meg ezt az útmutatótAI-narrált · ~8 min

Ezen az oldalon9 perc olvasás
  1. Áttekintés
  2. Főbb tanulságok
  3. Mély merülés
  4. ALiBi torzítások kiszámítása egy apró, 4 fejes modellhez
  5. Valós megvalósítás
  6. Az ALiBi pozíciótorzítás jövője: Figyelem lineáris torzításokkal
  7. A gyakorlatba ültetés
  8. Források és további olvasmányok
  9. Folytassa a felfedezést
  10. Gyakran ismételt kérdések

Áttekintés

Minden figyelempontszámból levon egy fix, távolságarányos büntetést, ami lehetővé teszi, hogy a rövid sorozatokra kiképzett modellek hosszabbak is futhassanak, és ezt a BLOOM és a MosaicML MPT modelljei is átvették.

Főbb tanulságok

  1. Az ALiBi a pozíciót úgy kódolja, hogy a figyelem pontszámaiból kivonja a token távolságával arányos fix büntetést, ahelyett, hogy pozícióbeágyazásokat adna a tokenekhez.
  2. Mindegyik figyelőfej a geometriai sorozattól eltérő rögzített meredekséget használ, például 1/2-től 1/256-ig egy 8 fejes modell esetében.
  3. A 2021-es cikk arról számol be, hogy egy 1024 tokenre betanított 1.3B modell megegyezett egy 2048 tokennel betanított szinuszos modellel, miközben 11%-kal gyorsabban edzett.
  4. A BigScience BLOOM és a MosaicML MPT-7B egyaránt ALiBi-t használ, az MPT-7B-StoryWriter pedig akár 84 000 tokent generált a MosaicML tesztjei során.
  5. Az ALiBi segít a modelleknek a képzési hosszon túlhaladni anélkül, hogy összeomlanak, de a szerzők úgy találták, hogy valójában nem használja fel az extra kontextust.

Mély merülés

ALiBi, short for Attention with Linear Biases, is a method for giving a transformer language model a sense of word order. A transformer's attention layer compares every token with every other token, but the comparison itself ignores where tokens sit in the sequence, so models need some extra signal about position. ALiBi supplies that signal in the simplest possible way: when one token attends to another, the attention score is reduced by an amount that grows in a straight line with the distance between them. Nearby tokens are penalized a little, distant tokens a lot, and no position vectors are added to the token embeddings at all.

The mechanism works step by step as follows. First, the model computes the usual attention score for a query token at position i and a key token at position j, which is the dot product of the query and key vectors. Second, ALiBi adds a bias equal to a head-specific slope m multiplied by the negative distance, so the key one step back gets minus m, two steps back gets minus 2m, and so on, while the token attending to itself gets zero. Third, the softmax turns the adjusted scores into attention weights as normal. Because the slope differs between attention heads, some heads fall off steeply and focus on the last few tokens while others decay slowly and look much further back. The slopes are fixed before training rather than learned, and the bias is applied to query-key scores in every layer but never to the value vectors.

ALiBi was introduced by Ofir Press, Noah A. Smith and Mike Lewis in the paper Train Short, Test Long, first posted to arXiv on August 27, 2021 and revised in April 2022. The motivating question was extrapolation: can a model trained on sequences of one length make good predictions on longer sequences at inference time? The paper showed that the standard sinusoidal position embeddings from the original transformer break down almost immediately past the training length. On WikiText-103, a sinusoidal model trained on 512 tokens rose from 20.05 perplexity at 512 tokens to 132.41 at 2,512 tokens, while an ALiBi model trained on 512 tokens reached 18.40 at 3,072 tokens, better than a sinusoidal model trained at the full 3,072. Perplexity is a measure of how surprised a model is by the next token, so lower is better.

The practical selling point was cost. Training on short sequences is cheaper because attention cost grows with sequence length. The paper's larger experiment trained 1.3-billion-parameter models on 461 GB of CC100 and RoBERTa text using 128 V100 GPUs, and reports that an ALiBi model trained on 1,024-token inputs matched a sinusoidal model trained on 2,048 tokens while training 11% faster and using 11% less memory. The authors also report the method adds almost nothing at runtime: on one V100, training throughput and memory at 1,024 tokens were within about 1% of the sinusoidal baseline, and the per-head bias mask costs up to roughly 100 MB.

Adoption followed quickly. BigScience's BLOOM, the 176-billion-parameter open multilingual model whose training began on March 11, 2022 on 384 A100 GPUs, lists ALiBi as its positional encoding in its official model card. MosaicML's MPT-7B, released on May 5, 2023 and pretrained on one trillion tokens, also dropped position embeddings for ALiBi. Its StoryWriter variant was fine-tuned with a 65,000-token context, and MosaicML reported it handled about 68,000 tokens of The Great Gatsby and produced generations up to 84,000 tokens, which it attributed to ALiBi's extrapolation.

The obvious alternatives are absolute embeddings, relative biases and rotary embeddings. Absolute embeddings, sinusoidal or learned, attach a vector for each position number to the token, which ties the model to the positions it saw in training. The T5 relative bias learns a bias per bucket of distances; in the ALiBi paper it extrapolated better than sinusoidal and was the strongest baseline, but trained at least twice as slowly. Rotary Position Embedding (RoPE), proposed by Jianlin Su and colleagues in April 2021, rotates query and key vectors by an angle set by position so that scores depend on relative distance; it extrapolated better than sinusoidal in the ALiBi comparison but not as well as ALiBi. RoPE is the scheme used by models such as LLaMA, and methods such as Position Interpolation, posted by Chen and colleagues in June 2023, extend those RoPE models to 32,768 tokens with fewer than 1,000 fine-tuning steps.

ALiBi has real limits, several stated by its own authors. Their sliding-window analysis found that much of the gain at long evaluation lengths comes from reducing the early token curse, the poor predictions a model makes near the start of a chunk where it has little preceding context, rather than from actually using information beyond the training length. In other words, ALiBi lets a model run on longer inputs without collapsing, but it may not read the extra text in a useful way. On the 1.3B experiments, ALiBi's perplexity was best near twice the training length and only stayed usable to around 10,000 tokens. The slopes were picked from about ten manual trials on one dataset, learned slopes extrapolated poorly, and most experiments used a 247-million-parameter model. A 2023 NeurIPS study by Kazemnejad and colleagues found that on downstream reasoning-style tasks, ALiBi, rotary and absolute embeddings all generalized poorly to longer lengths, and a decoder with no positional encoding did better.

In practice ALiBi requires very little. It adds no trainable parameters, only a fixed matrix of distance penalties per head that can be precomputed, and the slope formula is a single line of code. The main engineering requirement is an attention kernel that accepts an additive bias, which matters because fused kernels such as FlashAttention need explicit support for it; MPT shipped with FlashAttention and ALiBi together. The method suits teams that want cheaper short-context pretraining with graceful behavior on longer inputs, while teams that need a model to retrieve facts from far back in a very long document should test long-context recall directly rather than rely on low perplexity alone.

04Működő példa

ALiBi torzítások kiszámítása egy apró, 4 fejes modellhez

  1. Válassza ki a fejek számát, n = 4, és számítsa ki a lejtőalapot 2^(-8/4) = 2^(-2) = 0,25.

  2. Sorolja fel a fejlejtőket geometriai sorozatként az első taggal és aránnyal: 0,25, 0,0625, 0,015625 és 0,00390625.

  3. Tegyen lekérdezést az 5. pozícióban az 1–5. pozícióban lévő billentyűkről, így a távolságok 4, 3, 2, 1 és 0.

  4. Az 1. fejnél szorozzon meg minden távolságot -0,25-tel, hogy -1,0, -0,75, -0,5, -0,25 és 0 torzítást kapjon.

  5. A 4. fej esetében szorozza meg -0,00390625-tel, hogy körülbelül -0,016, -0,012, -0,008, -0,004 és 0 torzítást kapjon.

  6. Adja hozzá az egyes fejek torzítási vektorait az adott fej nyers lekérdezési kulcs pontszámaihoz, alkalmazza az oksági maszkot, majd vegye fel a softmax értéket.

Mit mutat

Az 1. fej most erősen a legutóbbi jelzőket részesíti előnyben, míg a 4. fej szinte semleges a távolságot illetően. Ellenőrizze a munkát úgy, hogy megerősíti, hogy minden torzítás nulla az átlón, máshol negatív, és nagysága lineárisan nő a távolsággal.

Valós megvalósítás

A BigScience BLOOM, egy 2022-ben betanított, 176 milliárd paraméteres nyílt többnyelvű modellje az ALiBi pozíciókódolást tartalmazza a Hugging Face modellkártyáján, 2048 token betanítási szekvenciával.

A MosaicML 2023. május 5-én kiadott MPT-7B családja a pozícióbeágyazásokat ALiBi-re cserélte; a StoryWriter változatot 65 000 tokenre finomították, és a vállalat tesztjei során 84 000 tokent generált.

Az előképzési költségek csökkentése: az ALiBi cikk egy 1,3 B-paraméteres modellt közöl 1024 token bemenettel, amely megfelel a 2048 tokenre betanított szinuszos modellnek, miközben 11%-kal gyorsabban edzett 11%-kal kevesebb memóriával.

Kutatási alapvonalak a hosszúság általánosításához, mint például a Kazemnejad és munkatársai által készített NeurIPS 2023 tanulmány, amely az ALiBi-t rotációs, T5-stílusú relatív torzítással, abszolút beágyazásokkal és egyáltalán nem pozicionális kódolással hasonlítja össze.

Az ALiBi pozíciótorzítás jövője: Figyelem lineáris torzításokkal

The central open problem ALiBi exposed is the gap between running on long inputs and using them. Its own authors concluded that ALiBi may not exploit context beyond the training length, and the 2023 NeurIPS study of positional encodings by Kazemnejad and colleagues found ALiBi, rotary and absolute embeddings all generalize poorly on longer downstream tasks, with no positional encoding performing better in their setup. That result keeps alive the question of how much explicit position information decoder-only models need at all. A separate line of work extends rotary-embedding models instead, with techniques such as Position Interpolation (June 2023) stretching LLaMA models to 32,768 tokens after short fine-tuning. ALiBi remains in widely used open checkpoints, notably BLOOM and the MPT family, and its core idea of a cheap, fixed recency bias continues to appear as a baseline in length-generalization research. Whether future long-context models favor distance biases, rotation-based schemes, hybrids, or no explicit positions is an active research question rather than a settled one, and any claim about long-context quality is best checked with retrieval and reasoning tests at the target length.

A gyakorlatba ültetés

Miért számít

  • Sebesség és méretarány. A nyelvi munkafolyamatok gyorsabban haladhatnak a következetesség feláldozása nélkül.
  • Hozzáférés és elérés. Kibővíti a hozzáférést a nyelvek és a kommunikációs stílusok között.
  • Tisztább döntések. A csapatok több időt tölthetnek az ítélkezéssel, míg az automatizálás kezeli az ismétlést.

Vigyázz

  • A hallucinált tények csendben bekerülhetnek a jelentésekbe, a támogatási folyamatokba vagy a kutatási eredményekbe.
  • Az azonnali érzékenység inkonzisztens eredményeket eredményezhet a hasonló kérések között.
  • Ha a hozzáférés-szabályozás gyenge, az érzékeny szöveges adatok megjelenhetnek.

Következő lépések

  1. A kiadás előtt határozza meg a kimeneti formátumot, hangszínt és minőségi szabványokat.
  2. Földelje a válaszokat megbízható forrásokból, amikor a pontosság számít.
  3. Tartson emberi ellenőrzési pontot a nagy tétű kimenetekhez.
  4. Kövesse nyomon a meghibásodási mintákat, és rendszeresen tanítsa át az utasításokat vagy a munkafolyamatokat.

Források és további olvasmányok

  1. arXiv (Press, Smith, Lewis)Train Short, Test Long: Figyelem a lineáris torzítással lehetővé teszi a bemeneti hossz extrapolációját
  2. BigScience on Hugging Facebigscience/bloom modellkártya
  3. MosaicML / DatabricksBemutatkozik az MPT-7B: Új szabvány a nyílt forráskódú, kereskedelmileg használható LLM-ekhez
  4. arXiv (Su et al.)RoFormer: Továbbfejlesztett transzformátor forgópozíciós beágyazással
  5. arXiv / NeurIPS 2023 (Kazemnejad et al.)A pozíciókódolás hatása a transzformátorok hosszáltalánosítására
  6. arXiv (Chen et al.)Nagy nyelvi modellek kontextusablakának kiterjesztése pozicionális interpolációval

Folytassa a felfedezést

Ingyenes hírlevél

Szerezze meg a napi AI összefoglalót

Minden hétköznap reggel három ellenőrzött AI történet, egyszerű angol nyelven. Örökké ingyen, hirdetések nélkül.

Minden hétköznap egy e-mail. Egy kattintással lemondhat. Soha nem értékesítjük vagy osztjuk meg az Ön címét.

Teszteld magad

Töltse ki az ALiBi Position Bias: Attention with Linear Biases kvízt

Azonnali visszajelzés minden válaszra, és megosztható tanúsítvány egy ellenőrizhető azonosítóval, miután sikeresen teljesít egy kurzust.

Kezdő kvíz

Támogassa az ingyenes AI oktatást. AI Understanding egy 501(c)(3) nonprofit – nincs hirdetés, nincs fizetőfal, soha. Tegyen adományt

Gyakran ismételt kérdések

Mi az ALiBi pozíció torzítás: Figyelem lineáris torzítással?

Az ALiBi (figyelem lineáris torzításokkal) egy módja annak, hogy megmondja a transzformátornak, hogy az egyes tokenek hol helyezkednek el anélkül, hogy pozícióbeágyazásokat kellene hozzáadni. Minden figyelempontszámból levon egy fix, távolságarányos büntetést, ami lehetővé teszi, hogy a rövid sorozatokra kiképzett modellek hosszabbak is futhassanak, és ezt a BLOOM és a MosaicML MPT modelljei is átvették.

Mit jelent az ALiBi?

Az ALiBi az Attention with Linear Biases (Figyelem lineáris torzítással) rövidítése, amely a lineáris büntetésről kapta a nevét, amelyet a figyelem pontszámaihoz növel.

Hogyan bünteti az ALiBi a távoli tokeneket?

Az ALiBi a lekérdezési kulcs távolságával arányos értéket levon a figyelem pontszámából, így a távolabbi tokenek kisebb súlyt kapnak.

Mi az ALiBi leghíresebb gyakorlati előnye?

Mivel a torzítás csak a távolságtól függ, a rövid sorozatokra kiképzett modellek sokkal hosszabbakat is képesek kezelni a következtetési időben.

Miben különbözik a figyelmi fejek lineáris torzítása?

Az ALiBi minden fejhez különálló, rögzített meredekséget rendel (pl. 1/2, 1/4, 1/8), így a különböző fejek különböző tartományokban vesznek részt.

A hagyományos pozíciós beágyazásokhoz képest az ALiBi hány tanult paramétert ad hozzá?

Az ALiBi nem vezet be új tanult paramétereket; a fejenkénti meredekségek előre meghatározott állandók.