Sisun Window akiyesi
Ifarabalẹ window sisun ni ihamọ ami-ami kọọkan lati lọ si agbegbe agbegbe ti o wa titi ti awọn ami isunmọ nitosi dipo gbogbo ọkọọkan.
Akopọ
Eyi dinku iye owo quadratic ti ifojusi boṣewa si isalẹ si laini, ṣiṣe awọn awoṣe gigun-ipo din owo pupọ lati ṣiṣẹ.
Jin Dive
Ifarabalẹ ara ẹni deede ṣe afiwe gbogbo ami-ami pẹlu gbogbo ami-ami miiran, nitorinaa ọkọọkan gigun N nilo awọn afiwera N-squared aijọju. Ifarabalẹ window sisun ṣe atunṣe eyi nipa fifun aami kọọkan ni window ti iwọn W (sọ awọn ami ami 4,096) ati wiwa si awọn aladugbo nikan ni inu window yẹn. Iye owo n dagba bi N igba W dipo N-squared. Ni pataki, iṣakojọpọ ọpọlọpọ awọn fẹlẹfẹlẹ window ti n gbooro aaye gbigba ti o munadoko: lẹhin awọn fẹlẹfẹlẹ L, alaye le tan kaakiri awọn ami-ami L igba W ni aijọju, bii aaye gbigba gbigba CNN ti ndagba. Mistral 7B jẹ olokiki eyi pẹlu ferese ami-ami 4,096 kọja awọn ipele 32, de ipari ipari-ami-imọ-imọ-imọ-jinlẹ 131K kan. Awọn awoṣe nigbagbogbo dapọ awọn fẹlẹfẹlẹ window pẹlu awọn ipele akiyesi ni kikun lẹẹkọọkan lati tọju awọn ọna asopọ gigun.
Imọ-imọ-ẹrọ
Ninu iboju boju-boju, ibeere ni ipo i gba laaye lati wo awọn bọtini lati awọn ipo i iyokuro W pẹlu 1 nipasẹ i (ọran idi). Boju-boju fọnka yii tumọ si pe kaṣe KV nikan nilo awọn ami W to kẹhin fun Layer, iranti idinku lakoko iran. Nitori ferese naa n yipada pẹlu ami ami tuntun kọọkan, o so pọ nipa ti ara pẹlu kaṣe ifipamọ sẹsẹ ti o tun kọ awọn titẹ sii ti atijọ ju ki o dagba lailai.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Ifarabalẹ Window Sisun
Awọn aṣa arabara ni bayi ṣe interleave awọn ipele agbaye diẹ tabi akiyesi ni kikun laarin ọpọlọpọ awọn fẹlẹfẹlẹ ferese sisun, iwọntunwọnsi ṣiṣe pẹlu ironu gigun tootọ tootọ. Gemma 2 ati awọn miiran yiyan agbegbe ati awọn bulọọki agbaye. Reti akiyesi window lati darapo pẹlu awọn awoṣe aaye-ipinlẹ, awọn ifọwọ akiyesi, ati funmorawon kaṣe KV-ki awọn awoṣe iwaju ṣe mu awọn ipo ami-ami miliọnu laisi iranti salọ. O ti di bulọọki ile aiyipada dipo iṣapeye nla.
Real-World imuse
Mistral 7B nlo ferese sisun-ami 4,096 kọja awọn ipele rẹ lati mu awọn itọsi gigun ni olowo poku lori awọn GPU onibara.
Longformer kan akiyesi window pẹlu awọn ami-ami agbaye diẹ lati ṣe iyasọtọ ati akopọ awọn iwe aṣẹ oju-iwe pupọ.
Gemma 2 yiyipo awọn fẹlẹfẹlẹ window sisun agbegbe pẹlu awọn ipele akiyesi agbaye lati ṣe iwọntunwọnsi iyara ati iranti ibiti o gun.
Yiyi-buffer KV caches ni awọn oluranlọwọ iwiregbe tọju nikan ni ferese to ṣẹṣẹ julọ ti awọn ami, fifi iranti pamọ lakoko awọn ibaraẹnisọrọ gigun.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Sliding Window Attention quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Iṣọkan-Ibeere Ifojusi
Awọn ibeere ti a beere nigbagbogbo
Kini Ifojusi Window Sisun ?
Ifarabalẹ window sisun ni ihamọ ami-ami kọọkan lati lọ si agbegbe agbegbe ti o wa titi ti awọn ami isunmọ nitosi dipo gbogbo ọkọọkan. Eyi ge idiyele kuadiratiki ti ifarabalẹ boṣewa si isalẹ lati laini, ṣiṣe awọn awoṣe ọrọ-gigun din owo pupọ lati ṣiṣẹ.
Kini anfani iṣiro akọkọ ti ifarabalẹ window sisun lori akiyesi ara ẹni boṣewa?
Nipa diwọn ami kọọkan si ferese ti o wa titi ti awọn aladugbo W, idiyele n dagba bi N igba W (laini ni N) dipo N-squared.
Ninu apẹrẹ Mistral 7B, bawo ni alaye ṣe tun le rin irin-ajo jinna ju ferese ami-ami 4,096 kan lọ?
Gẹgẹbi CNN kan, Layer kọọkan n gbe alaye ni window kan siwaju, nitorinaa awọn fẹlẹfẹlẹ L fun ni akoko ti o munadoko ti awọn aami aijọju L igba W.
Kini idi ti akiyesi window sisun dinku iranti lakoko iran ọrọ?
Niwọn igba ti ami kan wa si ferese aipẹ rẹ nikan, bọtini agbalagba / awọn titẹ sii iye le jẹ sọnu, nigbagbogbo nipasẹ kaṣe ifipamọ yiyi.
Aṣayan apẹrẹ wo ni awọn awoṣe bii Gemma 2 lo lẹgbẹẹ awọn ferese sisun lati tọju ero gigun?
Dapọ lẹẹkọọkan agbaye/kikun awọn ipele ifarabalẹ laarin awọn agbegbe ṣe itọju awọn asopọ gigun-gun tootọ ti window mimọ di alailagbara.
Fun ferese sisun okunfa ti iwọn W, awọn bọtini wo ni o le ṣe ibeere ni ipo ti MO lọ si?
Ninu ọran okunfa ibeere naa rii ararẹ ati awọn ami W iyokuro 1 lẹsẹkẹsẹ ṣaaju rẹ, kii ṣe awọn ami ami iwaju.