Akopọ
Ṣiṣatunṣe Lookhead ṣe iyara soke iran LLM laisi awoṣe apẹrẹ afikun eyikeyi nipasẹ lafaimo ati rii daju ọpọlọpọ awọn ami-ami iwaju ni afiwe nipa lilo awọn giramu n-giramu awoṣe n gbejade lori fo. O fi opin si ti o muna ọkan-àmi-ni-a-akoko bottleneck.
Iyipada Lookhead jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe lẹtọ, ati yi ọrọ ati ọrọ pada ni iwọn.
Jin Dive
Iṣagbekalẹ nipasẹ awọn oniwadi ni UC Berkeley ni ọdun 2023, ṣiṣatunṣe wokahead n mu ifọkansi pọ si ni lilo awoṣe ibi-afẹde nikan funrararẹ - ko si awoṣe keji ati ko si ikẹkọ iranlọwọ. O ṣe atunṣe iran bi ipinnu eto awọn idogba ti kii ṣe laini ni lilo ọna ti o jọra ti a pe ni aṣetunṣe Jacobi. Ni kọọkan igbese awọn awoṣe nṣiṣẹ meji ẹka ni ẹẹkan: a 'lookahead' eka ti o refines amoro fun orisirisi ojo iwaju àmi awọn ipo ni afiwe, ati ki o kan' ijerisi' eka ti o sọwedowo ni ileri olona-aami n-giramu gba ni a pool. Awọn n-giramu ti a ti rii daju ti awoṣe gba pẹlu jẹ ifaramo gbogbo ni ẹẹkan, nitorinaa awọn ami pupọ le gba ni igbesẹ kan. Nitoripe o dale lori awọn ọna gbigbe siwaju ti ara ẹni ti awoṣe, iṣelọpọ wa ni deede ohun ti ojukokoro tabi iyipada apẹẹrẹ yoo gbejade, lakoko ti o dinku nọmba awọn igbesẹ ti o nilo.
Imọ-imọ-ẹrọ
Awọn mojuto ero ya Jacobi/Gauss-Seidel ti o wa titi-ojuami aṣetunṣe: autoregressive iyipada ti wa ni mu bi wiwa a ti o wa titi ojuami ti awọn aworan agbaye awoṣe lori kan window ti ojo iwaju àmi. Awọn amoro ti o jọra jẹ atunṣe ni ilodisi, ati pe adagun-giramu n-gira kan ṣaṣe awọn ilana ami ami ti o ṣeeṣe ti a rii lakoko awọn iterations wọnyi. Ijeri jẹri boya eyikeyi n-gram ti a fipamọ ni ibaamu awọn abajade otitọ ti awoṣe atẹle, jẹ ki ọpọlọpọ awọn ami-ami ni ilọsiwaju ni ọna kan laisi nẹtiwọọki yiyan yiyan.
Titunto si Lookhead Yiyipada
Ṣiṣatunṣe Lookhead ṣe iyara soke iran LLM laisi awoṣe apẹrẹ afikun eyikeyi nipasẹ lafaimo ati rii daju ọpọlọpọ awọn ami-ami iwaju ni afiwe nipa lilo awọn giramu n-giramu awoṣe n gbejade lori fo. O fi opin si ti o muna ọkan-àmi-ni-a-akoko bottleneck. Iyipada Lookhead jẹ apakan ti akopọ ede-AI ti a lo lati ka, ṣe ipilẹṣẹ, ṣe lẹtọ, ati yi ọrọ ati ọrọ pada ni iwọn. Lati kọ oye ti o jinlẹ, tọju Iyipada Lookhead bi awoṣe ṣiṣiṣẹ, kii ṣe ẹya ẹyọkan: ṣalaye awọn abajade ti o fẹ, ṣe alaye awọn arosọ, ati lọtọ ohun ti eto le ṣe ni igbẹkẹle lati ohun ti o tun nilo idajọ amoye.
Ni iṣe, awọn ẹgbẹ ti o lagbara ni lilo awọn itusilẹ apẹrẹ Iyipada Lookhead, igbapada, ati atunyẹwo awọn losiwajulosehin bi eto ibaraẹnisọrọ iṣọpọ kan. Wọn ṣe akọsilẹ awọn ibeere aṣeyọri ti o fojuhan, idanwo lodi si data ojulowo ati ṣiṣan iṣẹ, ati atunbere ti o da lori awọn ilana ikuna ti a ṣakiyesi dipo awọn bori ala-akoko kan. Eyi ni ibiti oye imọ-jinlẹ yipada si agbara ti o tọ kọja ọja, eto imulo, ati awọn iṣẹ ṣiṣe.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni akoko kanna, awọn otitọ hallucinated le tẹ awọn ijabọ laiparuwo, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii. Ọna resilient julọ julọ ni lati darapọ iyara idanwo pẹlu ibawi ijọba: ṣiṣe awọn awakọ awakọ, mu ẹri mu, ṣe atẹjade awọn iwe ipinnu, ati imudojuiwọn awọn aabo nigbagbogbo bi ihuwasi awoṣe, awọn ireti olumulo, ati awọn ibeere ilana ti dagbasoke.
Ipa Ilana
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi. Ni awọn imuṣiṣẹ ti o ni agbara giga, eyi ni a tumọ si awọn ofin iṣiṣẹ wiwọn, awọn aala nini, ati awọn ilana atunyẹwo loorekoore ki awọn ẹgbẹ le ṣe iwọn igbẹkẹle dipo iwọn aibikita.
Real-World imuse
Gbigbalejo ara ẹni ni awoṣe ṣiṣi bi Llama tabi Vicuna pẹlu lairi yiyara laisi ikẹkọ tabi ikojọpọ eyikeyi awoṣe yiyan oluranlọwọ.
Idinku nọmba ti awọn igbesẹ iyipada lẹsẹsẹ fun iran fọọmu gigun gẹgẹbi awọn arosọ tabi koodu, nibiti awọn flops ti pọ ṣugbọn awọn igbesẹ jẹ igo.
Ijọpọ sinu awọn ile-ikawe ifọkasi (itusilẹ atilẹba ti gbe imuse ibaramu FlashAttention kan) lati ṣe alekun igbejade lori awọn GPU ti o wa tẹlẹ.
Iyara iṣẹ ṣiṣe batched lori ohun elo ti a ko lo nipasẹ iṣowo iṣiro afikun afiwera fun awọn kọja awoṣe lẹsẹsẹ diẹ.
Awọn Ilana imuse
Lookhead Yiyan ni asa
Gbigbalejo ara ẹni ni awoṣe ṣiṣi bi Llama tabi Vicuna pẹlu lairi yiyara laisi ikẹkọ tabi ikojọpọ eyikeyi awoṣe yiyan oluranlọwọ.
Alejo ti ara ẹni ni awoṣe ṣiṣi bi Llama tabi Vicuna pẹlu lairi yiyara laisi ikẹkọ tabi ikojọpọ eyikeyi awoṣe awoṣe oluranlọwọ nigbagbogbo gba awọn abajade ti o dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe lori akoko.
Lookhead Yiyan ni asa
Idinku nọmba ti awọn igbesẹ iyipada lẹsẹsẹ fun iran fọọmu gigun gẹgẹbi awọn arosọ tabi koodu, nibiti awọn flops ti pọ ṣugbọn awọn igbesẹ jẹ igo.
Idinku nọmba ti awọn igbesẹ iyipada lẹsẹsẹ fun iran fọọmu gigun gẹgẹbi awọn arosọ tabi koodu, nibiti awọn flops ti lọpọlọpọ ṣugbọn awọn igbesẹ jẹ awọn ẹgbẹ igo nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Lookhead Yiyan ni asa
Ijọpọ sinu awọn ile-ikawe ifọkasi (itusilẹ atilẹba ti gbe imuse ibaramu FlashAttention kan) lati ṣe alekun igbejade lori awọn GPU ti o wa tẹlẹ.
Ijọpọ sinu awọn ile-ikawe ikawe (itusilẹ atilẹba ti gbe imuse ibaramu FlashAttention) lati ṣe alekun iṣelọpọ lori Awọn ẹgbẹ GPU ti o wa nigbagbogbo ni awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa mejeeji awọn anfani iṣelọpọ ati awọn idiyele aṣiṣe ni akoko pupọ.
Lookhead Yiyan ni asa
Iyara iṣẹ ṣiṣe batched lori ohun elo ti a ko lo nipasẹ iṣowo iṣiro afikun afiwera fun awọn kọja awoṣe lẹsẹsẹ diẹ.
Iyara iṣẹ ṣiṣe ti a ko lo lori ohun elo ti a ko lo nipasẹ iṣowo iṣiro afiwera afikun fun awọn igbelewọn awoṣe ti o kere ju Awọn ẹgbẹ nigbagbogbo gba awọn abajade to dara julọ nigbati wọn ṣalaye awọn ilodi didara ni iwaju, tọju ọna imudara eniyan fun awọn ọran eti, ati tọpa awọn anfani iṣelọpọ mejeeji ati awọn idiyele aṣiṣe lori akoko.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo. Ṣe itọju igbesẹ kọọkan bi ẹnu-ọna ẹri: ti awọn ibeere ko ba ni ibamu, daduro yiyọ kuro, pa aafo naa, ati lẹhinna faagun lilo.