InayofuataMwongozo unaofuata
Mafunzo ya Utabiri wa Ishara nyingi
Lugha AI
MWONGOZO wa Kiufundi
Utiririshaji wa Kukisia na Utabiri wa Ishara Nyingi
Utiririshaji wa kubahatisha na utabiri wa ishara nyingi huongeza kasi ya kuunda modeli ya lugha kwa kubahatisha tokeni kadhaa za siku zijazo mara moja na kuzithibitisha kwa pasi moja, badala ya kutoa tokeni moja kwa wakati mmoja.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
They cut latency without changing the text the model would have written.
Dive ya kina
Usimbuaji wa kawaida wa kiotomatiki ni wa polepole kwa sababu kila tokeni inahitaji pasi kamili ya mbele na tokeni hutolewa madhubuti moja baada ya nyingine, hivyo basi kutumia GPU kidogo. Usimbuaji wa kubahatisha hurekebisha hili kwa rasimu ya bei nafuu ambayo inapendekeza sehemu ya tokeni za waombaji, ambazo muundo mkuu unaolengwa kisha huthibitisha kwa sambamba; kiambishi awali chochote kinacholingana na kile ambacho lengo lingetoa kinakubaliwa bila malipo, na kutolingana kwa kwanza kunasahihishwa. Utiririshaji wa kubahatisha na utabiri wa ishara nyingi wa mtindo wa Medusa kunja mtayarishaji katika muundo wenyewe: vichwa vya ubashiri vyepesi zaidi (au mtiririko wa tokeni za kubahatisha) huruhusu kielelezo kimoja kutayarisha na kuthibitisha, kwa kuepuka muundo tofauti wa rasimu. Kwa sababu uthibitishaji ni sawa, usambazaji wa matokeo ni sawa na usimbaji wa kawaida, unapata tu hatua 2 hadi 3 za mfuatano chache.
Utekelezaji wa Ulimwengu Halisi
Kupunguza muda wa kuchelewa wa majibu ya msaidizi wa gumzo kwa mara 2 hadi 3 kwa kutumia vichwa vya ubashiri vya ziada vya mtindo wa Medusa
Kuongeza usimbuaji unaokisia-kisia kwa seva ya uelekezaji kwa hivyo hakuna muundo tofauti wa rasimu unaohitaji kupangishwa
Kuharakisha ukamilishaji wa nambari ambapo utendakazi wa tokeni ndefu, unaotabirika hukubaliwa katika sehemu kubwa
Kupunguza gharama ya GPU kwa kila ombi kwa kutoa tokeni zaidi kutoka kwa kila pasi iliyo na kumbukumbu
Mustakabali wa Utiririshaji wa Kukisia na Utabiri wa Tokeni nyingi
Mbinu za kubahatisha ambazo hazihitaji muundo tofauti wa rasimu zinakuwa chaguomsingi katika injini za uelekezaji, na utafiti unasukuma viwango vya kukubalika kuwa vya juu zaidi kwa kutumia vichwa bora vya rasimu, wagombeaji walio na muundo wa miti, na kutoa mafunzo kwa muundo msingi kwa utabiri wa ishara nyingi (ambao pia unaweza kuboresha ubora). Tarajia mbinu hizi kuchanganyika na ujanibishaji na upangaji ili wasaidizi wasilianifu wahisi papo hapo hata miundo inapokua.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Gharama na bajeti. Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
- Maamuzi ya wazi zaidi. Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
- Udhibiti wa ubora. Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Jihadharini na
- Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
- Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
- Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Hatua zinazofuata
- Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
- Benchmark chini ya mzigo halisi na hali ya data.
- Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
- Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Speculative Streaming and Multi-Token Prediction quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Speculative Streaming and Multi-Token Prediction?
Utiririshaji wa kubahatisha na utabiri wa ishara nyingi huongeza kasi ya kuunda modeli ya lugha kwa kubahatisha tokeni kadhaa za siku zijazo mara moja na kuzithibitisha kwa pasi moja, badala ya kutoa tokeni moja kwa wakati mmoja. Wanakata latency bila kubadilisha maandishi ambayo mtindo ungeandika.
Kwa nini usimbuaji wa kawaida wa kiotomatiki mara nyingi huwa polepole kwenye GPU?
Kila ishara inahitaji pasi yake ya mbele na zinafuatana madhubuti, kwa hivyo GPU imefungwa kwa kumbukumbu na haitumiki sana wakati wa kusimbua.
'Mchoraji' hufanya nini katika usimbuaji wa kubahatisha?
Rasimu ya bei nafuu inapendekeza sehemu ya tokeni za mgombea ambazo mtindo mkuu unaolengwa kisha huthibitisha sambamba.
Ubora wa pato huhifadhiwaje katika usimbaji wa kubahatisha?
Uthibitishaji (ulinganishaji wa uchoyo au sampuli za kukataliwa) huhakikisha tokeni zinazokubalika zinafuata usambazaji kamili ambao mtindo lengwa ungetoa, kwa hivyo matokeo hayabadiliki.
Ni nini kinachotofautisha utabiri wa ishara nyingi wa mtindo wa Medusa na usimbaji wa mapema wa kubahatisha?
Mbinu za mtindo wa Medusa hukunja utayarishaji katika muundo na vichwa vya ziada vya utabiri, kuepuka hitaji la kupangisha rasimu tofauti ya muundo.
Kwa nini transfoma inaweza kuthibitisha nafasi nyingi za wagombea karibu kwa bei nafuu kama moja wakati wa kusimbua?
Wakati wa kusimbua kizuizi ni kuhamisha uzani kutoka kwa kumbukumbu, kwa hivyo kupata nafasi za ziada katika pasi sawa huongeza gharama ndogo ya kuhesabu.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii