Usimbaji Sambamba wa Mifupa-ya-Mawazo
Mifupa-ya-Mawazo (SoT) ni mbinu ya kuhimiza na kusimbua ambayo kwanza inauliza modeli ya lugha kuelezea kiunzi kifupi cha vidokezo vya kujibu, kisha kupanua kila nukta sambamba.
Muhtasari
It matters because it can cut the wall-clock latency of long answers by roughly 2x without retraining the model.
Dive ya kina
Aina kubwa za lugha kawaida hutoa toni moja kwa wakati mmoja, kwa hivyo jibu refu ni polepole kwa sababu kila neno hungojea lililo kabla yake. Mifupa-ya-Mawazo, iliyoanzishwa na watafiti huko Tsinghua na Microsoft mnamo 2023, hurekebisha kazi. Simu ya kwanza inauliza kielelezo kwa kiunzi kifupi: orodha iliyo na nambari ya vichwa vya alama 3 hadi 10, kila moja maneno machache tu. Kundi la pili la simu kisha hupanua kila nukta kwa kujitegemea na kwa wakati mmoja, kwa sababu pointi hazitegemei nyingine. Upanuzi umeunganishwa nyuma kwa jibu la mwisho. Kwa sababu hatua ya upanuzi wa polepole inaendeshwa sambamba, muda wa kusubiri jumla hupungua sana kwa maswali ambayo majibu yake hutengana na kuwa sehemu huru, kama vile vidokezo vya kuorodhesha au chaguzi za kulinganisha.
Ufahamu wa Kiufundi
SoT hutumia kwamba uelekezaji wa avkodare umefungwa kwa muda, sio kukokotoa kila wakati: ombi moja mara nyingi huacha GPU isitumike. Upanuzi wa sehemu za uendeshaji kama bechi huweka maunzi shughuli nyingi na kuingiliana na uzalishaji wa kila pointi. Kwa miundo ya API, upanuzi hutolewa kama maombi ya wakati mmoja; na mifano ya ndani, wanashiriki pasi moja ya mbele iliyopangwa. Hatua ya kiunzi huongeza kichwa kifupi kisichobadilika, kwa hivyo kasi ya wavu hukua na urefu wa jibu na idadi ya alama huru.
Athari za kimkakati
Kasi na kiwango
Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
Kufikia na kufikia
Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
Maamuzi ya wazi zaidi
Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Mustakabali wa Usimbaji Sambamba wa Mifupa-ya-Mawazo
Tarajia mawazo ya SoT kuunganishwa katika uelekezaji unaoweza kubadilika: mifumo itatambua wakati hoja inatengana vizuri na kubadili upanuzi sambamba, ikirejea kwenye hoja zinazofuatana kwa kazi zinazotegemea sana kama vile uthibitisho wa hesabu. Lahaja kama vile SoT iliyo na utegemezi wa grafu inayobadilika huruhusu vidokezo ambavyo vinarejeleana. Mifumo ya utumishi inapoongeza usaidizi wa ombi dogo la asili na utatuzi wa kubahatisha, mikakati ya mtengano sambamba itakuwa safu ya kawaida ya kupunguza muda badala ya hila ya mwongozo.
Utekelezaji wa Ulimwengu Halisi
Kuharakisha chatbot inayojibu 'nipe vidokezo 8 vya kupunguza gharama za wingu' kwa kupanua vidokezo vyote vinane kwa wakati mmoja.
Msaidizi wa usaidizi kwa mteja anayezalisha mwongozo wa utatuzi wa sehemu nyingi ulioundwa na muda wa chini wa majibu.
Kutoa jibu la kulinganisha (faida na hasara za bidhaa mbili) ambapo kila risasi hujazwa kwa wakati mmoja.
Mifumo ya huduma ya nyuma inayokusanya sehemu za majibu huru ili kuongeza utumiaji wa GPU wakati wa utengenezaji wa fomu ndefu.
Hatari & Walinzi
Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Ramani ya Utekelezaji
Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Skeleton-of-Thought Parallel Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Uteuzi wa Tokeni Sambamba ya MaskGIT
Maswali yanayoulizwa mara kwa mara
What is Skeleton-of-Thought Parallel Decoding?
Mifupa-ya-Mawazo (SoT) ni mbinu ya kuhimiza na kusimbua ambayo kwanza inauliza modeli ya lugha kuelezea kiunzi kifupi cha vidokezo vya kujibu, kisha kupanua kila nukta sambamba. Ni muhimu kwa sababu inaweza kukata latency ya saa ya ukutani ya majibu marefu kwa takriban 2x bila kufundisha tena mfano.
Je, hatua ya kwanza ya Mifupa-ya-Mawazo hutoa nini?
SoT kwanza huhimiza kielelezo kutoa kiunzi kifupi cha vichwa vya ncha, ambavyo hupanuliwa kando.
Kwa nini hatua ya upanuzi wa uhakika inaweza kukimbia sambamba?
Pointi za mifupa zimeundwa kuwa huru, kwa hivyo kuzipanua hauhitaji kusubiri ndugu.
Ni malengo gani kuu ya kizuizi cha SoT katika usimbaji wa kawaida wa LLM?
Uwekaji msimbo wa kawaida hufungamana na muda wa kusubiri kwa sababu kila tokeni hungoja ya awali; SoT hupishana kazi ili kupunguza muda wa saa-ukuta.
Je, SoT inatoa kasi kubwa zaidi kwa aina gani ya swali?
Majibu ambayo hutengana katika sehemu nyingi huru hunufaika zaidi, kwa kuwa kila sehemu hupanuka kwa wakati mmoja.
Je, SoT inaongeza nini ikilinganishwa na kizazi kimoja kinachofuatana?
Hatua ya mifupa inaongeza latency ndogo isiyobadilika, ambayo inazidiwa na upanuzi sambamba kwenye majibu marefu.