Egungun-ti-ero Ti o jọra Yiyipada
Skeleton-of-Thought (SoT) jẹ ilana imuniyanju ati iyipada ti o kọkọ beere awoṣe ede lati ṣe ilana egungun kukuru ti awọn aaye idahun, lẹhinna faagun aaye kọọkan ni afiwe.
Akopọ
O ṣe pataki nitori pe o le ge idaduro aago odi ti awọn idahun gigun nipasẹ aijọju 2x laisi atunkọ awoṣe naa.
Jin Dive
Awọn awoṣe ede ti o tobi ni deede n ṣe ami ami kan ni akoko kan, nitorinaa idahun gigun kan lọra lasan nitori ọrọ kọọkan n duro de eyi ṣaaju. Skeleton-of-Thought, ti a ṣe nipasẹ awọn oniwadi ni Tsinghua ati Microsoft ni 2023, tunto iṣẹ naa. Ipe akọkọ n beere awoṣe fun egungun terse: atokọ nọmba ti awọn akọle 3 si 10, ọkọọkan awọn ọrọ diẹ. Ipele keji ti awọn ipe lẹhinna faagun gbogbo aaye ni ominira ati ni igbakanna, nitori awọn aaye ko dale lori ara wọn. Awọn imugboroosi ti wa ni stitched pada papo sinu ik idahun. Nitoripe ipele imugboroja ti o lọra nṣiṣẹ ni afiwe, lairi lapapọ n lọ silẹ ni kiakia fun awọn ibeere ti awọn idahun wọn bajẹ nipa ti ara si awọn ẹya ominira, gẹgẹbi awọn imọran atokọ tabi awọn aṣayan afiwera.
Imọ-imọ-ẹrọ
SoT lo nilokulo pe itọkasi decoder jẹ isunmọ lairi, kii ṣe iṣiro-iṣiro nigbagbogbo: ibeere ẹyọkan nigbagbogbo n fi GPU silẹ ailagbara. Nṣiṣẹ ojuami imugboroosi bi a ipele ntọju awọn hardware nšišẹ ati ki o ni lqkan awọn fun-ojuami iran. Pẹlu awọn awoṣe API, awọn imugboroja ti wa ni ti oniṣowo bi awọn ibeere nigbakanna; pẹlu awọn awoṣe agbegbe, wọn pin iwe-iwọle kan ti o batched siwaju. Ipele egungun ṣe afikun afikun kukuru ti o wa titi, nitorinaa iyara apapọ n dagba pẹlu ipari idahun ati nọmba awọn aaye ominira.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Egungun-ti-ero Ti o jọra Yiyipada
Reti awọn imọran SoT lati dapọ si ipa ọna adaṣe: awọn ọna ṣiṣe yoo rii nigbati ibeere kan ba bajẹ ni mimọ ati yipada si imugboroja afiwera, ja bo pada si ero-tẹle fun awọn iṣẹ ṣiṣe ti o gbẹkẹle ni wiwọ bi awọn ẹri iṣiro. Awọn iyatọ bii SoT pẹlu awọn igbẹkẹle ayaworan ti o ni agbara gba awọn aaye ti o tọka si ara wọn. Bi awọn ilana ṣiṣe n ṣe afikun atilẹyin abẹlẹ ti ipilẹ-ibeere ati iyipada arosọ, awọn ilana jijẹ-ibajẹ yoo di Layer idinku-idinku boṣewa dipo ẹtan itọsẹ afọwọṣe.
Real-World imuse
Iyara soke chatbot kan ti o dahun 'fun mi ni imọran 8 fun idinku awọn idiyele awọsanma' nipa fifẹ gbogbo awọn imọran mẹjọ ni ẹẹkan.
Oluranlọwọ-atilẹyin alabara ti n ṣe ipilẹṣẹ itọsọna laasigbotitusita apakan pupọ ti eleto pẹlu airi esi kekere.
Ṣiṣejade idahun lafiwe (Aleebu ati alailanfani ti awọn ọja meji) nibiti ọta ibọn kọọkan ti kun ni igbakanna.
Awọn ọna ṣiṣe ṣiṣe afẹyinti n ṣatunṣe awọn apakan idahun olominira lati gbe ilo GPU ga lakoko iran fọọmu gigun.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Skeleton-of-Thought Parallel Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
MaskGIT Parallel Tokini Iyipada koodu
Awọn ibeere ti a beere nigbagbogbo
Kini Skeleton-of-Thought Parallel Decoding?
Skeleton-of-Thought (SoT) jẹ ilana imuniyanju ati iyipada ti o kọkọ beere awoṣe ede lati ṣe ilana egungun kukuru ti awọn aaye idahun, lẹhinna faagun aaye kọọkan ni afiwe. O ṣe pataki nitori pe o le ge airi aago odi ti awọn idahun gigun nipasẹ aijọju 2x laisi atunṣe awoṣe naa.
Kini ipele akọkọ ti Egungun-ti-ero gbejade?
SoT kọkọ ta awoṣe lati gbe egungun terse kan ti awọn akọle aaye, eyiti o pọ si lọtọ.
Kini idi ti ipele imugboroja ojuami le ṣiṣẹ ni afiwe?
Awọn aaye egungun jẹ apẹrẹ lati jẹ ominira, nitorinaa fifẹ wọn ko nilo iduro fun awọn arakunrin.
Kini awọn ibi-afẹde SoT akọkọ igo ni iyipada LLM deede?
Iyipada koodu boṣewa jẹ aisi-aarin nitori pe ami kọọkan nduro fun iṣaaju; Awọn agbekọja SoT ṣiṣẹ lati dinku akoko aago odi.
Fun iru ibeere wo ni SoT funni ni iyara ti o tobi julọ?
Awọn idahun ti o bajẹ si ọpọlọpọ awọn ẹya ominira ni anfani pupọ julọ, niwọn igba ti apakan kọọkan n gbooro ni igbakanna.
Iru oke wo ni SoT ṣafikun ni akawe si iran lẹsẹsẹ kan?
Ipele egungun ṣe afikun idaduro kekere ti o wa titi, eyiti o jẹ iwuwo nipasẹ imugboroja ni afiwe lori awọn idahun gigun.