Next-Tokini Asọtẹlẹ
Asọtẹlẹ ami-tẹle jẹ ibi-afẹde ti o rọrun ti ẹtan lẹhin awọn awoṣe ara-GPT: fun ohun gbogbo ti o wa titi di isisiyi, gboju ṣoki ti ọrọ atẹle.
Akopọ
Repeated billions of times, this single task produces models that write, reason, and converse.
Jin Dive
Asọtẹlẹ ami-tẹle ṣe ikẹkọ awoṣe kan lati fi awọn iṣeeṣe si ami atẹle ti a fun ni gbogbo awọn ami ami iṣaaju. Ọrọ ti kọkọ fọ si awọn ami ami (awọn ege-ọrọ-ọrọ) nipasẹ ami-ami kan bii fifi koodu baiti-bata. Ayipada-nikan Ayirapada ka ọna ti osi si otun o si ṣejade pinpin iṣeeṣe kan lori gbogbo awọn fokabulari fun ipo atẹle. Lakoko ikẹkọ, awoṣe naa yoo ṣafihan corpora ọrọ nla ati ijiya nigbakugba ti o fi iṣeeṣe kekere si ami ami atẹle gangan. Ni akoko iran, awọn ayẹwo awoṣe tabi ojukokoro gbe ami kan, fi kun, o tun ṣe lupu yii ni aifọwọyi. Idiwọn kan yii ni irẹjẹ ti iyalẹnu: GPT-2, GPT-3, ati awọn arọpo gbogbo wọn kọ ẹkọ girama, awọn otitọ, itumọ, ati ironu ni mimọ nipa nini dara pupọ ni sisọ asọtẹlẹ atẹle.
Imọ-imọ-ẹrọ
Ilana bọtini jẹ ifarabalẹ (boju-boju) akiyesi ara ẹni: nigbati asọtẹlẹ ipo N, awoṣe le nikan wa si awọn ipo 1 nipasẹ N-1, kii ṣe ọjọ iwaju. Layer ti o wujade ṣe agbekalẹ ipo ti o farapamọ ti o kẹhin si awọn fokabulari ati lo softmax lati gba awọn iṣeeṣe. Idanileko dinku entropy-agbelebu, deede si mimu o ṣeeṣe ti ọrọ ti a ṣe akiyesi pọ si. Awọn iṣakoso iṣapẹẹrẹ bii iwọn otutu ati oke-p ṣe atunṣe pinpin ni itọkasi lati ṣowo iṣẹdanu lodi si igbẹkẹle.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Itele-àmi Asọtẹlẹ
Asọtẹlẹ ami-tẹle ṣe atilẹyin pataki gbogbo awọn awoṣe ede nla ti ode oni ati pe yoo wa ni ẹhin ti ipilẹṣẹ AI. Iwadi n fa siwaju pẹlu awọn ferese ọrọ-ọrọ gigun, arosọ ati iyipada afiwera fun iyara, ati awọn ibi-afẹde asọtẹlẹ-ọpọlọpọ ti o gboju ọpọlọpọ awọn ami ami iwaju ni ẹẹkan. Ẹkọ imudara lati awọn ipele esi eniyan lori oke lati ṣe deede awọn abajade. Aala ni ṣiṣe ohun ti o rọrun kanna din owo, yiyara, ati iṣakoso diẹ sii ni iwọn-nla lailai.
Real-World imuse
Nfi agbara ChatGPT ati awọn oluranlọwọ ti o jọra lati ṣe agbekalẹ awọn idahun ibaraẹnisọrọ ni ami kan ni akoko kan.
Pari adaṣe ati awọn didaba koodu ni awọn irinṣẹ bii GitHub Copilot bi o ṣe tẹ.
Akọpamọ awọn imeeli, awọn nkan, ati ẹda titaja lati itọsi kukuru kan.
Iran ọrọ akoko gidi ni awọn oluranlọwọ kikọ ti o pari awọn gbolohun ọrọ rẹ.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Next-Token Prediction quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Multi-Tokini Asọtẹlẹ Ikẹkọ
Awọn ibeere ti a beere nigbagbogbo
What is Next-Token Prediction?
Asọtẹlẹ ami-tẹle jẹ ibi-afẹde ti o rọrun ti ẹtan lẹhin awọn awoṣe ara-GPT: fun ohun gbogbo ti o wa titi di isisiyi, gboju ṣoki ti ọrọ atẹle. Tun awọn ọkẹ àìmọye igba, iṣẹ-ṣiṣe kanṣoṣo yii ṣe agbejade awọn awoṣe ti o kọ, ironu, ati ibaraẹnisọrọ.
Kini abajade awoṣe asọtẹlẹ ami atẹle ni igbesẹ kọọkan?
Awoṣe naa ṣe agbejade iṣeeṣe fun gbogbo ami ami atẹle ti o ṣeeṣe, lẹhinna ọkan ti yan nipasẹ iṣapẹẹrẹ tabi yiyan ojukokoro.
Iru akiyesi wo ni oluyipada ara GPT nlo?
Iboju idiwo ṣe idaniloju ipo N le rii awọn ipo nikan ṣaaju ki o toju eto asọtẹlẹ osi-si-ọtun.
Kini iran 'autoregressive' tumọ si nibi?
Iran-ara ti ara ẹni ṣe agbejade aami kan, ṣafikun rẹ si ọrọ-ọrọ, ati tun lupu naa tun.
Iṣẹ ipadanu wo ni a dinku ni igbagbogbo lakoko ikẹkọ?
Agbelebu-entropy ṣe ijiya awoṣe fun fifi iṣeeṣe kekere si ami-ami atẹle otitọ, deede lati mu iṣeeṣe pọ si.
Kini igbega iwọn otutu lakoko iṣapẹẹrẹ ṣe?
Ti o ga liLohun flatens awọn iṣeeṣe pinpin, npo randomness; iwọn otutu kekere jẹ ki awọn yiyan diẹ sii Konsafetifu.