Apejuwe Aṣoju
Iṣapẹẹrẹ aṣoju jẹ ọna iran-ọrọ ti o mu ọrọ atẹle lati awọn ami ami ti akoonu alaye wa nitosi iyalẹnu ti awoṣe ti a nireti, kuku ju nigbagbogbo mu awọn ti o ṣeeṣe julọ.
Akopọ
It aims for output that feels natural and human-like by matching how real language balances predictability and novelty.
Jin Dive
Nigbati awoṣe ede kan ba sọ asọtẹlẹ ami atẹle, o ṣe agbejade pinpin iṣeeṣe lori ẹgbẹẹgbẹrun awọn aṣayan. Awọn ọna ojukokoro ati oke-k ṣe ojurere awọn ami iṣeeṣe giga, eyiti o le jẹ ki ọrọ atunwi ati alaburuku. Iṣapẹẹrẹ aṣoju, ti a ṣe nipasẹ Meister ati awọn ẹlẹgbẹ ni 2022, gba igun ti o yatọ ti fidimule ninu ilana alaye. Awoṣe naa ṣe iṣiro akoonu alaye ti o nireti (entropy ti pinpin). Awọn aami lẹhinna gba wọle nipasẹ bi o ṣe jinna iyalẹnu tiwọn lati inu ireti yẹn. Iṣapẹẹrẹ deede n tọju ṣeto awọn ami-ami ti iyalẹnu rẹ sunmọ iwọn apapọ titi ti iṣeeṣe apapọ wọn yoo de opin kan, lẹhinna awọn ayẹwo lati ṣeto yẹn. Abajade jẹ ọrọ ti kii ṣe iyalẹnu laileto tabi asọtẹlẹ alakanṣoṣo, ti n ṣe afihan ọna ti eniyan ṣe ibasọrọ nipa ti ara nitosi oṣuwọn alaye iduro.
Imọ-imọ-ẹrọ
Fun aami oludije kọọkan awoṣe ṣe iṣiro iyalẹnu, iṣeeṣe log-odi. O tun ṣe iṣiro entropy ni àídájú, iyanilẹnu-iwọn iwọn iṣeeṣe lori gbogbo awọn ami-ami. Iṣapẹẹrẹ deede ni awọn ami ami nipasẹ iyatọ pipe laarin iyalẹnu wọn ati entropy yẹn, lẹhinna fi ojukokoro ṣafikun awọn ami ti o sunmọ julọ titi iṣeeṣe akopọ wọn yoo de ibi paramita kan (nigbagbogbo ni ayika 0.9 si 0.95). Iṣapẹẹrẹ n ṣẹlẹ nikan ni inu eto aṣoju agbegbe yii, tipapa mejeeji awọn itusilẹ to gaju ati awọn yiyan iṣeeṣe giga-giga julọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Apẹrẹ Aṣoju
Iṣapẹẹrẹ aṣoju n di aṣayan boṣewa lẹgbẹẹ oke-p ati oke-k ni awọn akopọ itọkasi orisun-ìmọ bi llama.cpp ati Awọn Ayirapada Oju Face. Reti lilo idagbasoke ni kikọ ẹda, ijiroro, ati iran itan nibiti iyipada ailewu aṣeju ṣe ipalara didara. Awọn oniwadi n ṣopọpọ pẹlu awọn ala ti nmu badọgba ti o yipada fun ọrọ-ọrọ ati apapọ rẹ pẹlu awọn ijiya atunwi. Gẹgẹbi iyipada imọ-ijinlẹ ti n dagba, iṣapẹẹrẹ aṣoju le sọfun aifọwọyi, awọn ọna mimọ pinpin ti o yọkuro awọn eto iwọn otutu ti a fi ọwọ ṣe.
Real-World imuse
Ipilẹṣẹ itan-akọọlẹ tabi ewi nibiti didakọ ojukokoro ṣe agbejade ṣigọgọ, prose atunwi ati awọn onkọwe fẹ awọn oriṣiriṣi adayeba diẹ sii.
Awọn idahun chatbot ti o ni agbara ti o yago fun roboti, gbolohun ọrọ agbekalẹ lakoko ti o wa ni ibamu ati lori koko-ọrọ.
Wa bi asia iyipada (typical_p) ni Awọn Ayirapada Oju Face fun awọn olupilẹṣẹ ti n ṣatunṣe abajade awoṣe orisun-ìmọ.
Ti a lo ni awọn akoko ṣiṣe LLM agbegbe bi llama.cpp ati text-generation-webui gẹgẹbi yiyan si oke-p fun ọrọ ti o ni oro sii, ti o dinku.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Typical Sampling quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Ijerisi Iṣapeye Speculative
Awọn ibeere ti a beere nigbagbogbo
What is Typical Sampling?
Iṣapẹẹrẹ aṣoju jẹ ọna iran-ọrọ ti o mu ọrọ atẹle lati awọn ami ami ti akoonu alaye wa nitosi iyalẹnu ti awoṣe ti a nireti, kuku ju nigbagbogbo mu awọn ti o ṣeeṣe julọ. O ṣe ifọkansi fun iṣelọpọ ti o ni rilara adayeba ati bii eniyan nipa ibaamu bii ede gidi ṣe ṣe iwọntunwọnsi asọtẹlẹ ati aratuntun.
Ohun ti mojuto opoiye wo ni aṣoju iṣapẹẹrẹ afiwe kọọkan oludije àmi lodi si?
Iṣapẹẹrẹ aṣoju ṣe iwọn bawo ni iyalẹnu ami ami kọọkan ti wa lati entropy pinpin, akoonu alaye ti a nireti, titọju awọn ami ti iyalẹnu rẹ sunmọ apapọ yẹn.
Bawo ni iṣapẹẹrẹ aṣoju ṣe tọju aami kan ti o ṣeeṣe julọ julọ?
Aami iṣeeṣe ti o ga pupọ ni iyalẹnu kekere pupọ, eyiti o le jinna si apapọ, nitorinaa iṣapẹẹrẹ aṣoju le fi silẹ kuro ninu oludije ti a ṣeto ni ojurere ti awọn ami 'aṣoju' diẹ sii.
Apẹẹrẹ wo ni o ni iwuri nipa ede eniyan?
Ọna naa fa lori arosọ pe ede ti ara wa ni isunmọ si iwọn alaye aṣọ kan, nitorinaa o ṣe ojurere awọn ami-ami ti o mu iyalẹnu isunmọ si apapọ.
Kini paramita tau ni iṣakoso iṣapẹẹrẹ aṣoju?
Tau ṣeto iṣeeṣe akojo afojusun; àmi sunmo si entropy ti wa ni afikun titi ti won ni idapo iṣeeṣe Gigun tau, asọye awọn ṣeto lati awọn ayẹwo lati.
Ninu iru sọfitiwia wo ni iṣapẹẹrẹ aṣoju ti o wọpọ si awọn olupilẹṣẹ?
Iṣapẹẹrẹ aṣoju jẹ imuse bi aṣayan yiyan (fun apẹẹrẹ aṣoju_p) ni awọn ile-ikawe bii Awọn Ayirapada Oju-ara Hugging ati awọn asiko ṣiṣe agbegbe bii llama.cpp.