InayofuataMwongozo unaofuata
Uboreshaji wa Mapendeleo ya Moja kwa moja
Lugha AI
Lugha AI MWONGOZO
Uboreshaji wa Kahneman-Tversky
Uboreshaji wa Kahneman-Tversky (KTO) ni mbinu ya upatanishi ambayo hujifunza kutoka kwa lebo rahisi za kugusa-juu au gumba badala ya ulinganisho uliooanishwa.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
Katika ukurasa huudk 2 kusoma
Muhtasari
It matters because binary feedback is far easier and cheaper to collect than the ranked pairs most methods demand.
Dive ya kina
KTO, iliyoanzishwa na Ethayarajh na wenzake katika Stanford na Contextual AI mnamo 2024, inakopa kutoka kwa nadharia ya matarajio, kazi ya mshindi wa Nobel ya Daniel Kahneman na Amos Tversky kuhusu jinsi wanadamu wanavyothamini faida na hasara. Mbinu za kawaida kama vile DPO zinahitaji jozi za mapendeleo: jibu lililochaguliwa na lililokataliwa kwa dodoso sawa. KTO badala yake hufanya kazi na data ambayo haijaoanishwa ambapo kila matokeo ya mtu binafsi yamewekwa alama ya kuhitajika au yasiyofaa. Hujenga hasara inayotambulika na binadamu ambayo hushughulikia uboreshaji wa sampuli kama faida au hasara inayohusiana na pointi ya marejeleo, kutumia chuki ya hasara ili matokeo yasiyofaa yaadhibiwe kwa kasi zaidi kuliko yale yanayohitajika kutuzwa. Hii huruhusu timu kutumia ishara nyingi za gumba-juu/chini ambazo tayari zimekusanywa katika programu za uzalishaji.
Utekelezaji wa Ulimwengu Halisi
Kwa kutumia kubofya kwa dole gumba/dole-chini kutoka kwa gumzo lililotumika ili kuisawazisha bila kuunda jozi za mapendeleo.
Kupanga mfano unapokuwa na rundo la majibu 'nzuri' na 'mbaya' lakini hakuna ulinganisho unaolingana wa maongozi sawa.
Timu ya bidhaa inachakata bendera za udhibiti (zisizohitajika) na majibu yaliyohifadhiwa (yanafaa) katika mafunzo ya KTO.
Kushughulikia maoni yasiyo na usawa ambapo kutopendwa ni nadra kuliko kupendwa kwa kurekebisha chuki ya KTO na uzani wa darasa.
Mustakabali wa Uboreshaji wa Kahneman-Tversky
KTO inafaa kwa bidhaa halisi, ambapo watumiaji kwa kawaida hubofya kama au kutopenda lakini mara chache huweka majibu mawili kando. Tarajia upitishaji mpana zaidi wa misururu ya uboreshaji inayoendelea ambayo hurejesha maoni ya uzalishaji, pamoja na utafiti kupanga uwiano wa data unaohitajika hadi usiohitajika na uzito wa kuchukia hasara. Kuchanganya uundaji wa kitabia-uchumi wa KTO na malengo mengine, na kuitumia kwa maoni ya aina nyingi, ni mielekeo inayotumika wakati timu zinapotafuta upatanishi kutoka kwa ishara mbaya za ulimwengu halisi.
Kuiweka katika vitendo
Kwa nini ni muhimu
- Kasi na kiwango. Mitiririko ya kazi ya lugha inaweza kusonga kwa kasi zaidi bila kuacha uthabiti.
- Kufikia na kufikia. Inapanua ufikiaji katika lugha na mitindo ya mawasiliano.
- Maamuzi ya wazi zaidi. Timu zinaweza kutumia muda mwingi kufanya uamuzi huku otomatiki ikishughulikia marudio.
Jihadharini na
- Mambo ya ukweli yanaweza kuingiza ripoti kwa utulivu, mitiririko ya usaidizi, au matokeo ya utafiti.
- Usikivu wa haraka unaweza kuunda matokeo yasiyolingana katika maombi sawa.
- Data nyeti ya maandishi inaweza kufichuliwa ikiwa vidhibiti vya ufikiaji ni dhaifu.
Hatua zinazofuata
- Bainisha umbizo la towe, toni na viwango vya ubora kabla ya kusambaza.
- Majibu ya msingi na vyanzo vinavyoaminika wakati wowote usahihi ni muhimu.
- Weka ukaguzi wa ukaguzi wa kibinadamu kwa matokeo ya juu.
- Fuatilia mifumo ya kushindwa na fundisha tena vidokezo au mtiririko wa kazi mara kwa mara.
Endelea Kuchunguza
Jarida halali
Pata taarifa ya kila siku ya AI
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Take the Kahneman-Tversky Optimization quiz
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Maswali yanayoulizwa mara kwa mara
What is Kahneman-Tversky Optimization?
Uboreshaji wa Kahneman-Tversky (KTO) ni mbinu ya upatanishi ambayo hujifunza kutoka kwa lebo rahisi za kugusa-juu au gumba badala ya ulinganisho uliooanishwa. Ni muhimu kwa sababu maoni ya jozi ni rahisi sana na kwa bei nafuu kukusanya kuliko jozi zilizoorodheshwa ambazo njia nyingi huhitaji.
KTO inahitaji data ya aina gani?
KTO hujifunza kutoka kwa lebo rahisi za gumba-juu/chini kwa kila mfano badala ya jozi za mapendeleo zinazolingana.
KTO imehamasishwa na kazi gani?
KTO hukopa wazo la nadharia ya matarajio ya kuthamini faida na hasara bila ulinganifu, kwa hivyo jina.
Je, 'chukizo la hasara' kama linavyotumika katika KTO ni nini?
Nadharia ya matarajio inasema hasara huongezeka zaidi kuliko faida, kwa hivyo KTO hupima mikengeuko hasi kwa uzito zaidi.
What kind of feedback can KTO learn from without requiring paired comparisons?
KTO’s paper studies alignment from binary desirable/undesirable feedback on individual outputs; it still needs appropriate data and setup.
Katika KTO, kupotoka hupimwa kulingana na nini?
Utendakazi wa thamani wa KTO huamua kama jibu liko juu au chini ya msingi wa marejeleo, ikichukulia hilo kama faida au hasara.
Endelea kujifunza
Miongozo inayohusiana
Miongozo zaidi imechaguliwa kwa mada hii