Egún ipadasẹhin ni LLMs
Eegun iyipada jẹ ipo ikuna iyalẹnu nibiti awoṣe ede ti o kọ ẹkọ 'A jẹ B' ko le dahun ni igbẹkẹle 'B jẹ A.' O ṣe afihan pe awọn LLM tọju awọn ododo bi awọn ẹgbẹ itọsọna kan, kii ṣe bii imọ-jinlẹ.
Jin Dive
Ti ṣe akọsilẹ ni iwe 2023 nipasẹ Berglund ati awọn ẹlẹgbẹ, eegun iyipada fihan pe ti o ba jẹ ikẹkọ awoṣe kan lori 'iya Tom Cruise ni Mary Lee Pfeiffer,' o nigbagbogbo kuna nigbati o beere 'Ta ni ọmọ Mary Lee Pfeiffer?' bí ó tilẹ̀ jẹ́ pé ìdáhùn náà bára mu. Ipa naa wa kọja awọn iwọn awoṣe ati paapaa lẹhin titọ-ti o dara lori awọn ọgọọgọrun iru awọn otitọ. Kii ṣe aafo iranti: awoṣe ti rii alaye naa, ṣugbọn ni aṣẹ kan nikan. Nitoripe ikẹkọ ṣe iṣapeye asọtẹlẹ tokini atẹle lori aṣẹ ọrọ gangan ninu data naa, ọna asopọ iṣiro lati A si B ko ṣẹda ọna asopọ kan laifọwọyi lati B pada si A. Wiwa awọn arosinu ti o nija ti iwọn nikan ṣe agbejade irọrun, ironu bi eniyan lori awọn otitọ.
Imọ-imọ-ẹrọ
Awọn Ayirapada kọ ẹkọ nipa sisọ asọtẹlẹ ami atẹle ti a fun ni ipo iṣaaju, nitorinaa awọn imudojuiwọn iwọntunwọnsi ṣe okunkun maapu itọnisọna 'A lẹhinna B' ṣugbọn fi 'B lẹhinna A' laifọwọkan ayafi ti aṣẹ yẹn tun han ni ikẹkọ. Awọn itọnisọna meji n gbe ni awọn ipa ọna iwuwo lọtọ. Awọn oniwadi jẹrisi eyi nipa wiwọn awọn iṣeeṣe log: lẹhin kikọ ẹkọ otitọ siwaju, iṣeeṣe alaye yiyipada duro nitosi ipilẹ-ipilẹ, ti n ṣafihan ko si iṣiparọ ọgbọn ọgbọn ti o waye lakoko ikẹkọ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Eegun Yipada ni LLMs
Awọn ilọkuro labẹ ikẹkọ pẹlu imudara data bidirectional (fifi awọn gbolohun ọrọ iyipada), awọn ibi ikẹkọ ti o sọ asọtẹlẹ awọn ami ni awọn itọsọna mejeeji, ati awọn ọna ṣiṣe imupadabọ ti o wo awọn ododo ni ọna afọwọṣe dipo gbigbekele awọn iwuwo ti o ti ranti. Diẹ ninu awọn ile ayaworan tuntun ati awọn adanwo ikẹkọ-pada-pada dinku aafo naa. Reti egún naa lati dinku ṣugbọn kii ṣe afẹ, bi o ṣe nfihan aiṣedeede ti o jinlẹ laarin ẹkọ ti o tẹle ati eto alamọdaju ti awọn ibatan gidi-aye.
Real-World imuse
A chatbot sọ deede obi olokiki ṣugbọn o kuna nigbati wọn beere lati lorukọ ọmọ olokiki ti obi yẹn.
Awoṣe kan sọ 'Alakoso kẹsan ni William Henry Harrison' sibẹsibẹ kọsẹ lori 'aare nọmba wo ni William Henry Harrison.'
Oluranlọwọ ifaminsi ti o kọ ẹkọ iṣẹ-si-apejuwe aworan agbaye ko le gba orukọ iṣẹ pada lati apejuwe nikan.
Eto QA iṣoogun ti oṣiṣẹ lori 'Oògùn X awọn itọju Ipò Y' kuna lati ṣe atokọ Oògùn X nigba ti a beere kini awọn itọju Ipò Y.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
ChatGPT & LLMs
Awọn ibeere ti a beere nigbagbogbo
Kini Reversal Curse ni LLMs?
Eegun iyipada jẹ ipo ikuna iyalẹnu nibiti awoṣe ede ti o kọ ẹkọ 'A jẹ B' ko le dahun ni igbẹkẹle 'B jẹ A.' O ṣe afihan pe awọn LLM tọju awọn ododo bi awọn ẹgbẹ itọsọna kan, kii ṣe bii imọ-jinlẹ.
Kí ni ìyípadà ègún ṣàpèjúwe?
Eegun iyipada ni ikuna lati sọ 'B jẹ A' lati ikẹkọ lori 'A jẹ B,' botilẹjẹpe awọn mejeeji jẹ deede deede.
Kini idi ti eegun ipadasẹhin naa waye, ni iṣelọpọ?
Nitoripe ikẹkọ ṣe iṣapeye asọtẹlẹ ti ami atẹle ni ilana ti a ṣakiyesi deede, maapu yiyipada ko ni fikun rara ayafi ti o tun han ni ikẹkọ.
Njẹ iwọn awoṣe ti o pọ si ni igbẹkẹle ṣe atunṣe eegun ipadasẹhin naa?
Iwadi atilẹba ti rii eegun ti o waye kọja ọpọlọpọ awọn iwọn awoṣe, ti n tọka iwọn nikan ko yanju rẹ.
Ilọkuro wo ni taara dojukọ eegun ipadasẹhin?
Augmentation data bidirectional ṣafihan awoṣe si mejeeji 'A jẹ B' ati 'B jẹ A,' ṣiṣẹda ẹgbẹ iyipada ti o padanu.
Bawo ni awọn oniwadi ṣe jẹrisi awoṣe naa ko ti kọ ẹkọ nitootọ?
Iṣeeṣe alaye ti o yi pada duro nitosi ipilẹ-ipilẹ lẹhin ikẹkọ siwaju, ti n ṣafihan ko si ipadasẹhin ọgbọn ti o ṣẹlẹ.