LLMs
Bañ bu ñu delloo ap anam bu yeeme la ndax xeetu lakk bu jang 'A moy B' munul tontu ci anam wu wóór 'B moy A.' Dafay wane ni LLM yi dañuy denc mbir yi ni kuréel yu am benn yoon, duñu ni xam-xam bu symétrique.
Plongeur bu xóot
Berglund ak ay naataangoom bind nañu ko ci benn këyitu atum 2023, mbañeel bi defay wone ni su benn mannekin taggat ci 'Yaayu Tom Cruise moy Mary Lee Pfeiffer' defay faral di lajj su ñu ko laaje 'Kan mooy doomu Mary Lee Pfeiffer?' doonte tontu li dafay nuru. Efe bi dafay wéy ci tolluwaayu model yi ba ci ginaaw ñu defaree téemeeri mbir yu mel noonu. Du benn bërëb ci fàttaliku: model bi gis na xibaar bi, waaye ci benn yoon kese. Ndax tàggat yaram dafay gëna baaxal xam-xam bi ci topp ci njubluwaay baat yi ci done yi, lëkkalekaay biy tàmbalee ci A ba ci B du sos ci saasi lëkkalekaay bu bawoo ci B ba ci A. Gis-gis bi dafa werante xalaat yi ne escalier kese mooy defar xalaat yu yomb, yu niro ak nit ci kaw dëgg.
Gis-gis xarala
Transformers yi dañuy jàng ci wax luy waaja am ci token bi ci topp, kon coppite gradient yi dañuy gëna dooleel kartograafi 'A ginaaw B' waaye bàyyi 'B ginaaw A' te kenn laalu ko fileek yoon woowu feeñul ci tàggat bi. Ñaari yoon yooyu ñu ngi dundu ci yooni diisaay yu wuute. Gëstukat yi firndeel nañu ko ci natt log-probabilities: ginaaw bi ñu jàngee lu jëm kanam, probabilite bi ci wax ju dellu ginaaw des ci wetu baseline bi, di wane ni amul benn inversion logique bu nëbbu bu am ci diiru tàggat bi.
njeextalu pexe
Gaawaay ak yaatuwaay
Liggéeyukaay yi ci làkk yi mën nañu gëna gaaw te duñu yàq deggoo gi.
Dugg ak yegg
Dafay yaatal jëfandikoo gi ci làkk yi ak ci anam yi ñuy jokkoo.
dogal yu gëna leer
Ekip yi mën nañu gëna yàgg ci àtte ci jamono ji otomatisation di liggéey ci baamtu.
Ëlëgu mbañeel ci LLMs
Mitigations yi ñuy jàngat bokkuna ci yokk done ci ñaari yoon (yokkum ay frase yuñ delloo), mébetu tàggat yiy wax luy waaja am ci ñaari yoon yi, ak sistem yuy seet mbir yi ci anam wu symétriquement moo gën ñuy wéeru ci diisaay yuñ xam. Yenn architecture yu bees ak jàngat yu ñuy njëkka def ngir wàññi bërëb bi. Xaarandil ni musiba bi dina wàññeeku waaye du ni mes, ndax dafay wane ñàkka méngoo bu xóot bi am ci digganté njàngum token bu ci topp ak structure symétrique ci diggante àdduna dëgg.
Doxal ci àdduna dëgg
Chatbot dafay wax waajur bu siiw ci anam wu jaar yoon, waaye suñu ko laajee tuddee doomu waajur bu siiw bi, du wax.
Benn xeetu nit neena ' jiroom ñeenteelu njiitu réew ma moy William Henry Harrison' waaye nak mungi fakkastalu ci ' ban njiit moo nekkoon William Henry Harrison.'
Assistant codage bi jàng mapping fonction-à-description mënul am tur fonction ci description bi kese.
Benn sistem QA medikaal buñu tàggat ci 'Drog X dafay faj feebar Y' mënul lim Drog X suñu ko laajee lan mooy faj feebar Y.
Risk yi ak balustrade yi
Lépp lu jaarul yoon mën na dugg ci rapoor yi, jàppale ci liggéey bi, wala ci njariñu gëstu bi.
Sensibilite bu gaaw mën na jur njariñ yu wuute ci laajte yu noonu mel.
Done yu am solo mën nañu feeñ sudee seytu jëfandikoo gi néew doole.
Roadmap ngir samp gi
Mandargal formaa génne gi, melokaan bi, ak standard kalite yi laata ngay dugal ko.
Tontu yu am solo ak balluwaay yu wóor saa yu dëggu bi di am solo.
Fexeel am barabu xool nit ñi ngir am njariñ yu am solo.
Toppal anami gacce yi ak di faral di tàggataat ay laaj wala def-liggéey.
Weyal di banneexu
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Reversal Curse in LLMs quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Gis bi ci topp
ChatGPT & LLMs
Laaj yi ñuy faral di laaj
What is Reversal Curse in LLMs?
Bañ bu ñu delloo ap anam bu yeeme la ndax xeetu lakk bu jang 'A moy B' munul tontu ci anam wu wóór 'B moy A.' Dafay wane ni LLM yi dañuy denc mbir yi ni kuréel yu am benn yoon, duñu ni xam-xam bu symétrique.
Luy mbañeel biy tekki?
Bañkat biy soppiku mooy ñàkka xam 'B mooy A' ci tàggat ci 'A mooy B,' doonte ñaar ñi dañuy nuru ci logique.
Lan moo waral musiba biy dellu ginaaw di am, ci anam wu mekanik?
Ndax tàggat yaram dafay gëna mëna wax luy waaja xew ci token bi ci topp ci yoon wiñ ko seetlu, mën nañu ni duñu musa dooleel kartograafi inverse bi fileek feeñul ci tàggat yaram.
Ndax yokk dayo model bi mën na saafara jafe-jafey dellu ginaaw?
Gëstu bu njëkk bi dafa wane ni musiba bi dafa am ci xeetu model yu bari, loolu dafay wane ni scale kese mënul saafara jafe-jafe bi.
Ban mitigation mooy directement jublu ci mbañeel bi?
Yokkateg done ci ñaari yoon dafay wane model bi ci 'A mooy B' ak 'B mooy A,' sos mbootaay bu dellu ginaaw bi ñàkk.
Naka la gëstukat yi mënee firndeel ni xeetu nit ñi jàngu ñu ci lu wuute?
Wax ji ñu delloo ci probabilite bi des ci wetu baseline bi ginaaw biñu tàggatee ci kanam, loolu dafay wane ni amul benn inversion logique bu am.