InayofuataMwongozo unaofuata
Masomo ya Kusoma na Kuandika ya AI kwa Shule ya Kati
Lugha AI
Lugha AI MWONGOZO
Athari ya 'imepotea katikati' ni tabia ya modeli za lugha kutumia habari vyema inapoonekana mwanzoni au mwisho wa ingizo refu, huku ikipuuza ukweli uliozikwa katikati.
Sikiliza mwongozo huuInaonyeshwa na AI · ~2 min
It matters because it limits how much we can trust long-context models with retrieved documents.
Ilibainishwa katika utafiti wa 2023 na Liu na wenzake kutoka Stanford, athari ilionekana wakati wanamitindo walipewa hati nyingi na kuulizwa kujibu kwa kutumia moja ambayo ilikuwa na ukweli muhimu. Usahihi ulitengeneza mkunjo wenye umbo la U: juu zaidi wakati kifungu husika kilipoketi mwanzoni au mwisho wa kidokezo, na chini kabisa kilipokaa katikati. Hii ilifanyika hata kwa miundo iliyouzwa kama uwezo wa muktadha mrefu. Maana yake ni makali kwa kizazi cha urejeshaji-augmented: kujaza vifungu kadhaa kwenye papo hapo hakuhakikishii kwamba modeli itazisoma kwa usawa. Msimamo, sio uwepo tu, hutengeneza ikiwa mwanamitindo anazingatia ukweli. Kazi ilibadilisha muktadha mrefu kama swali la matumizi bora, sio saizi ghafi ya dirisha.
Mfumo wa RAG hurejesha hati 20 lakini hukosa jibu kwa sababu ilitua katika kifungu cha 10 kati ya 20.
Wahandisi huweka upya matokeo ya utafutaji ili kuweka sehemu muhimu zaidi ya kwanza au ya mwisho katika dodoso.
Muhtasari wa hati ndefu hupunguzia maelezo muhimu ambayo yanaonekana katikati ya mkataba.
Alama ya 'sindano kwenye rundo la nyasi' huficha ukweli katika kina tofauti ili kuorodhesha usahihi wa msimamo wa modeli.
Watafiti wanashughulikia athari kwa marekebisho ya umakini, mafunzo ya kutambua nafasi, na urejeshaji nadhifu ambao huweka upya vifungu muhimu zaidi kwenye kingo za kidokezo. Vyumba vya tathmini sasa vinajumuisha majaribio ya 'sindano kwenye mshikamano' katika nafasi zote ili kupima muktadha unaofaa. Kadiri usanifu unavyoboreka, U-curve inatambaa, lakini watendaji wataendelea kubuni mabomba ambayo yanaweka ushahidi muhimu ambapo modeli huonekana badala ya kuamini uangalizi sawa.
Jarida halali
Hadithi tatu za AI zilizothibitishwa kila asubuhi ya wiki, zimetengenezwa kwa Kiingereza rahisi. Bila malipo daima, hakuna matangazo.
Barua pepe moja kila siku ya wiki. Jiondoe kwa bonyeza moja. Hatutauza au kushiriki anwani yako.
Jijaribu mwenyewe
Maoni ya haraka juu ya kila jibu, na cheti kinachoweza kushirikishwa na kitambulisho kinachoweza kuthibitishwa baada ya kupita kozi.
Changia elimu ya AI bila malipo. AI Understanding ni 501(c)(3) isiyo na faida — hakuna matangazo, hakuna kizuizi cha malipo, daima. Toa mchango
Athari ya 'imepotea katikati' ni tabia ya modeli za lugha kutumia habari vyema inapoonekana mwanzoni au mwisho wa ingizo refu, huku ikipuuza ukweli uliozikwa katikati. Ni muhimu kwa sababu inaweka mipaka ni kiasi gani tunaweza kuamini miundo ya muktadha mrefu na hati zilizorejeshwa.
The paper observed a U-shaped pattern with weaker performance in the middle.
The study evaluated long-context use with retrieval-style tasks.
The study found performance can depend on the position of relevant information.
The guide says stuffing passages does not ensure they are used evenly.
The paper observes that position affects effective use, not simply presence.
Endelea kujifunza
Miongozo zaidi imechaguliwa kwa mada hii
InayofuataMwongozo unaofuata
Masomo ya Kusoma na Kuandika ya AI kwa Shule ya Kati
Lugha AI