Kuunganisha kwa Mfano
Kuunganisha kwa modeli kunachanganya uzani wa mitandao miwili ya neva iliyofunzwa katika muundo mmoja - bila mafunzo yoyote au ufikiaji wa data asili ya mafunzo.
Muhtasari
It matters because it lets teams blend specialized skills cheaply, turning expensive fine-tuned models into reusable building blocks.
Dive ya kina
Kuunganisha kwa mfano kunaunganisha vigezo halisi (uzito) vya miundo mingi inayoshiriki usanifu sawa. Njia rahisi zaidi, wastani wa uzito, inachukua tu maana ya uzani unaolingana. Mbinu bora zaidi hufanya kazi na 'vekta za kazi' - tofauti kati ya modeli iliyosasishwa vizuri na msingi wake. Kuongeza vekta ya kazi huingiza ujuzi; kuiondoa kunaweza kuondoa tabia isiyotakikana. Mbinu kama vile TIES-Kuunganisha na kupunguzwa kwa DARE na kupunguza vekta hizi ili kupunguza mwingiliano wakati miundo mingi imeunganishwa. Kwa sababu hakuna mteremko wa upinde rangi au data inayohitajika, muunganisho hudumu kwa sekunde kwenye kompyuta ndogo. Kukamata: inafanya kazi tu wakati mifano inashuka kutoka kwa msingi wa kawaida na kuishi katika maeneo yanayolingana ya nafasi ya uzani.
Ufahamu wa Kiufundi
Wazo kuu ni kwamba urekebishaji mzuri husogeza uzani kwenye 'bonde la hasara' karibu na muundo wa msingi. Vekta ya kazi ni rahisi (uzani uliopangwa vizuri ukiondoa uzani wa msingi). Kwa sababu vekta hizi ni takriban za mstari na mara nyingi zinakaribiana-orthogonal katika kazi mbalimbali, unaweza kuongeza kadhaa pamoja na muundo uliounganishwa uhifadhi kila ujuzi. TIES na DARE kwanza hukata delta zenye uzito mdogo au zinazokinzana ili kukata kutokubaliana kwa ishara, kisha kuunganisha, kuzuia kazi moja kubatilisha nyingine.
Athari za kimkakati
Cost and budget
Maamuzi ya usanifu huendesha utendaji na gharama ya uendeshaji kwa miaka.
Maamuzi ya wazi zaidi
Elimu ya kiufundi husaidia timu kuchagua safu sahihi, sio tu mpya zaidi.
Quality control
Chaguo bora za uhandisi hupunguza matukio ya kuaminika katika uzalishaji.
Mustakabali wa Kuunganisha Mfano
Tarajia kuunganishwa ili kuwa sehemu ya kawaida ya 'minyororo ya ugavi.' Hubs tayari hupangisha maelfu ya vituo vya ukaguzi vinavyoweza kuunganishwa, na zana kama vile mergekit hufanya mapishi kushirikiwa. Utafiti unaelekea kwenye utafutaji wa kuunganisha kiotomatiki (algoriti za mageuzi zinazochukua uwiano wa mchanganyiko wa busara), kuunganisha katika usanifu tofauti kidogo, na kuunganisha vipengele vya Mchanganyiko-wa-Wataalam kwenye kuruka. Kadiri tungo safi zinavyoongezeka, kuunganisha kunatoa njia isiyolipishwa ya kutunga uwezo, ingawa utoaji leseni na asili ya miundo iliyounganishwa kutahitaji viwango vilivyo wazi zaidi.
Utekelezaji wa Ulimwengu Halisi
Inachanganya muundo uliosanifiwa na muundo ulioratibiwa na gumzo ili LLM moja iandike msimbo na kuzungumza kawaida, bila kujizoeza tena.
Majaribio ya mageuzi ya kuunganisha ambayo yaliunganisha muundo wa lugha ya Kijapani na muundo wa hesabu wa Kiingereza ili kutoa kisuluhishi dhabiti cha hesabu cha lugha ya Kijapani.
Kutoa vekta ya kazi ya 'sumu' kutoka kwa uzani wa modeli ili kupunguza matokeo hatari bila kukusanya data mpya ya usalama.
Kuunganisha adapta kadhaa za LoRA zilizofunzwa juu ya mitindo tofauti ya uandishi kuwa modeli moja ambayo inaweza kubadilisha toni kwa urahisi.
Hatari & Walinzi
Kuboresha kiwango kimoja kunaweza kuficha udhaifu mkubwa wa mfumo.
Gharama za miundombinu na matengenezo mara nyingi hupunguzwa.
Mapengo ya usalama na uonekanaji yanaweza kukua kadiri mifumo inavyozidi kuwa ngumu.
Ramani ya Utekelezaji
Bainisha muda, ubora na malengo ya gharama kabla ya utekelezaji.
Benchmark chini ya mzigo halisi na hali ya data.
Ufuatiliaji wa ala kwa makosa, kuteleza, na athari za mtumiaji.
Tayarisha njia za urejeshaji na majibu ya matukio kabla ya kuongeza ukubwa.
Endelea Kuchunguza
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Mwongozo unaofuata
Kuunganisha kwa Mfano wa Mageuzi wa Sakana AI
Maswali yanayoulizwa mara kwa mara
What is Model Merging?
Kuunganisha kwa modeli kunachanganya uzani wa mitandao miwili ya neva iliyofunzwa katika muundo mmoja - bila mafunzo yoyote au ufikiaji wa data asili ya mafunzo. Ni muhimu kwa sababu huruhusu timu kuchanganya ujuzi maalum kwa bei nafuu, na kubadilisha miundo ya bei ghali iliyosanifiwa vizuri kuwa vijenzi vinavyoweza kutumika tena.
Kuunganisha kwa mfano kunachanganya nini kimsingi?
Kuunganisha kwa modeli kunafanya kazi moja kwa moja kwenye uzani/vigezo vilivyojifunza vya miundo, kuviunganisha katika seti moja, badala ya kuchanganya data au matokeo ya wakati wa utekelezaji.
Kwa nini kuunganisha kwa mfano kunaweza kukimbia kwa sekunde kwenye vifaa vya kawaida?
Kwa sababu kuunganisha kimsingi kuna uzani wa hesabu juu ya uzani uliopo, hakuna uenezaji wa gharama kubwa au pasi ya data inayohusika.
Je, mbinu kama vile TIES-Kuunganisha na DARE hushughulikia tatizo gani hasa?
TIES na DARE hukata na kupunguza viveta vya kazi ili kupunguza masasisho yanayokinzana (ya ishara-nyingine), ili jukumu moja lisifute lingine.
Je, kuunganisha kunawezaje kutumika ili *kuondoa* tabia isiyofaa?
Kukanusha (kuondoa) vekta ya kazi iliyounganishwa na sifa isiyohitajika, kama vile sumu, kunaweza kuelekeza kielelezo mbali na tabia hiyo.