Iṣakojọpọ awoṣe
Awoṣe dapọ awọn iwuwo ti meji tabi diẹ ẹ sii oṣiṣẹ awọn netiwọki nkankikan sinu awoṣe ẹyọkan - laisi ikẹkọ eyikeyi tabi iraye si data ikẹkọ atilẹba.
Akopọ
It matters because it lets teams blend specialized skills cheaply, turning expensive fine-tuned models into reusable building blocks.
Jin Dive
Awoṣe dapọ fuses gangan paramita (òṣuwọn) ti ọpọ awọn awoṣe ti o pin kanna faaji. Ọna ti o rọrun julọ, aropin iwuwo, o kan gba iwọn awọn iwọn ti o baamu. Awọn ọna onilàkaye diẹ sii ṣiṣẹ pẹlu 'awọn olutọpa iṣẹ' - iyatọ laarin awoṣe aifwy daradara ati ipilẹ rẹ. Ṣafikun fekito iṣẹ-ṣiṣe nfa ọgbọn kan; iyokuro o le yọ iwa ti aifẹ kuro. Awọn ilana bii TIES-Merging ati DARE gige ati tun iwọn awọn oṣooro wọnyi lati dinku kikọlu nigbati ọpọlọpọ awọn awoṣe ba papọ. Nitoripe ko si isosile gradient tabi data ti o nilo, apapọ kan nṣiṣẹ ni iṣẹju-aaya lori kọǹpútà alágbèéká kan. Apeja: o ṣiṣẹ nikan nigbati awọn awoṣe ba sọkalẹ lati ipilẹ ti o wọpọ ati gbe ni awọn agbegbe ibaramu ti aaye iwuwo.
Imọ-imọ-ẹrọ
Ero bọtini ni pe iṣatunṣe ti o dara n gbe awọn iwọnwọn lẹgbẹẹ ‘agbada isonu’ alapin kan ti o sunmọ awoṣe ipilẹ. Fekito iṣẹ-ṣiṣe kan jẹ irọrun (awọn iwọn aifwy ti o dara ati awọn iwuwo ipilẹ). Nitoripe awọn onijagidijagan wọnyi jẹ laini aijọju ati nigbagbogbo nitosi-orthogonal kọja awọn iṣẹ ṣiṣe oriṣiriṣi, o le ṣafikun pupọ papọ ati awoṣe apapọ ṣe idaduro ọgbọn kọọkan. TIES ati DARE kọkọ ge awọn deltas iwuwo kekere tabi rogbodiyan lati ge iyapa ami, lẹhinna dapọ, idilọwọ iṣẹ kan lati kọ omiran kọ.
Ipa Ilana
Iye owo ati isuna
Awọn ipinnu faaji ṣe awakọ iṣẹ ati idiyele iṣẹ fun awọn ọdun.
Awọn ipinnu diẹ sii
Ẹkọ imọ-ẹrọ ṣe iranlọwọ fun awọn ẹgbẹ lati yan akopọ to tọ, kii ṣe ọkan tuntun nikan.
Iṣakoso didara
Awọn yiyan imọ-ẹrọ to dara julọ dinku awọn iṣẹlẹ igbẹkẹle ni iṣelọpọ.
Ojo iwaju ti Iṣakojọpọ Awoṣe
Reti idapọ lati di apakan boṣewa ti awoṣe 'awọn ẹwọn ipese. Awọn ibudo ti gbalejo ẹgbẹẹgbẹrun awọn aaye ayẹwo iṣọpọ, ati awọn irinṣẹ bii mergekit jẹ ki awọn ilana jẹ pinpin. Iwadi n gbe lọ si wiwa iṣọpọ adaṣe adaṣe (awọn algoridimu itiranya ti n mu awọn iwọn idapọmọra-ọlọgbọn Layer), apapọpọ kọja awọn ọna faaji oriṣiriṣi diẹ, ati idapọ awọn paati Adapọ-ti-Amoye lori fo. Bii awọn ohun orin ipe ti o ṣii ti n pọ si, iṣakojọpọ nfunni ni ọna ọfẹ ti o sunmọ lati ṣajọ awọn agbara, botilẹjẹpe iwe-aṣẹ ati iṣafihan ti awọn awoṣe ti o dapọ yoo nilo awọn iṣedede ti o han gbangba.
Real-World imuse
Papọ awoṣe ifaminsi-aifwy pẹlu awoṣe iwiregbe-aifwy nitoribẹẹ LLM kan mejeeji kọ koodu ati sọrọ nipa ti ara, laisi atunko boya.
Awọn adanwo idapọ ti itiranya ti o darapọ awoṣe ede Japanese kan pẹlu awoṣe mathimatiki Gẹẹsi lati ṣe agbejade olutayo isiro ede Japanese ti o lagbara.
Yiyọkuro iṣẹ-ṣiṣe 'majele-majele' lati awọn iwuwo awoṣe lati dinku awọn abajade ipalara laisi gbigba data ailewu tuntun.
Dapọ ọpọlọpọ awọn alamuuṣẹ LoRA ti oṣiṣẹ lori oriṣiriṣi awọn aza kikọ sinu awoṣe kan ti o le yipada ohun orin ni irọrun.
Awọn ewu & Awọn ọna iṣọ
Ṣiṣepe ala-ilẹ kan le tọju awọn ailagbara eto ti o gbooro.
Awọn ohun elo amayederun ati awọn idiyele itọju nigbagbogbo ni aibikita.
Aabo ati awọn ela akiyesi le dagba bi awọn eto ṣe di eka sii.
Ilana Ilana imuse
Ṣetumo lairi, didara, ati awọn ibi-afẹde idiyele ṣaaju imuse.
Aṣepari labẹ ẹru ojulowo ati awọn ipo data.
Abojuto ohun elo fun awọn aṣiṣe, fiseete, ati ipa olumulo.
Mura ipadasẹhin pada ati awọn ipa ọna esi iṣẹlẹ ṣaaju iwọn.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Model Merging quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Sakana AI ti itiranya awoṣe parapo
Awọn ibeere ti a beere nigbagbogbo
What is Model Merging?
Awoṣe dapọ awọn iwuwo ti meji tabi diẹ ẹ sii oṣiṣẹ awọn netiwọki nkankikan sinu awoṣe ẹyọkan - laisi ikẹkọ eyikeyi tabi iraye si data ikẹkọ atilẹba. O ṣe pataki nitori pe o jẹ ki awọn ẹgbẹ papọ awọn ọgbọn amọja ni olowo poku, titan awọn awoṣe aifwy itanran ti o gbowolori sinu awọn bulọọki ile atunlo.
Kini apapọ apapọ awoṣe ni akọkọ?
Iṣajọpọ awoṣe nṣiṣẹ taara lori awọn iwuwo ikẹkọ / awọn paramita ti awọn awoṣe, sisọ wọn sinu ṣeto kan, dipo kikojọpọ data tabi awọn abajade akoko asiko.
Kini idi ti iṣọpọ awoṣe le ṣiṣẹ ni iṣẹju-aaya lori ohun elo kekere?
Nitori iṣiṣẹpọ jẹ iṣiro iwuwo pataki lori awọn iwuwo to wa, ko si isọdọtun ti o niyelori tabi iwe-iwọle data kan.
Isoro wo ni awọn ọna bii TIES-Merging ati DARE koju ni pato?
TIES ati DARE piruni ki o si tun awọn oluṣeto iṣẹ ṣiṣe lati dinku awọn imudojuiwọn ikọlura (aami-idakeji), nitorinaa iṣẹ kan ko ni kọ omiran kọ.
Bawo ni a ṣe le lo iṣọpọ lati * yọ * ihuwasi aifẹ kan?
Yiyọ (iyokuro) fekito iṣẹ-ṣiṣe ti a so si iwa aifẹ, gẹgẹbi majele, le da ori awoṣe kuro ni ihuwasi yẹn.