Adapter Layers fun Gbigbe
Awọn fẹlẹfẹlẹ ohun ti nmu badọgba jẹ awọn modulu ikẹkọ kekere ti a fi sii sinu awoṣe ti a ti kọkọ tẹlẹ ti o tutunini, jẹ ki o ṣe deede si awọn iṣẹ ṣiṣe tuntun nipa mimu dojuiwọn ipin diẹ nikan ti awọn paramita.
Akopọ
They make fine-tuning cheap, modular, and easy to swap.
Jin Dive
Awọn oluyipada, olokiki nipasẹ Houlsby et al. (2019) fun ẹkọ gbigbe ni NLP, koju iṣoro ti o ni idiyele: awọn imudojuiwọn kikun-tuntun ni kikun gbogbo iwuwo ni awoṣe nla kan ati ṣe agbejade ẹda tuntun tuntun fun iṣẹ-ṣiṣe. Ohun ti nmu badọgba dipo awọn nẹtiwọọki igo kekere ti nfi sinu bulọọki oluyipada kọọkan, ni deede isọtẹlẹ-isalẹ si iwọn kekere, aiṣedeede, ati iṣẹ akanṣe kan sẹhin, ti a we sinu asopọ to ku. Lakoko ikẹkọ awọn iwọn abẹrẹ ti iṣaju atilẹba duro ni aotoju; nikan awọn oluyipada (igba labẹ 5% ti lapapọ paramita) ti wa ni kẹkọọ. Eyi n mu didara isọdọtun-kikun-kikun lori awọn ami aṣepari bii GLUE lakoko ikẹkọ awọn aye ti o kere pupọ. Nitoripe iṣẹ-ṣiṣe kọọkan n gba ohun ti nmu badọgba kekere tirẹ, o le tọju awoṣe ipilẹ kan pẹlu ọpọlọpọ awọn modulu iṣẹ-ṣiṣe iwuwo fẹẹrẹ, ati paarọ tabi paapaa akopọ wọn. Awọn oluyipada jẹ ọmọ ẹgbẹ ipilẹ ti idile paramita-daradara itanran-tuning (PEFT), lẹgbẹẹ LoRA ati iṣatunṣe iṣaaju.
Imọ-imọ-ẹrọ
Ohun ti nmu badọgba bottleneck Ayebaye kan ṣe akanṣe ipo dimensional ti o farapamọ si isalẹ si iwọn ti o kere pupọ pupọ m, kan aiṣedeede kan, lẹhinna awọn iṣẹ akanṣe pada si d, pẹlu asopọ foo ki o bẹrẹ nitosi idanimọ. Pẹlu m kere ju d, awọn paramita ti a ṣafikun jẹ aami. Nitoripe awoṣe ipilẹ ti wa ni didi, awọn gradients nikan nṣan nipasẹ awọn iwọn ohun ti nmu badọgba, idinku iranti oluṣapejuwe. Iye idiyele akoko asiko akọkọ jẹ airi afikun kekere fun Layer, eyiti o sunmọ bii LoRA dinku nipasẹ dapọ awọn iwuwo ikẹkọ pada sinu awọn matiri ipilẹ.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Adapter Layers fun Gbigbe
Awọn oluyipada ati ohun elo irinṣẹ PEFT ti o gbooro jẹ boṣewa bayi fun isọdi awọn awoṣe nla ni ifarada, ni pataki bi balloon awọn iwọn awoṣe. Reti idagbasoke ninu akopọ ohun ti nmu badọgba (dapọ iṣẹ-ṣiṣe tabi awọn oluyipada ede ni modularly, bi ni AdapterHub), ipa-ọna laarin ọpọlọpọ awọn alamuuṣẹ ni itọkasi, ati ti ara ẹni lori ẹrọ nibiti ohun ti nmu badọgba kekere kan ṣe apẹrẹ awoṣe ipilẹ ti o pin fun olumulo. Awọn iyatọ LoRA n pọ si ni agbara fun ṣiṣe lasan, ṣugbọn imọran ti o wa ni abẹlẹ, di awoṣe omiran naa ki o kọ pulọọgi kekere kan, ni bayi ni aringbungbun si bii isọdi aaye ṣe ṣe iwọn isọdi.
Real-World imuse
Ṣafikun ohun ti nmu badọgba kan-ede kan ki awoṣe multilingualism kan le jẹ amọja fun, sọ, Swahili laisi atunṣe gbogbo nẹtiwọọki naa.
Mimu awoṣe ipilẹ ẹyọkan kan pẹlu awọn dosinni ti awọn oluyipada alabara-kọọkan ni ọja SaaS kan, yiyipada ọkan ti o tọ ni fun ibeere.
Titun-tuntun awoṣe fun iyasọtọ itara nipasẹ ikẹkọ nikan ohun ti nmu badọgba ogorun diẹ, lẹhinna titọju ipilẹ ti o pin fun awọn iṣẹ ṣiṣe miiran.
Iṣakojọpọ ohun ti nmu badọgba iṣẹ-ṣiṣe lori oke ohun ti nmu badọgba agbegbe (fun apẹẹrẹ, ohun ti nmu badọgba ọrọ-ofin pẹlu ohun ti nmu badọgba akopọ) fun ilotunlo apọjuwọn.
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Adapter Layers for Transfer quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
T5 ati Gbigbe Ọrọ-si-ọrọ
Awọn ibeere ti a beere nigbagbogbo
What is Adapter Layers for Transfer?
Awọn fẹlẹfẹlẹ ohun ti nmu badọgba jẹ awọn modulu ikẹkọ kekere ti a fi sii sinu awoṣe ti a ti kọkọ tẹlẹ ti o tutunini, jẹ ki o ṣe deede si awọn iṣẹ ṣiṣe tuntun nipa mimu dojuiwọn ipin diẹ nikan ti awọn paramita. Wọn ṣe atunṣe-daradara olowo poku, apọjuwọn, ati rọrun lati paarọ.
Kini yoo ṣẹlẹ si awọn iwọn iṣaju iṣaju atilẹba nigbati ikẹkọ pẹlu awọn oluyipada?
Iṣatunṣe ohun ti nmu badọgba jẹ ki awoṣe ipilẹ di tutu ati ki o kọ ẹkọ nikan awọn modulu kekere ti a fi sii.
Ohun ti o jẹ aṣoju ti abẹnu be ti a bottleneck ohun ti nmu badọgba?
Ohun ti nmu badọgba Alailẹgbẹ fun pọ ipo ti o farapamọ si iwọn kekere, kan aiṣedeede kan, awọn iṣẹ akanṣe ṣe afẹyinti, ati ṣafikun asopọ foofo.
Ni aijọju kini ida ti awọn paramita ṣe awọn oluyipada deede ṣe ikẹkọ?
Awọn ohun ti nmu badọgba maa n ṣafikun ati ṣe ikẹkọ ida diẹ ninu awọn paramita lapapọ ti awoṣe, o kere pupọ ju iṣatunṣe itanran ni kikun.
Kini idi ti awọn oluyipada jẹ rọrun fun sisin ọpọlọpọ awọn iṣẹ ṣiṣe?
Nitoripe iṣẹ kọọkan nilo ohun ti nmu badọgba kekere nikan, awoṣe ipilẹ ti o pin kan le ṣe ọpọlọpọ awọn iṣẹ ṣiṣe nipasẹ yiyipada awọn modulu iwuwo fẹẹrẹ.
Si eyi ti ebi ti imuposi ni awọn alamuuṣẹ?
Awọn alamuuṣẹ jẹ ọna PEFT mojuto, lẹgbẹẹ awọn isunmọ bii LoRA ati iṣatunṣe iṣaaju.