Titunse kiakia
Atunse kiakia ṣe atunṣe awoṣe ede ti o tutunini nipa kikọ ẹkọ diẹ ninu awọn aiṣedeede 'irọra' ti nlọsiwaju ti a ti ṣetan si titẹ sii, dipo kikọ awọn ọrọ pẹlu ọwọ.
Akopọ
It is one of the leanest ways to specialize a giant model, and it gets better as models get bigger.
Jin Dive
Atunse kiakia, ti a ṣe nipasẹ Google awọn oluwadi Lester, Al-Rfou, ati Constant ni 2021, jẹ ibatan ti o rọrun julọ ti iṣatunṣe iṣaaju. Dipo kiko ọrọ tọ pẹlu ọwọ, o di gbogbo awoṣe ki o kọ ẹkọ matrix kekere ti awọn ifibọ lemọlemọfún—'awọn itọsi rirọ'—ti a ti ṣe tẹlẹ ni ipele titẹ sii nikan. Ilọlẹ-isunmọ awọn ohun orin ipe wọnyi lati ṣajọ ihuwasi ti o tọ fun iṣẹ-ṣiṣe kan. Wiwa ti o yanilenu: bi awoṣe ipilẹ ṣe n ṣe iwọn si awọn ọkẹ àìmọye ti awọn paramita, yiyi kiakia tii aafo naa tilekun pẹlu atunwi itanran ni kikun, nikẹhin ibaamu rẹ lori awọn ipilẹ bi SuperGLUE. Iṣẹ-ṣiṣe kọọkan nilo itọsẹ rirọ kekere tirẹ nikan (nigbagbogbo awọn iwọn ẹgbẹrun diẹ), nitorinaa awoṣe tio tutunini kan le ṣe ọpọlọpọ awọn iṣẹ ṣiṣe ni ẹẹkan. Awọn onkọwe ṣe apẹrẹ eyi gẹgẹbi 'agbara iwọn fun titọpa-paramita ti o tọ ni kiakia.'
Imọ-imọ-ẹrọ
Awọn itọka rirọ kii ṣe awọn ọrọ gidi-wọn jẹ awọn apanirun-ọfẹ ni aaye ifibọ ti ko nilo ibaamu eyikeyi ami-ami ninu awọn fokabulari. Wọn fi kun nikan ni Layer ifibọ igbewọle (ko dabi iṣatunṣe iṣaju, eyiti o ṣe itasi sinu gbogbo Layer), ti o jẹ ki yiyi kiakia paapaa fẹẹrẹfẹ. Nitoripe awoṣe ti di didi, awọn gradients n ṣàn pada nikan si awọn ifibọ-rọra. Bibẹrẹ, gigun kiakia, ati iwọn awoṣe gbogbo wọn ni ipa lori didara ni agbara.
Ipa Ilana
Iyara ati iwọn
Ṣiṣan iṣẹ ede le gbe ni iyara laisi irubọ aitasera.
Wiwọle ati arọwọto
O faagun iraye si kọja awọn ede ati awọn aza ibaraẹnisọrọ.
Awọn ipinnu diẹ sii
Awọn ẹgbẹ le lo akoko diẹ sii lori idajọ lakoko ti adaṣe n kapa atunwi.
Ojo iwaju ti Titunse kiakia
Yiyi kiakia jẹ ki imọran gbakiki pe o le darí awọn awoṣe ipile tutunini pẹlu awọn ifihan agbara ikẹkọ kekere, ati pe o ṣe atilẹyin pupọ julọ ti ohun elo PEFT ode oni. Bi awọn awoṣe ti n tẹsiwaju igbelosoke, ipa-pipade aafo jẹ ki awọn itọra rirọ fẹfẹ fun imuṣiṣẹ iṣẹ-ṣiṣe olona-pupọ. Iwadi n fa ero naa pọ si lati gbe awọn itọka ti o kọ ẹkọ kọja awọn iṣẹ ṣiṣe ati awọn awoṣe, darapọ wọn pẹlu igbapada, ati lo wọn fun iṣakoso ati iran ailewu. Reti awọn itọsi rirọ lati duro lefa iye owo kekere lẹgbẹẹ LoRA ati awọn oluyipada.
Real-World imuse
Amọja awoṣe T5 tutunini kan fun ọpọlọpọ awọn iṣẹ ṣiṣe SuperGLUE, titoju itọsi asọ ti o yatọ fun iṣẹ-ṣiṣe
Ni diwọn gbigbe awoṣe nla kan kọja ọpọlọpọ awọn alabara, ọkọọkan pẹlu itọsi ikẹkọ tiwọn
Imọran idari tabi ihuwasi isọdi laisi ọrọ imọ-ẹrọ pẹlu ọwọ
Gbigbe iyara-rọra: ikẹkọ itọsẹ kan lori iṣẹ-ṣiṣe kan lati bẹrẹ ikẹkọ ni itara lori ọkan ti o jọmọ
Awọn ewu & Awọn ọna iṣọ
Awọn otitọ ti a sọ di mimọ le tẹ awọn ijabọ sii ni idakẹjẹ, awọn ṣiṣan atilẹyin, tabi awọn abajade iwadii.
Ifamọ kiakia le ṣẹda awọn abajade aisedede kọja awọn ibeere ti o jọra.
Awọn data ọrọ ifarabalẹ le farahan ti awọn idari wiwọle ko lagbara.
Ilana Ilana imuse
Ṣetumo ọna kika iṣẹjade, ohun orin, ati awọn iṣedede didara ṣaaju ṣiṣejade.
Awọn idahun ilẹ pẹlu awọn orisun ti o gbẹkẹle nigbakugba ti deede ba ṣe pataki.
Jeki aaye ayẹwo atunyẹwo eniyan fun awọn abajade ti o ga julọ.
Tọpinpin awọn ilana ikuna ati tunṣe awọn itọsi tabi ṣiṣan iṣẹ nigbagbogbo.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
Prompt Engineering
Awọn ibeere ti a beere nigbagbogbo
What is Prompt Tuning?
Atunse kiakia ṣe atunṣe awoṣe ede ti o tutunini nipa kikọ ẹkọ diẹ ninu awọn aiṣedeede 'irọra' ti nlọsiwaju ti a ti ṣetan si titẹ sii, dipo kikọ awọn ọrọ pẹlu ọwọ. O jẹ ọkan ninu awọn ọna ti o lewu julọ lati ṣe amọja awoṣe nla kan, ati pe o dara julọ bi awọn awoṣe ṣe tobi.
Kini 'irọra itọka' ni yiyi kiakia?
Awọn itọka rirọ jẹ awọn olutọpa lemọlemọfún ni ifibọ aaye, kii ṣe awọn ọrọ kika eniyan.
Nibo ni yiyi kiakia ṣe ṣafikun awọn fekito ikẹkọ rẹ?
Yiyi kiakia n mura awọn itọra rirọ nikan ni titẹ sii, eyiti o jẹ ki o fẹẹrẹfẹ ju iṣatunṣe iṣaaju lọ.
Ipa iyalẹnu wo ni iwe atilẹba ṣe afihan nipa iwọn awoṣe?
Akọle iwe naa tẹnumọ 'agbara ti iwọn': awọn awoṣe ti o tobi ju jẹ ki yiyi orogun kiakia ni atunṣe itanran ni kikun.
Tani o ṣe afihan atunṣe kiakia?
Brian Lester, Rami Al-Rfou, ati Noah Constant ni Google ṣe atẹjade iwe atunṣe kiakia ni 2021.
Bawo ni yiyi kiakia ṣe mu ṣiṣẹ ọpọlọpọ awọn iṣẹ ṣiṣe lati awoṣe kan?
Itọsẹ rirọ kekere nikan jẹ iṣẹ-ṣiṣe kan pato, nitorinaa awoṣe tio tutunini kan le gbalejo ọpọlọpọ awọn iṣẹ ṣiṣe nipasẹ yiyipada awọn ta.