Kini o ṣẹlẹ
Google ṣe idasilẹ autofinetune, eto kan ti o ṣe adaṣe adaṣe LLM lẹhin-ikẹkọ nipa lilo awọn aṣoju AI lati mu awọn hyperparameters leralera pọ si fun Abojuto Fine-Tuning (SFT) ati Ẹkọ Imudara (RL). Ọpa naa ṣepọ ile-ikawe Tunix Google, awọn awoṣe Gemma, ati awọn TPU awọsanma, ti a ṣe nipasẹ Antigravity CLI ati Gemini Flash 3.7. Ni awọn iwadii ọran, aṣoju ṣe atunṣe awọn aye adaṣe adaṣe bii awọn ipo LoRA ati awọn oṣuwọn ikẹkọ, imudara deede awoṣe ati awọn ikun ere laisi ilowosi afọwọṣe.
Google kede itusilẹ ti autofinetune, iṣẹ akanṣe ti a ṣe lati ṣe adaṣe adaṣe lẹhin ikẹkọ ti Awọn awoṣe Ede nla (LLMs). Eto naa nlo loop iwadii adase nibiti aṣoju AI kan ṣe ṣawari ni igbagbogbo ati mu awọn atunto ikẹkọ ṣiṣẹ. Ọna yii jẹ atilẹyin nipasẹ iṣẹ akanṣe iwadii adaṣe iṣaaju, eyiti o ṣe afihan iṣawakiri iṣaju ikẹkọ adase.
Ọpa naa n mu akopọ AI ni kikun Google, ni pataki lilo ile-ikawe Tunix fun ikẹkọ, awọn awoṣe Gemma bi ipilẹ, ati Awọn TPU awọsanma fun iṣiro. Orchestration naa jẹ itọju nipasẹ Antigravity CLI ati Gemini Flash 3.7. Ibi-afẹde akọkọ ni lati rọpo iwọn afọwọṣe atọwọdọwọ ti iṣatunṣe awọn hyperparameters pẹlu ilana adaṣe adaṣe kan ti o nṣiṣẹ awọn idanwo ni alẹmọju ati ṣe awọn ilọsiwaju ijẹrisi si Git.
Ninu iwadi ọran akọkọ, aṣoju ṣe iṣapeye awoṣe google/functiongemma-270m-it lori dataset google/mobile-actions nipa lilo Abojuto Fine-Tuning (SFT). Aṣoju naa ṣatunṣe awọn aye adaṣe laifọwọyi gẹgẹbi ipo LoRA, alpha, optimizer, ati oṣuwọn ikẹkọ. Awọn abajade ṣe afihan ilọsiwaju deede ni agbara awoṣe lati ṣe ipilẹṣẹ awọn ipe iṣẹ ti o pe, ti n ṣe afihan agbara aṣoju lati 'gigun oke' si deede to dara julọ.
Iwadi ọran keji dojukọ Ẹkọ Imudara (RL) ni lilo ọna GRPO lati ṣe ikẹkọ Gemma 3 1B fun ero-iṣiro lori iwe data GSM8K. RL jẹ akiyesi fun ifamọ rẹ si hyperparameters ati aisedeede. Aṣoju adase ṣe idanimọ awọn atunto to dara julọ fun LoRA, iwọn otutu iyipo, ijiya KL, ati awọn ilana eto. Eyi yorisi ilọsiwaju isunmọ 10% ni ere lapapọ, nfihan nọmba to dara julọ ati deede ọna kika ni awọn idahun awoṣe.
Awọn alaye orisun: developers.googleblog.com ↗
Kini idi ti o ṣe pataki
Idagbasoke yii ṣe pataki idena idena si titẹsi fun atunṣe didara LLM didara-giga nipa yiyọ iwulo fun afọwọṣe, adaṣe atunwi. Nipa ṣiṣe adaṣe adaṣe fun awọn hyperparameters ti o dara julọ, o gba awọn olupilẹṣẹ laaye lati ṣaṣeyọri iṣẹ ṣiṣe awoṣe to dara julọ pẹlu oye amọja ti o kere si ati akoko. Iyipada yii si awọn iyipo iwadii adase le mu iwọn aṣetunṣe pọ si fun awọn olupilẹṣẹ AI, ṣiṣe awọn imọ-ẹrọ ikẹkọ lẹhin-ilọsiwaju diẹ sii ni iraye si ati lilo daradara fun titobi awọn ajo ati awọn oniwadi kọọkan.
Idanileko adaṣe adaṣe ṣe adirẹsi igo pataki kan ni idagbasoke AI: akoko ati oye ti o nilo lati tune hyperparameters pẹlu ọwọ. Nipa adaṣe adaṣe ilana yii, Google n jẹ ki iṣapeye awoṣe ilọsiwaju ni iraye si diẹ sii si awọn olupilẹṣẹ ti o le ma ni oye ti o jinlẹ ni ẹkọ imuduro tabi awọn ẹrọ atunto didara.
Ijọpọ ti awọn aṣoju AI sinu lupu ikẹkọ duro fun iyipada si awọn eto AI ti o ni ilọsiwaju ti ara ẹni. Ti awọn aṣoju ba le ni igbẹkẹle iṣapeye awọn aye ikẹkọ tiwọn, iyara ti ilọsiwaju awoṣe le yara, ni agbara idinku idiyele ati akoko ti o ni nkan ṣe pẹlu idagbasoke awọn LLM pataki fun awọn iṣẹ ṣiṣe kan pato.
Ọpa yii jẹ pataki ni pataki fun awọn ẹgbẹ ti nlo Google Cloud TPUs, bi o ti n pese abinibi kan, iṣan-iṣẹ iṣapeye fun mimu ohun elo yii ṣiṣẹ. O tun ṣe afihan ipa ti ndagba ti AI Aṣoju ni imọ-ẹrọ sọfitiwia ati awọn ṣiṣan iṣẹ ṣiṣe iwadii, gbigbe kọja iran koodu ti o rọrun si apẹrẹ adanwo eka ati ipaniyan.
Ibaraẹnisọrọ Mechanism: Bii O Ṣe Nṣiṣẹ Lootọ
Ṣawari imọ-ẹrọ abẹlẹ lẹhin idagbasoke yii ni ibaraenisọrọ.
An agent must create a draft calendar event for Tuesday at 2 p.m. Which evidence would establish the requested result?
Kini lati wo tókàn
Ṣe abojuto isọdọmọ ti autofinetune ni agbegbe idagbasoke ati awọn imudojuiwọn eyikeyi ti o tẹle si ile-ikawe Tunix. Ṣọra fun awọn aami aṣepari ti ominira ti o rii daju awọn anfani iṣẹ ti a sọ ni awọn iwadii ọran Google, ni pataki nipa iduroṣinṣin ti iṣatunṣe RL adase. Ni afikun, ṣe akiyesi ti awọn olupese AI pataki miiran ṣe idasilẹ iru awọn irinṣẹ ikẹkọ-lẹhin adase, eyiti o le ṣe afihan iyipada ile-iṣẹ gbooro si ọna iṣapeye ara ẹni awọn opo gigun ti idagbasoke awoṣe.
Ijẹrisi ominira ti awọn anfani iṣẹ jẹ pataki. Lakoko ti Google ṣe ijabọ ~ 10% ilọsiwaju ẹsan ninu iwadii ọran RL, awọn ipilẹ ẹni-kẹta yoo nilo lati jẹrisi awọn abajade wọnyi kọja awọn oriṣiriṣi data ati awọn iwọn awoṣe.
Iduroṣinṣin ti iṣatunṣe RL adase jẹ agbegbe bọtini lati ṣe atẹle. RL jẹ aiduro lainidii, ati pe o wa lati rii bi o ṣe dara julọ ti aṣoju n kapa awọn ọran eti tabi ṣe idiwọ gige gige ni awọn oju iṣẹlẹ eka diẹ sii.
Awọn metiriki isọdọmọ fun ibi ipamọ autofinetune GitHub yoo tọkasi iwulo idagbasoke. Ti ohun elo naa ba ni isunmọ pataki, o le ni agba ilolupo ilolupo ti awọn ile-ikawe ikẹkọ LLM ati awọn irinṣẹ.