Ìdílé Awoṣe Llama
Llama jẹ idile Meta ti awọn awoṣe ede nla ti o ni iwuwo-ìmọ ti ẹnikẹni le ṣe igbasilẹ, ṣiṣe, ati tunse daradara fun ọfẹ.
Akopọ
By releasing the weights publicly, Meta turned Llama into the foundation for a huge open-source AI ecosystem.
Jin Dive
Llama (Awoṣe Ede Tobi Meta AI) jẹ lẹsẹsẹ awọn awoṣe ede ti o da lori transformer ti o dagbasoke nipasẹ Meta. Llama akọkọ ti de ni ibẹrẹ 2023 bi itusilẹ iwadi; Llama 2 (Oṣu Keje 2023) ṣafikun iwe-aṣẹ igbanilaaye gbigba lilo iṣowo, ati Llama 3 ati 3.1 (2024) ti pọ si iyalẹnu, pẹlu awoṣe asia 405-bilionu-paramita ti njijadu awọn eto ohun-ini oke. Iwa asọye ni pe Meta ṣe atẹjade awọn iwuwo awoṣe, nitorinaa awọn olupilẹṣẹ le ṣiṣẹ Llama lori ohun elo tiwọn, ṣe akanṣe rẹ, ati yago fun fifiranṣẹ data si API ita. Ṣiṣii yii ṣe agbejade ẹgbẹẹgbẹrun awọn awoṣe itọsẹ ati awọn irinṣẹ. Awọn awoṣe Llama wa ni awọn iwọn lọpọlọpọ (lati bilionu diẹ si awọn ọgọọgọrun ọkẹ àìmọye ti awọn paramita) ati pẹlu awọn iyatọ 'iwiregbe' aifwy itọnisọna lẹgbẹẹ awọn awoṣe ipilẹ.
Imọ-imọ-ẹrọ
Awọn awoṣe Llama jẹ awọn oluyipada iyipada-nikan ti a kọ lati ṣe asọtẹlẹ ami atẹle lori awọn aimọye ti awọn ami-ọrọ ti ọrọ ati koodu. Wọn lo awọn yiyan apẹrẹ ti o ni idojukọ ṣiṣe-ṣiṣe gẹgẹbi RMSNorm, imuṣiṣẹ SwiGLU, awọn ifibọ ipo rotari (RoPE), ati akiyesi ibeere akojọpọ ni awọn ẹya nla lati mu iyara pọ si. Awọn iyatọ ti a ṣe atunṣe ilana jẹ imudara siwaju pẹlu iṣatunṣe abojuto ti o dara ati ikẹkọ imuduro lati esi eniyan (RLHF) nitorinaa wọn tẹle awọn itọsi olumulo ati huwa bi awọn oluranlọwọ iranlọwọ.
Ipa Ilana
Ilana olutaja
Awọn maapu opopona olutaja ni ipa kini awọn ẹya ti ẹgbẹ rẹ le kọ ni atẹle.
Iye owo ati isuna
Awọn ofin iṣowo ati awọn aṣayan imuṣiṣẹ ni ipa lori idiyele igba pipẹ ati eewu.
Ewu ati ailewu
Awọn imoriya ile-iṣẹ ṣe apẹrẹ awọn abawọn ọja, iduro ailewu, ati ṣiṣi.
Ojo iwaju ti idile Awoṣe Llama
Meta n ti Llama si awọn ferese ti o tobi ju, awọn agbara ede-ede ti o ni okun sii ati awọn agbara multimodal (awọn iyatọ ti o ni iranwo ti wa tẹlẹ), ati imunadoko ẹrọ diẹ sii. Reti awọn idasilẹ ṣiṣi silẹ ti n tẹ ọja ti o gbooro lori idiyele ati iraye si, pẹlu ilolupo ilolupo ti o dagba ti aifwy daradara, awọn iyatọ Llama-ašẹ kan pato. Jomitoro lori kini 'ṣii' yẹ ki o tumọ si, pẹlu iwe-aṣẹ ati awọn opin lilo itẹwọgba, yoo tẹsiwaju lati ṣe agbekalẹ bii o ṣe le lo awọn iwọn agbara wọnyi larọwọto.
Real-World imuse
Awọn ibẹrẹ ati awọn oniwadi itanran-tune Llama lori data ikọkọ lati kọ awọn chatbots aṣa laisi sisanwo awọn idiyele API-tokini.
Awọn olupilẹṣẹ nṣiṣẹ awọn awoṣe Llama kekere ni agbegbe lori kọǹpútà alágbèéká tabi awọn olupin fun awọn ohun elo ti o ni imọra nibiti data ko le lọ kuro ni ile naa.
Awọn ile-iṣẹ lo Llama atunṣe-itọnisọna bi ipilẹ fun awọn oluranlọwọ ifaminsi, awọn akopọ, ati awọn irinṣẹ atilẹyin alabara.
Awọn iṣẹ akanṣe agbegbe awọn iwuwo ṣiṣi silẹ bii koodu Llama ati ainiye awọn itọsẹ Face Face ti a lo ninu iwadii ẹkọ.
Awọn ewu & Awọn ọna iṣọ
Awọn ikede ifilọlẹ le ju iduroṣinṣin lọ ni awọn iṣan-iṣẹ iṣelọpọ gidi.
Ifowoleri API tabi awọn iyipada eto imulo le fọ awọn arosinu ni alẹ.
Igbẹkẹle olutaja ẹyọkan ṣe alekun titiipa-inu ati awọn idiyele ijira.
Ilana Ilana imuse
Ṣe ayẹwo awọn olupese nipa lilo awọn iṣẹ ṣiṣe tirẹ ati awọn ipilẹ data.
Ṣe atunyẹwo asiri, aabo, ati awọn ofin ofin ṣaaju iṣọpọ.
Ṣetọju eto ipadabọ kọja awọn awoṣe tabi awọn olutaja.
Bojuto awọn akọsilẹ itusilẹ nitoribẹẹ awọn iyipada maapu oju-ọna ma ṣe iyalẹnu awọn ẹgbẹ.
Tesiwaju Ṣiṣawari
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Llama Model Family quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Itọsọna atẹle
NVIDIA Awọn awoṣe Cosmos World Foundation
Awọn ibeere ti a beere nigbagbogbo
What is Llama Model Family?
Llama jẹ idile Meta ti awọn awoṣe ede nla ti o ni iwuwo-ìmọ ti ẹnikẹni le ṣe igbasilẹ, ṣiṣe, ati tunse daradara fun ọfẹ. Nipa itusilẹ awọn iwuwo ni gbangba, Meta yi Llama pada si ipilẹ fun ilolupo orisun AI ti o tobi.
Kini o jẹ ki idile Llama yatọ ni pataki si ọpọlọpọ awọn awoṣe idije?
Iwa asọye Llama ni pe Meta tu awọn iwuwo silẹ ni gbangba, jẹ ki awọn olupilẹṣẹ ṣiṣẹ, tune daradara, ati gbigbalejo awọn awoṣe.
Kini adape 'Llama' duro fun?
Llama duro fun Awoṣe Ede Nla Meta AI, ti n ṣe afihan mejeeji idi rẹ ati ẹlẹda rẹ.
Itusilẹ Llama wo ni akọkọ ṣafikun iwe-aṣẹ ti o fun laaye ni lilo iṣowo gbooro?
Llama 2, ti a tu silẹ ni Oṣu Keje ọdun 2023, wa pẹlu iwe-aṣẹ igbanilaaye diẹ sii ti o gba laaye lilo iṣowo, laisi itusilẹ akọkọ-iwadii nikan.
Kini faaji labẹ awọn awoṣe Llama?
Awọn awoṣe Llama jẹ awọn oluyipada oniyipada nikan ti a kọ lati ṣe asọtẹlẹ ami atẹle lori ọrọ nla ati koodu corpora.
Bawo ni Llama 'iwiregbe' tabi awọn iyatọ aifwy ilana ṣe ṣe lati tẹle awọn itọsi olumulo?
Awọn awoṣe Llama ti a ṣe atunṣe ilana jẹ isọdọtun pẹlu iṣatunṣe daradara ti iṣakoso ati RLHF nitorinaa wọn ṣe bi iranlọwọ, awọn oluranlọwọ ti n tẹle ni iyara.