Ọbá akwụkwọ AI efu

Nka na ụzụ nduN'efu ruo mgbe ebighị ebi.

177 Ntuziaka Bekee dị larịị, ụzọ mmụta ahaziri ahazi, yana ọbá akwụkwọ mepere emepe - nke 501(c)(3) anaghị akwụ ụgwọ wuru ya ka onye ọ bụla nwee ike ịghọta AI ọgbara ọhụrụ.

177Ntuziaka efu
1Egwu isiokwu
~2 minKwa ndu
~6hOge ịgụ ihe

Bido ebe a

Ise nkuzi dabere na nsonaazụ

Usoro nkuzi ọ bụla gụnyere nsonaazụ doro anya, ikike nke eserese, mmemme omume, na okwute etinyere n'ọrụ.

Egwu isiokwu

Chọgharịa site na egwu

Maba n'ime mpaghara ị na-eche. Egwu ọ bụla nwere ọtụtụ ntụzịaka larịị-Bekee.

Ọbá akwụkwọ zuru ezu

Nduzi niile

177 nke 1019 egosiputara ntuziaka. Wepụta site na egwu ma ọ bụ chọọ n'elu.

Nka na ụzụ

Nlebaanya nlebara anya na ịkwachaa isi

Mbugharị nlebara anya bụ usoro iji chọpụta ka ozi si agafe n'ọkwa nlebara anya nke Transformer iji kọwaa ihe ntinye ntinye na-emetụta…

2 min gụọGụọ
Nka na ụzụ

Nbulite n'usoro nke abụọ na ụzọ Newton

Nkwalite n'usoro nke abụọ na-eji ozi curvature (matrix Hessian nke usoro nke abụọ) iji mee usoro dị mma karịa opekempe, ọ bụghị naanị mkpọda.

2 min gụọGụọ
Nka na ụzụ

RMSNorm na Pre-Layer Normalization

RMSNorm bụ oyi akwa normalization dị fechaa nke na-eweghachi ọrụ site na mgbọrọgwụ ha pụtara square, yana ebe nhazi nke pre-layer na-aga n'ihu nke ọ bụla…

2 min gụọGụọ
Nka na ụzụ

SwiGLU na arụ ọrụ Gated

SwiGLU bụ ọrụ ịgbalite gated nke na-amụba otu ntule ahịrị nke ntinye site na ntule nke abụọ na-arụ ọrụ Swish, na-eme dị ka ihe mmụta…

2 min gụọGụọ
Nka na ụzụ

Netwọk squeeze-na-Excitation

Ihe mgbochi Squeeze-and-Excitation (SE) na-eme ka netwọkụ na-eme mgbanwe mụta oke ọwa njirimara ọ bụla, na-emegharị ha dabere na ọnọdụ ụwa.

2 min gụọGụọ
Nka na ụzụ

Usoro Warmup na Cosine Annealing

Igwe ọkụ na-eji nwayọọ na-ebuli ọnụego mmụta site na nso efu tupu ọzụzụ, mgbe ahụ ịhịa aka n'ahụ nke cosine na-erepịa ya nke ọma na-esochi usoro mkpụrụ osisi.

2 min gụọGụọ
Nka na ụzụ

Ọnụego mmụta cyclical

Ọnụego mmụta cyclical na-agbagharị ugboro ugboro n'ịmụ ihe n'ogo elu na ala n'etiti oke ala na elu kama naanị ire ere.

2 min gụọGụọ
Nka na ụzụ

Mbelata ịdị nkọ-mmara

Sharpness-Aware Minimization (SAM) bụ usoro njikarịcha nke na-achọ ọ bụghị naanị mfu dị ala kama mfu dị ala n'ofe mpaghara niile nke ịdị arọ - dị larịị…

2 min gụọGụọ
Nka na ụzụ

Nyochaa Linear na Ntụle Njirimara Frozen

Nchọpụta n'ahịrị na-anwale ka ihe ngosi dị n'ime ihe atụ a zụrụ azụ si dị mma site n'ime ka netwọọkụ dị oyi ma zụọ naanị ihe nhazi ahịrị ahịrị dị mfe n'elu.

2 min gụọGụọ
Nka na ụzụ

DenseNet na nnukwu njikọ

DenseNet bụ netwọk mgbanwe ebe oyi akwa ọ bụla na-enweta maapụ atụmatụ nke ọkwa niile bu ụzọ dị ka ntinye.

2 min gụọGụọ
Nka na ụzụ

Ihe owuwu ihe owuwu bottleneck

Nrụpụta ihe nrụbama na-amanye data site na oyi akwa etiti dị warara tupu ịgbasa ya ọzọ, na-amanye netwọk ahụ ịmụta kọmpat, nke ọma…

2 min gụọGụọ
Nka na ụzụ

Mkpokọta gradient

Mkpokọta gradient na-enye gị ohere ịmegharị nnukwu batch na ebe nchekwa GPU nwere oke site na ịchịkọta gradients n'ọtụtụ obere obere obere tupu imelite…

2 min gụọGụọ

Ọgụchachara? Gopụta ya.

Lelee ihe ị mụtara na ajụjụ ajụjụ isiokwu, wee nyochaa usoro ọmụmụ anyị ahaziri ma ọ bụ rụọ ọrụ na asambodo. Nduzi ọ bụla na-enwere onwe ya ịgụ ihe.

Technical AI Guides — Page 3 of 15 | AI Understanding