Ci bi mu melGis bi ci topp
Tann GPU ngir jàng masin
Xarala
GUIDE teknik
Triton làkk la bu sukkandiko ci Python ak compilatër ngir bind kernel GPU ci wàllu ay bloku élément moo gën ay thread hardware yu benn-benn.
Déglul tegtal biiIA-nettali · ~3 min
Mën na yombal jëfandikoo tensor buñ personaalise bu ñu koy méngale ak CUDA bu ñor, te ba leegi mingi sàkku ci saytu bu baax jëfandikoo mémoire bi, maske, geometrie lansma ak performance hardware bi.
Prograam GPU dafay faral di laaj xaaj liggéey ci thread yu bari boole ci yor dem bi ak dikk bi ci mémoire bi. Triton dafay joxe làkku domen bu lalu ci Python, ci la kernel bi di leeral jëf yi ci kaw ay bloku valeur. Benn fonction buñ defar ngir compilation Triton mën na jëfandikoo ay construct yu melni ID prograam ngir xàmmee benn block ak ay rang ngir sos ay offset elemen. Compilatër bi dafay boole prograamu niveau block bi ci execution GPU bi, loolu mooy tax developpeur yi mëna bind ay operation yuñ mëna tànn te duñu leeral bépp tegtal bu nekk ci CUDA C++ biñ gëna xam. Yokk vecteur bu yomb dafay xaaj vecteur bu gudd ay blok. Prograamu Triton bu nekk dafay jëfandikoo benn ID blok, xayma offset yi, sarse valeur yi ci ñaari dugal yi, yokk leen ba noppi denc li génn. Blok bu mujj bi mën na dem ba weesu guddaayi tensor bi war, kon mask yi dañuy garde sargal yi ak dencukaay yi. Maskeer bu jaarul yoon mën na lire mémoire bu baaxul wala nga bàyyi valeur yu baax. Tabbu lansma, boole ci limu warp yi ak dayo blok bi, dañu am njeexital ci dajale ak def. Ci wàllu jëfandikoo matrix, tiling mën na tëye done yi ci memër bu gaaw ci puce bi ba noppi jëfandikoowaat valeur yi ci xayma yi. Loolu dafay gëna baaxal motif yi done yi di jaar, waaye dayo mosaïk yi dañu wara méngoo ak jumtukaayi hardware bi te mën nañu wuute ci jëmmu dugal yi. Compilatëru Triton dafay jàppale optimisation ak yenn workflows autotuning, waaye kernel bi gënawul ci saasi bibliotek bi gëna gaaw. Duggal yu ndaw yi mën nañu ëppee doole ci njëgu lansma, te waru ñu jaawatle diiru compilation ak diiru runtime steady-state. Defar kernel dafay laaj nga saytu njubte gi ci jëmm yi, strides yi, dtypes yi ak aparey yi. Teg ko ci ab jëfandikoo bu wóor buy jëfandikoo ay tolerans numérique yu méngoo ak arithmétique flottante. Benchmark ak tàngoor, senkronizaasioŋ ak sargu liggéey yu wuute. Saytu kode yiñ defar wala tombi profiler yi sudee performance bi wuute na ak li ñuy seentu. Triton dafay wàññi limu plaque chaudière bu woyof; dindiwul soxla xam coalescing mémoire, occupation, kompromis yu jaar yoon wala anam yu race. Jëfandikool sudee ab jëfandikoo buñ jagleel wala motif buñ jagleel mën nañu ko gëna xëcc ci njëgu toppatoo bi, ba noppi nga denc fallback bu wóor sudee hardware bi wala ndimbalu compilatër bi wuute na.
Benn kernel buy yokk vecteur hypothétique dafay boole instance prograam bu nekk ci benn bloc indices, mu sarse ñaari bloc input ak mask ngir geen gi, yokk leen ba noppi denc resultaa bi.
Tutorial buy jàngale ni ñuy yokke matrix dafay dugal ay matrix ci biir ay blok ngir ñu mëna jëfandikoowaat done yi, wàññi dem bi ak dikk bi ci mémoire bi suñu ko méngale ak jëfandikoo élément par élément bu yomb.
Developpeur bi dafay méngale kernel Triton ak PyTorch ci jëmm yu wuute, ba noppi boole ci tàngoor ak senkronizaasioŋ ci njuréefi waxtu.
Kernel dafay jëfandikoo dayo tensor buñu mënul xaaj ak dayo blok ci maskeer sargal ak dencukaay yu nekk ci biti, di tere jëfandikoo memory bu baaxul ci bloku prograam bi mujj.
Triton amna njariñ sudee ekip yi soxla nañu jëfandikoo GPU buñ personaalise te mën nañu toppatoo kodu aparey bi. Liggéeyukaay bu mën jëfandikoo dafay tàmbali ci baseline bu jub, yokk kernel ginaaw bi profiling bi xàmmee benn bottleneck, ba noppi natt jëmm yi ak casu boor yi. Rapport performance yi dañu wara am warmup, aparey, dtype ak configuration launch suko defee ñu mëna joxe resultaa yi. Yokkateg compilatër bi mën na yokk tànneefi optimisation, waaye ekip yi dañu soxla yooni fallback ak saytu version yi. Li gëna am solo mooy nga xam ndax gaawaayu kernel bi wala njariñu fusion bi mën nañu ko méngale ak njëgu test bi ak maintenance bi.
Bulletin bu amul fayda
Ñatti jaar-jaari IA yuñ firndeel bis bu nekk ci ayu-bis bi, ñu bind leen ci Àngle bu leer. Gratis ba fàww, amul yëgle.
Benn email bis bu nekk ci ayu-bis bi. Benn klik nga dindi abonemaa bi. Dunu musa jaay wala séddoo sa adres.
Nattal sa bopp
Feedback ci saasi ci bépp tontu, ak sertifikaa buñ mëna séddoo ak ID buñ mëna saytu soo jàllee ci njàng mi.
Jàppale njàngum IA te doo fay. AI Understanding mbootaay la buy def te Yàlla tax — amul yëgle, amul paywall, musul am. Defal ab sarax
Triton làkk la bu sukkandiko ci Python ak compilatër ngir bind kernel GPU ci wàllu ay bloku élément moo gën ay thread hardware yu benn-benn. Mën na yombal jëfandikoo tensor buñ personaalise bu ñu koy méngale ak CUDA bu ñor, te ba leegi mingi sàkku ci saytu bu baax jëfandikoo mémoire bi, maske, geometrie lansma ak performance hardware bi.
Triton dafay wane abstraksioŋu prograam ci niveau bloc ci jamono ji kàrtu compilatëram di liggéey ci jëfandikoo GPU.
Blok bu mujj bi mën na ëpp dayo rang logique bi, kon mask yi dina ñu tere jëfandikoo ak dencukaay yu baaxul.
ID prograam yi dañuy may kernel bi mu xayma ban wàll ci génne gi instance bi wara def.
Tiling mën na jëfandikoowaat done yiñ denc ci memory bu gëna gaaw moo gën ñu koy sargal lu bari yoon ci bépp jëfandikoo arithmetik.
Compilation mën na ëppu doole ci woote bu njëkk bi, kon dañu wara natt performance steady-state ci anam wu wuute sudee loolu mooy méngale biñ bëgga méngale.
Weyal di jàng
Tann nañu yeneen njiit ngir topic bii
Ci bi mu melGis bi ci topp
Tann GPU ngir jàng masin
Xarala