Dulmar
FlashAttention waa algorithm-ka wax-ku-oolka ah ee xusuusta kaas oo xisaabiya isla dareenka saxda ah ee beddelayaasha caadiga ah laakiin aan waligiis qorin jaantuska dareenka weyn si loo yareeyo xusuusta GPU-da. Waxay ka dhigtay tababbarka muddada-dheer iyo ka-fiirsashada si aad u dhakhso badan oo jaban.
FlashAttention waa qayb ka mid ah xirmada luqadda-AI ee loo isticmaalo in lagu akhriyo, soo saaro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan.
quusitaanka qoto dheer
Dareenka caadiga ah wuxuu xisaabiyaa dhibcaha lammaane kasta, isagoo soo saaraya jaantuska N-by-N. Isku xigxiga 4,000-token kaas oo ah 16 milyan buundooyinka, iyo shaxanka waa in lagu qoraa oo dib looga akhriyaa xusuusta-bandwidth-sare ee GPU (HBM). Taraafikada xusuusta, ee maaha xisaabta, waa caqabadda dhabta ah. FlashAttention, oo ay soo bandhigeen Tri Dao iyo asxaabtiisa sanadka 2022, ayaa dib u habayn ku sameeya xisaabinta si jaantusku aanu waligiis si buuxda u hirgelin. Waxay ku socodsiisaa isku xigxiga ee tiles ee ku habboon GPU-ga yar, aadka u degdegga ah ee chip-ka SRAM, xisaabinta softmax si tartiib tartiib ah sida ay u socoto. Natiijadu waxay xisaab ahaan la mid tahay dareenka caadiga ah, laakiin waxay isticmaashaa xusuusta aad uga yar waxayna u socotaa dhowr jeer si dhakhso ah, taasoo awood u siinaysa daaqadaha macnaha guud.
Aragtida Farsamada
Khiyaamadu waa 'softmax online' oo lagu daray tiling. FlashAttention waxay ku shubtaa qaybo yaryar oo su'aalo ah, furayaal, iyo qiyam ah SRAM, waxay xisaabisaa qayb ka mid ah wax soo saarka dareenka, oo waxay dib u xisaabisaa wadarta socodsiinta marka baloogyada cusubi yimaadaan si caadiga softmax ay u ahaato mid sax ah iyada oo aan la arkin dhammaan buundooyinka hal mar. Sababtoo ah waligiis kuma kaydiso matrixka N-by-N ee buuxa ee HBM, xusuusta ayaa si toos ah u miisaamaysa halkii ay ka ahaan lahayd afar-geesood, iyo kernel-ku waxa lagu dhex milmay hal hawlgal oo GPU ah si loo yareeyo akhriska iyo qorista xusuusta gaabis ah.
Hagaajinta FlashAttention
FlashAttention waa algorithm-ka wax-ku-oolka ah ee xusuusta kaas oo xisaabiya isla dareenka saxda ah ee beddelayaasha caadiga ah laakiin aan waligiis qorin jaantuska dareenka weyn si loo yareeyo xusuusta GPU-da. Waxay ka dhigtay tababbarka muddada-dheer iyo ka-fiirsashada si aad u dhakhso badan oo jaban. FlashAttention waa qayb ka mid ah xirmada luqadda-AI ee loo isticmaalo in lagu akhriyo, soo saaro, lagu kala saaro, oo loo beddelo qoraalka iyo hadalka cabbir ahaan. Si loo dhiso faham qoto dheer, ula dhaqan FlashAttention sidii moodal hawleed, ma aha hal sifo: qeex natiijooyinka la rabo, cadee fikradaha, oo kala saar waxa nidaamku si kalsooni leh u samayn karo iyo waxa weli u baahan go'aan khabiir.
Ficil ahaan, kooxo xoog leh oo isticmaalaya FlashAttention naqshadeynta, soo celinta, iyo dib u eegista wareegyada sida hal nidaam isgaarsiin oo isku dhafan. Waxay diiwaangeliyaan shuruudaha guusha ee cad, tijaabiyaan xogta dhabta ah iyo qulqulka shaqada, waxayna ku celceliyaan ku saleysan qaababka guul darrida ee la arkay halkii ay hal mar ku guuleysan lahaayeen halbeegyada. Tani waa halka fahamka aragtida uu isu beddelo karti waara oo dhan badeecada, siyaasadda, iyo hawlgallada.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Isla mar ahaantaana, xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, socodka taageerada, ama natiijooyinka cilmi-baarista. Habka ugu adkeysi badan waa in la isku daro xawaaraha tijaabada iyo anshaxa maamulka: socodsiinta duuliyayaasha, qabashada caddaynta, daabacaadda go'aanka, iyo si joogto ah u cusboonaysii ilaalinta sida habdhaqanka moodeelka, filashada isticmaale, iyo shuruudaha sharciyaynta.
Saamaynta Istiraatijiyadeed
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta.
Socodka shaqada luqaddu si dhakhso leh ayay u socon kartaa iyada oo aan la hurayn joogteynta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta.
Waxay balaadhisaa gelitaanka luqadaha iyo qaababka isgaarsiinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta.
Kooxuhu waxay waqti badan ku qaadan karaan xukunka halka otomaatiggu uu qabanayo ku celcelinta. Hawlgelinta tayada sare leh, tan waxaa loo tarjumaa shuruuc hawleed la cabbiri karo, xuduudaha lahaanshaha, iyo caadooyinka dib u eegista soo noqnoqda si kooxuhu ay u cabbiraan kalsoonida halkii ay ka saari lahaayeen madmadowga.
Dhaqangelinta Adduunka-dhabta ah
Tababarka moodooyinka luqadaha waaweyn sida Llama iyo nidaamyada GPT-ga si dhakhso leh oo kharash yar GPU ah
U adeegida kaaliyeyaasha wada sheekaysiga muddada-dheer ee soo geliya dhammaan buugaagta ama saldhigyada code-yada iyada oo aan xusuustu ka dhammaan
Dedejinta dhuumaha dukumentiga-koobitaanka kuwaas oo socodsiiya tobanaan kun oo calaamad ah hal mar
Awooda aragga iyo transformers multimodal halkaas oo taxanaha dhaadheer ee dhejiska sawirku ay dareenka qaali ka dhigaan
Hababka Dhaqangelinta
Fiiri Fiiri ficil ahaan
Tababarka moodooyinka luqadaha waaweyn sida Llama iyo nidaamyada GPT-ga si dhakhso leh oo kharash yar GPU ah.
Tababarka moodooyinka luqadaha waaweyn sida Llama iyo nidaamyada GPT-ga si dhakhso leh oo hooseeya qiimaha GPU Kooxuhu waxay caadi ahaan helaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, oo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka waqti ka dib.
Fiiri Fiiri ficil ahaan
U adeegida kaaliyeyaasha wada sheekaysiga muddada-dheer ee soo geliya dhammaan buugaagta ama saldhigyada code-yada iyada oo aan xusuustu ka dhammaan.
U adeegida kaaliyeyaasha wada sheekaysiga muddada-dheer ee soo geliya buugaag dhan ama codebases iyada oo aan laga dhammaanin xusuusta Kooxuhu waxay badanaa helaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, u hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, iyo la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Fiiri Fiiri ficil ahaan
Dedejinta dhuumaha dukumentiga-koobitaanka kuwaas oo socodsiiya tobanaan kun oo calaamad ah hal mar.
Dar-dargelinta dhuumaha dukumeenti-koobeedka kuwaas oo socodsiinaya tobanaan kun oo calaamado ah hal mar Kooxuhu caadi ahaan waxay helayaan natiijooyin ka wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u kaca bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada khaladka ah waqti ka dib.
Fiiri Fiiri ficil ahaan
Awooda aragga iyo transformers multimodal halkaas oo taxanaha dhaadheer ee dhejiska sawirku ay dareenka qaali ka dhigaan.
Awoodda aragga iyo transformers multimodal halkaas oo taxanaha dhaadheer ee dhejisyada sawirku ay ka dhigaan dareenka qaaliga Kooxuhu inta badan waxay helayaan natiijooyin wanaagsan marka ay qeexaan heerarka tayada ee hore, waxay hayaan dariiqa kor u qaadida bini'aadamka ee kiisaska cirifka ah, waxayna la socdaan labadaba faa'iidooyinka wax soo saarka iyo kharashyada qaladka waqti ka dib.
Khatarta & Dariiqyada Ilaalada
Xaqiiqooyinka dhalanteed waxay si deggan u geli karaan warbixinnada, taageerada socodka, ama natiijooyinka cilmi-baarista.
Dareenka degdega ahi wuxuu abuuri karaa natiijooyin aan iswaafaqayn codsiyada la midka ah.
Xogta qoraalka xasaasiga ah ayaa laga yaabaa in la kashifo haddii kontaroolada gelitaanka ay daciif yihiin.
Qorshe Hawleedka Dhaqangelinta
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin.
Qeex qaabka wax soo saarka, codka, iyo heerarka tayada ka hor inta aan la baahin. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay.
Jawaabaha salka ku haya ilo lagu kalsoon yahay mar kasta oo saxnidu ay muhiim tahay. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare.
Hayso isbaarada dib u eegista bini aadamka ee wax soo saarka sare. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah.
Lasoco qaababka guuldarada oo dib u leyli dardargelinta ama socodka shaqada si joogto ah. Tallaabo kasta ula dhaqan sida albaabka caddaynta: haddii shuruudaha la buuxin waayo, hakad soo bixidda, xidh farqiga, ka dibna balaadhi isticmaalka.