llama.cpp 0.3.0 inaongeza usaidizi wa dots3-noti nyingi na mgawanyiko wa tensor wa DeepSeek 4

Nini kilitokea

Mradi wa llama.cpp ulitoa toleo la 0.3.0 mnamo Agosti 25, kulingana na ukurasa wake wa toleo wa GitHub. Sasisho linaongeza usaidizi kwa modeli ya multimodal ya dots3-note, ikijumuisha aina mpya ya akiba ya ufunguo wa DSA-ISWA, na huongeza maono na utunzaji wa sauti kwa modeli hiyo. Pia inatanguliza hali ya mgawanyiko wa tensor kwa DeepSeek 4, kurekebisha urejeshaji wa mfuatano-nyingi, na kuongeza usaidizi wa ubashiri wa ishara nyingi kwa GLM-4.5-Air.

Ukurasa wa GitHub unabainisha v0.3.0 kama toleo jipya zaidi la hazina ya umma ya llama.cpp na kurekodi toleo hilo saa 10:22 Agosti 25. Toleo linawasilishwa kama sasisho kubwa la toleo badala ya kiraka kidogo cha urekebishaji. Mabadiliko yake kuu yanahusu jinsi programu inavyoauni na kutekeleza miundo ya AI, ikijumuisha modeli mpya ya aina nyingi, vipengele vya uelekezaji mahususi vya kielelezo, usawazishaji wa tensor, na mabadiliko ya vipengele vilivyoshirikiwa vinavyotumiwa na seva na zana zingine. Nyongeza ya mfano maarufu zaidi ni dots3-note. Madokezo ya toleo yanasema llama.cpp inaongeza modeli pamoja na aina mpya ya akiba ya ufunguo wa DSA-ISWA. Wanaorodhesha kando usaidizi wa maono na sauti ya dots3-note, picha za WebP kupitia ffmpeg, na kanuni ya kurekebisha ukubwa ya Pillow-sahihi. Vidokezo pia vinasema upakiaji wa video ulisasishwa wakati atomi ya moov ya faili inaonekana mwishoni. Mabadiliko haya yanaonyesha kuwa mradi unaendelea zaidi ya utekelezaji wa muundo unaoelekezwa kwa maandishi hadi seti pana ya ingizo la media, ingawa chanzo hakielezi uwezo wa muundo au programu zinazokusudiwa.

Kwa DeepSeek 4, toleo la 0.3.0 huongeza hali ya mgawanyiko wa tensor kupitia chaguo la "-sm tensor" na kurekebisha urejeshaji urejeshaji wakati mifuatano mingi inatumika. Toleo hili pia linaripoti marekebisho ya uenezi wa hali ya mgawanyiko wa tensor kwa utekelezaji wa tensor-sambamba. Kando, GLM-4.5-Air hupokea usaidizi wa ubashiri wa ishara nyingi, huku bailingmoe3 ikipokea usaidizi wa DSpark. Haya ni mabadiliko ya kiwango cha utekelezaji ambayo huathiri jinsi miundo mahususi inaweza kutekelezwa, kusawazishwa au kuharakishwa; toleo hilo halidai kwamba zinaboresha ubora wa mfano.

Sasisho pia linagonga sehemu ya ggml hadi v0.22.0. Vidokezo vinaelezea usaidizi wa mgawanyiko wa tensor katika meta ya nyuma-nyuma ya ggml, uenezi ulioboreshwa wa hali ya mgawanyiko, Vyanzo vya metali kwa kila operesheni na mkusanyo sambamba, na marekebisho ambayo hufanya ggml_clamp kufanya kazi ifaayo isiyo ya mahali. Mabadiliko ya ziada yanahusu utendakazi mpya, kernels za Q2_K SYCL, mchanganyiko wa upendeleo wa OpenCL wa wataalamu, na marekebisho kwenye CUDA, Metal, SYCL, Vulkan, OpenCL, na WebGPU. Seva hupata mabadiliko ya mazingira kwa ajili ya kupanua tofauti za utatuzi wa yanayopangwa, na kiolesura cha wavuti hupata urambazaji wa gumzo wenye vichupo.

Maelezo ya chanzo: github.com ↗

Kwa nini ni muhimu

Toleo hilo linapanua aina mbalimbali za miundo ya AI na aina za ingizo zinazoungwa mkono na utekelezaji wa chanzo huria unaotumika sana huku ikishughulikia kumbukumbu, usawaziko na masuala ya nyuma yanayohusika katika kuendesha miundo mikubwa au changamano zaidi. Athari ya kiutendaji itategemea maunzi, faili za modeli, usanidi wa muundo, na mazingira mahususi yanayotumika.

Umuhimu wa vitendo ni kwamba safu ya utekelezaji ya mfano wa chanzo huria inaongeza usaidizi kwa usanifu na mbinu mbalimbali za usanifu katika toleo sawa. Kwa wasanidi programu na watafiti wanaotumia llama.cpp, usaidizi wa maono na sauti za dots3-note unaweza kupunguza hitaji la kudumisha njia tofauti za utekelezaji kwa ingizo hizo. Madokezo ya toleo yanathibitisha uwepo wa usaidizi, lakini hautambui jinsi ilivyo kamili, haraka, au kuaminika kwenye maunzi fulani.

Mgawanyiko wa kidhibiti ni muhimu kwa sababu unahusu jinsi mzigo wa kazi wa modeli au hali inavyosambazwa kwenye vifaa. Mabadiliko ya DeepSeek 4 yanaweza kufanya programu itumike zaidi kwa watu ambao komputa inayopatikana imegawanywa katika vifaa vingi, ilhali urekebishaji wa urejeshaji unaweza kuwa na umuhimu kwa mizigo ya kazi inayodumisha zaidi ya mlolongo amilifu. Hizo ni manufaa yanayowezekana ya kiutendaji yanayotokana na mabadiliko yaliyoorodheshwa, si matokeo yaliyopimwa: chanzo hakitoi matokeo, kumbukumbu, muda wa kusubiri, au ulinganisho wa kiwango cha kutofaulu dhidi ya toleo la 0.2.0.

Mabadiliko ya ggml huongeza ufikiaji wa toleo kwenye sehemu za nyuma za maunzi. Ukusanyaji sambamba wa vyanzo vya Chuma unaweza kuathiri muda wa ujenzi, ilhali hali ya mgawanyiko ya meta-backend na marekebisho ya CUDA, SYCL, Vulkan, OpenCL, na WebGPU inashughulikia safu ya kubebeka ambayo inaunganisha miundo na aina tofauti za maunzi. Toleo hili pia linaorodhesha mabadiliko ya makadirio ya Mamba2 yanayokusudiwa kupeleka GEMM badala ya GEMV, lakini halikadirii faida yoyote ya utendakazi. Kwa hivyo watumiaji wanapaswa kuchukulia madokezo kama logi ya mabadiliko ya utekelezaji, na si kama ripoti ya alama.

Toleo hili ni muhimu kwa mfumo mpana wa ikolojia wa AI kwa sababu usaidizi wa kielelezo haujaundwa tu na waundaji wa miundo bali pia na safu ya programu inayofanya miundo itekelezwe kwenye mifumo tofauti. Kuongeza kielelezo au muundo kunaweza kuathiri ni miradi gani inafaa kwa uwekaji wa ndani au maalum. Bado, mambo muhimu yasiyojulikana yanasalia: chanzo hakisemi masharti ya leseni au usambazaji wa dots3-note, uzani wa modeli unaohitajika, mifumo ya uendeshaji inayotumika, kiwango cha chini cha maunzi, umbizo la sauti na video linalotumika zaidi ya marekebisho yaliyoorodheshwa, au ikiwa vipengele vyote vinapatikana katika kipengee cha usiku.

Nini cha kutazama baadaye

Madokezo ya toleo hayatoi vigezo huru, mahitaji ya maunzi, hesabu za uoanifu, au ushahidi wa uwekaji wa toleo la umma. Ufuatiliaji muhimu ni ikiwa watumiaji wanaripoti utendakazi unaotegemewa wa njia za kuona na sauti za dots3-note, mgawanyiko wa tensor ya DeepSeek 4 kwenye vifaa vyote, na viambajengo vilivyosasishwa vya CUDA, Metal, SYCL, Vulkan, OpenCL, na WebGPU.

Sehemu ya kwanza ya uthibitishaji ni chanjo inayofanya kazi kwa dots3-note. Vidokezo vya toleo la maono ya jina na usaidizi wa sauti, usimbaji wa WebP, marekebisho ya upakiaji video, na tabia ya kubadilisha ukubwa, lakini hayajumuishi mifano ya majaribio au majedwali ya kuingiza data. Jaribio la kujitegemea linapaswa kubainisha ni miundo gani inayofanya kazi, jinsi uchakataji wa awali unavyoathiri matokeo, ikiwa sauti na maono vinaweza kuunganishwa, na kama tabia inalingana katika sehemu za nyuma zinazotumika. Hadi wakati huo, "msaada" unapaswa kueleweka kama dai la utekelezaji wa kiwango cha mradi badala ya uthibitisho wa utayari wa uzalishaji.

Suala la pili ni athari ya ulimwengu halisi ya mgawanyiko wa tensor wa DeepSeek 4. Watumiaji watahitaji kubainisha kama "-sm tensor" inafanya kazi kwenye vifaa vyao mahususi, jinsi kumbukumbu inavyogawanywa, na ikiwa urejeshaji wa msururu wa aina nyingi unasalia kutegemewa chini ya mzigo wa kazi mrefu au unaofanana. Chanzo hakitoi orodha ya maunzi, data ya utendaji, au uchanganuzi wa makosa. Ripoti kutoka kwa watunzaji na watumiaji zitakuwa muhimu hasa kwa sababu tabia ya tensor-parallel inaweza kutofautiana na viendeshaji, vipengele vilivyokusanywa, mchanganyiko wa kifaa na usanidi wa miundo.

Sehemu ya tatu ni usawa wa nyuma. Majina ya toleo husasishwa kwa CUDA, Metal, SYCL, Vulkan, OpenCL, na WebGPU, lakini haisemi kwamba kila modeli mpya au operesheni inafanya kazi kwa usawa kwenye kila backend. Mabadiliko yenyewe yanabainisha kuwa jaribio la usanifu la dots3-note lilizimwa kwa WebGPU, ambayo ni sababu madhubuti ya kuzuia kuchukua chanjo kamili ya nyuma. Hati za ufuatiliaji au matokeo ya majaribio yanapaswa kufafanua kile ambacho kimewashwa, cha majaribio, kikomo, au kisichopatikana.

Hatimaye, matoleo yanayofuata ya mradi yataonyesha ikiwa mabadiliko haya yatabaki thabiti. Vipengee vinavyostahili kufuatiliwa vinajumuisha marekebisho ya upakiaji wa noti-3 na uchakataji wa awali wa maudhui, urejeshaji nyuma unaohusisha utabiri wa ishara nyingi au upachikaji, mabadiliko zaidi ya usambamba wa DeepSeek 4, na masasisho kwa mantiki ya kuweka nafasi ya seva. Toleo hili linajumuisha kipengee cha muundo wa kila usiku, lakini chanzo hakielezi ufungaji, uzalishaji tena au uhusiano wake na miundo thabiti. Hakuna ushahidi huru katika nyenzo zinazotolewa unathibitisha kupitishwa, kiwango cha upelekaji, au athari ya mtumiaji.

Miongozo & maswali yanayohusiana