llama.cpp 0.3.0 የመልቲሞዳል ነጥብ3-ማስታወሻ ድጋፍ እና DeepSeek 4 tensor ስንጥቅ ይጨምራል

ምን ተፈጠረ

በGitHub የመልቀቂያ ገጹ መሰረት የlma.cpp ፕሮጀክት 0.3.0 ኦገስት 25 ላይ ለቋል። ዝመናው አዲስ የDSA-ISWA ቁልፍ-እሴት መሸጎጫ አይነትን ጨምሮ ለነጥብ3-ኖት መልቲሞዳል ሞዴል ድጋፍን ይጨምራል እና ለዚያ ሞዴል የእይታ እና የድምጽ አያያዝን ይጨምራል። እንዲሁም ለDeepSeek 4 የ tensor-split modeን ያስተዋውቃል፣ ባለብዙ-ተከታታይ መልሶ መመለስን ያስተካክላል እና ለGLM-4.5-Air ባለብዙ-ቶከን ትንበያ ድጋፍን ይጨምራል።

የGitHub ገጽ v0.3.0 እንደ የቅርብ ጊዜው የህዝብ llama.cpp ማከማቻ መለቀቅ እና ልቀቱን በኦገስት 25 10፡22 ላይ ይመዘግባል። ልቀቱ እንደ ትንሽ የጥገና ፕላስተር ሳይሆን እንደ ጠቃሚ የስሪት ማሻሻያ ቀርቧል። የሶፍትዌሩ ማዕከላዊ ለውጦች አዲስ የመልቲሞዳል ሞዴል፣ ሞዴል-ተኮር የፍተሻ ባህሪያት፣ የ tensor parallelism እና በአገልጋዩ እና በሌሎች መሳሪያዎች ጥቅም ላይ በሚውሉ የጋራ ክፍሎች ላይ ለውጦችን ጨምሮ ሶፍትዌሩ የ AI ሞዴሎችን እንዴት እንደሚደግፍ እና እንደሚያስፈጽም ያሳስባል። በጣም ታዋቂው የሞዴል መጨመር ነጥብ3-ኖት ነው። የልቀት ማስታወሻዎቹ llama.cpp ሞዴሉን ከአዲሱ DSA-ISWA ቁልፍ-እሴት መሸጎጫ አይነት ጋር ያክላል ይላሉ። ለነጥብ3-ማስታወሻ እይታ እና ድምጽ፣ የዌብፒ ምስሎች በffmpeg እና በትራስ ትክክለኛ የመጠን ስልተ-ቀመር ድጋፍን በተናጠል ይዘረዝራሉ። ማስታወሻዎቹ የፋይሉ ሞቭ አቶም መጨረሻ ላይ ሲታይ የቪዲዮ ጭነት ተስተካክሏል ይላሉ። ምንም እንኳን ምንጩ የአምሳያው አቅምን ወይም የታቀዱ አፕሊኬሽኖችን ባይገልጽም እነዚህ ለውጦች ፕሮጀክቱ ከጽሑፍ ተኮር ሞዴል አፈፃፀም አልፎ ወደ ሰፊ የሚዲያ ግብአቶች ስብስብ እየሰፋ መሆኑን ያመለክታሉ።

ለDeepSeek 4፣ ስሪት 0.3.0 በ "-sm tensor" አማራጭ በኩል tensor-split ሁነታን ይጨምራል እና በርካታ ቅደም ተከተሎች ንቁ ሲሆኑ መልሶ መመለስን ያስተካክላል። ልቀቱ በ tensor-split state propagation ላይ ለ tensor-parallel አፈጻጸም እርማትንም ሪፖርት አድርጓል። በተናጠል፣ GLM-4.5-Air የባለብዙ ቶከን ትንበያ ድጋፍን ይቀበላል፣ bailingmoe3 ደግሞ የDSpark ድጋፍን ይቀበላል። እነዚህ የተወሰኑ ሞዴሎች እንዴት እንደሚፈጸሙ፣ እንደሚመሳሰሉ ወይም እንደሚጣደፉ የሚነኩ የትግበራ ደረጃ ለውጦች ናቸው። መለቀቁ የሞዴሉን ጥራት እንደሚያሻሽሉ አይናገርም።

ዝመናው የ ggml ክፍሉን ወደ v0.22.0 ያጎርፋል። ማስታወሻዎቹ የ tensor-split ድጋፍን በggml ባለብዙ ጀርባ ሜታ ጀርባ፣ የተሻሻለ የተከፋፈለ-ግዛት ስርጭት፣ በየክወና የብረታ ብረት ምንጮች በትይዩ ቅንብር፣ እና ggml_clampን ትክክለኛ ቦታ ላይ ያልሆነ አሰራር የሚያደርገውን እርማት ይገልፃሉ። ተጨማሪ ለውጦች አዲስ ኦፕሬሽኖችን፣ Q2_K SYCL kernelsን፣ OpenCL ድብልቅን-የባለሙያዎችን አድሎአዊ ውህደትን እና በCUDA፣ Metal፣ SYCL፣ Vulkan፣ OpenCL እና WebGPU ላይ ማስተካከያዎችን ይሸፍናሉ። አገልጋዩ የቦታ-አራሚ ልዩነቶችን ለማስፋት የአካባቢን ተለዋዋጭ ያገኛል፣ እና የድር በይነገፅ የቻት ዳሰሳን ያገኛል።

የምንጭ ዝርዝሮች: github.com ↗

ለምን አስፈላጊ ነው።

ልቀቱ ትላልቅ ወይም የበለጠ ውስብስብ ሞዴሎችን ለማስኬድ የተካተቱትን የማህደረ ትውስታ፣ ትይዩ እና የኋላ ጉዳዮችን በሚፈታበት ጊዜ በሰፊው ጥቅም ላይ በሚውል የክፍት ምንጭ ትግበራ የተደገፉ የኤአይአይ ሞዴሎችን እና የግብአት አይነቶችን ያሰፋል። ተግባራዊው ውጤት በሃርድዌር፣ በሞዴል ፋይሎች፣ በግንባታ ውቅረት እና ጥቅም ላይ በሚውለው የተለየ የጀርባ ሽፋን ላይ ይወሰናል።

ተግባራዊ ፋይዳው የክፍት ምንጭ ሞዴል ማስፈጸሚያ ቁልል ለተመሳሳዩ ልቀት ለተለያየ የሞዴል አርክቴክቸር እና ዘዴዎች ድጋፍ እየጨመረ ነው። llama.cppን ለሚጠቀሙ ገንቢዎች እና ተመራማሪዎች፣ የdots3-note's ራዕይ እና የድምጽ ግብአቶች ድጋፍ ለእነዚያ ግብአቶች የተለየ የማስፈጸሚያ መንገዶችን የመጠበቅን አስፈላጊነት ሊቀንስ ይችላል። የመልቀቂያ ማስታወሻዎቹ የድጋፉን መኖር ያረጋግጣሉ፣ ነገር ግን በተለየ ሃርድዌር ላይ ምን ያህል የተሟላ፣ ፈጣን እና አስተማማኝ እንደሆነ አላረጋገጡም።

የአምሳያው የሥራ ጫና ወይም ሁኔታ በመሣሪያዎች ላይ እንዴት እንደሚከፋፈል ስለሚመለከት የ Tensor ክፍፍል አስፈላጊ ነው። የDeepSeek 4 ለውጦች ሶፍትዌሩን የበለጠ ጥቅም ላይ የሚውሉት ኮምፒውተራቸው በተለያዩ መሳሪያዎች ለተከፋፈለ ሰዎች ሊያደርገው ይችላል፣የመልሶ መልስ መጠገኛ ግን ከአንድ በላይ ተከታታይ ገባሪ ለሆኑ የስራ ጫናዎች አስፈላጊ ሊሆን ይችላል። እነዚያ በተዘረዘሩት ለውጦች ላይ የተመሰረቱ አሳማኝ የአሠራር ጥቅማጥቅሞች ናቸው እንጂ የሚለኩ ውጤቶች አይደሉም፡ ምንጩ ምንም አይነት የትርፍ ጊዜ፣ የማስታወስ ችሎታ፣ የቆይታ ወይም የውድቀት መጠን ንጽጽሮችን ከስሪት 0.2.0 ጋር አያቀርብም።

የggml ለውጦቹ የልቀቱን ተደራሽነት በሃርድዌር ጀርባዎች ላይ ያሰፋሉ። ለብረታ ብረት ምንጮች ትይዩ ማጠናቀር በግንባታ ጊዜዎች ላይ ተጽዕኖ ሊያሳድር ይችላል፣ የሜታ-ጀርባ ክፍፍል-ግዛት ስራ እና ማስተካከያዎች ለCUDA፣ SYCL፣ Vulkan፣ OpenCL እና WebGPU ሞዴሎችን ከተለያዩ የሃርድዌር አይነቶች ጋር የሚያገናኘውን ተንቀሳቃሽነት ንብርብር ይቀርባሉ። ልቀቱ ከGEMV ይልቅ GEMMን ለመላክ የታሰበ የMamba2 ትንበያ ለውጥ ይዘረዝራል፣ ነገር ግን የትኛውንም የአፈጻጸም ትርፍ አይገልጽም። ስለዚህ ተጠቃሚዎች ማስታወሻዎቹን እንደ የትግበራ መለወጫ እንጂ እንደ መለኪያ ሪፖርት አድርገው መያዝ የለባቸውም።

መለቀቁ ለሰፊው AI ስነ-ምህዳር አስፈላጊ ነው ምክንያቱም የሞዴል ድጋፍ በአምሳያ ፈጣሪዎች ብቻ ሳይሆን ሞዴሎችን በተለያዩ ስርዓቶች ላይ እንዲተገበሩ በሚያደርገው የሶፍትዌር ንብርብር ነው. ሞዴል ወይም ሞዳሊቲ ማከል የትኞቹ ፕሮጀክቶች ለአካባቢያዊ ወይም ልዩ ማሰማራት ተግባራዊ ሊሆኑ እንደሚችሉ ላይ ተጽእኖ ያሳድራል። አሁንም፣ ትርጉም ያላቸው ያልታወቁ ነገሮች ይቀራሉ፡ ምንጩ የነጥብ3-ኖት ፍቃድ ወይም ስርጭት ውሎችን፣ የሚፈለጉትን የሞዴል ክብደቶች፣ የሚደገፉ ኦፕሬቲንግ ሲስተሞች፣ የሃርድዌር ዝቅተኛዎች፣ የተደገፉ የድምጽ እና የቪዲዮ ቅርጸቶች ከተዘረዘሩት ጥገናዎች ባለፈ ወይም ሁሉም ባህሪያት በምሽት ንብረት ውስጥ መኖራቸውን አይገልጽም።

ቀጥሎ ምን እንደሚታይ

የተለቀቁት ማስታወሻዎች ገለልተኛ መለኪያዎችን፣ የሃርድዌር መስፈርቶችን፣ የተኳኋኝነት ማትሪክስ ወይም የምርት ማሰማራት ማስረጃዎችን አያቀርቡም። ዋናው ክትትል ተጠቃሚዎች ለdots3-note's ራዕይ እና የድምጽ ዱካዎች፣ የDeepSeek 4 tensor በመሳሪያዎች ላይ መከፋፈል እና የተዘመነው CUDA፣ Metal፣ SYCL፣ Vulkan፣ OpenCL እና WebGPU የኋላ መደገፊያዎች አስተማማኝ አፈጻጸም ሪፖርት አለማድረጋቸው ነው።

የመጀመሪያው የማረጋገጫ ነጥብ ለdots3-note ተግባራዊ ሽፋን ነው። ልቀቱ የስም እይታ እና የድምጽ ድጋፍን፣ የዌብ ፒ ኮድ መፍታትን፣ የቪዲዮ ጭነት ማስተካከያዎችን እና ባህሪን ይቀይራል፣ ነገር ግን የሙከራ ምሳሌዎችን ወይም የሚደገፉ የግቤት ሰንጠረዦችን አያካትቱም። ገለልተኛ ሙከራ የትኛዎቹ ቅርጸቶች እንደሚሰሩ፣ ቅድመ-ሂደቱ እንዴት በውጤቶች ላይ ተጽዕኖ እንደሚያሳድር፣ ኦዲዮ እና እይታ ሊጣመሩ እንደሚችሉ፣ እና ባህሪው በሚደገፉ ጀርባዎች ላይ ወጥነት ያለው መሆኑን ማረጋገጥ አለበት። እስከዚያ ድረስ “ድጋፍ” የምርት ዝግጁነት ማረጋገጫ ሳይሆን የፕሮጀክት ደረጃ ትግበራ ጥያቄ እንደሆነ መረዳት አለበት።

ሁለተኛው ጉዳይ የDeepSeek 4 tensor ስንጥቅ የገሃዱ ዓለም ተጽእኖ ነው። ተጠቃሚዎች "-sm tensor" በየመሳሪያዎቻቸው ላይ እንደሚሰራ፣ ማህደረ ትውስታ እንዴት እንደሚከፋፈል፣ እና ባለብዙ ቅደም ተከተል መልሶ መመለሻ በረጅም ወይም በተመሳሳይ የስራ ጫናዎች አስተማማኝ መሆኑን ማወቅ አለባቸው። ምንጩ የሃርድዌር ዝርዝር፣ የአፈጻጸም ውሂብ ወይም የስህተት ትንታኔ አይሰጥም። ከተጠባቂዎች እና የተጠቃሚዎች ሪፖርቶች በተለይ ጠቃሚ ይሆናሉ ምክንያቱም የ tensor-parallel ባሕሪ በአሽከርካሪዎች ፣ በተጠናቀሩ ባህሪዎች ፣ የመሣሪያ ውህዶች እና የሞዴል ውቅር ሊለያይ ይችላል።

ሦስተኛው አካባቢ የኋለኛ ክፍል እኩልነት ነው። የተለቀቀው የ CUDA፣ Metal፣ SYCL፣ Vulkan፣ OpenCL እና WebGPU ማሻሻያዎችን ስም ሰጥቷል፣ ነገር ግን እያንዳንዱ አዲስ ሞዴል ወይም አሰራር በእያንዳንዱ ጀርባ ላይ እኩል ይሰራል አይልም። የነጥብ3-ኖት አርኪቴክቸር ሙከራ ለWebGPU መጥፋቱን የለውጡ ሎግ ራሱ ገልጿል፣ ይህ ደግሞ የተሟላ የጀርባ ሽፋንን ከመውሰድ ለመቆጠብ የሚያስችል ተጨባጭ ምክንያት ነው። የክትትል ሰነዶች ወይም የፈተና ውጤቶች ምን እንደነቃ፣ የሙከራ፣ የተገደበ ወይም የማይገኝ ማብራራት አለባቸው።

በመጨረሻም፣ የፕሮጀክቱ ቀጣይ ልቀቶች እነዚህ ለውጦች የተረጋጉ መሆናቸውን ያሳያሉ። ክትትል ሊደረግባቸው የሚገቡ ነገሮች የነጥብ3-ኖት መጫን እና የሚዲያ ቅድመ-ሂደትን ማስተካከል፣ ባለብዙ ቶከን ትንበያ ወይም መክተትን የሚያካትቱ ለውጦች፣ ተጨማሪ DeepSeek 4 ትይዩ ለውጦች እና የአገልጋዩ ማስገቢያ ተስማሚ አመክንዮ ማሻሻያዎችን ያካትታሉ። የሚለቀቀው በምሽት የሚገነባ ንብረትን ያካትታል፣ ነገር ግን ምንጩ ማሸጊያውን፣ መባዛቱን ወይም ከተረጋጋ ግንባታዎች ጋር ያለውን ግንኙነት አይገልጽም። በቀረበው ቁሳቁስ ውስጥ ምንም አይነት ገለልተኛ ማስረጃ የጉዲፈቻ፣ የስምሪት ልኬት ወይም የተጠቃሚ ተጽእኖ የሚያረጋግጥ የለም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች