ፈጣን መሸጎጫ መመሪያ

አጠቃላይ እይታ

It dramatically cuts cost and latency when the same long instructions, documents, or examples appear in request after request.

ጥልቅ ዳይቭ

የቋንቋ ሞዴል ጥያቄን ሲያነብ እያንዳንዱን ማስመሰያ ቁልፍ-እሴት (KV) ቬክተር ወደ ሚባሉ ውስጣዊ አሃዛዊ ግዛቶች በ ትኩረት ንጣፎች በኩል ይለውጣል። ብዙውን ጊዜ ይህ በእያንዳንዱ ጥያቄ ላይ አዲስ ነው የሚሆነው፣ ምንም እንኳን 90% መጠየቂያው ተመሳሳይ ቢሆንም። አፋጣኝ መሸጎጫ እነዚያ ቀድሞ የተቆጠሩት የKV ግዛቶች ምልክት ላለበት ቅድመ ቅጥያ ያከማቻል፣ ስለዚህ በኋላ ላይ በተመሳሳይ ጽሑፍ የሚጀምር ጥያቄ በቀጥታ ወደ አዲሱ ክፍል ሊዘል ይችላል። እንደ Anthropic እና OpenAI ያሉ አቅራቢዎች የተረጋጋ ቅድመ ቅጥያ እንዲጠቁሙ በመፍቀድ ይህንን ያጋልጣሉ። መሸጎጫ ሂቶች በከፍተኛ ቅናሽ (ብዙውን ጊዜ ከግቤት ወጪ 90%) ይከፈላሉ እና በፍጥነት ምላሽ ይሰጣሉ። ለቻትቦቶች ቋሚ የስርዓት መጠየቂያዎች ፣ RAG ቧንቧዎች ተመሳሳይ ሰነዶችን እንደገና ለመጠቀም ወይም ረጅም ታሪኮችን ለሚጫወቱ ወኪሎች ተስማሚ ነው።

ቴክኒካዊ ግንዛቤ

መሸጎጫ የሚሰራው የትራንስፎርመር ትኩረት መንስኤ ስለሆነ ነው፡ እያንዳንዱ ቶከን የሚከታተለው ከሱ በፊት ቶከኖች ብቻ ነው። ስለዚህ KV ለቅድመ-ቅጥያ አዲስ ቶከኖች ሲጨምሩ አይቀየርም ይላል። መሸጎጫው በቅድመ-ቅጥያው ትክክለኛ ማስመሰያ-ለ-ቶከን ግጥሚያ ላይ ተቆልፏል፣ለዚህም ነው አንድ ቁምፊ አርትዖት እንኳን በጥያቄው መጀመሪያ ላይ ሁሉንም ነገር የሚሽረው። መሸጎጫዎች ለአጭር ጊዜ የሚቆዩ (ደቂቃዎች) ናቸው፣ በአቅራቢው ይከማቻሉ፣ እና መሸጎጫ ያለው እገዳ ብዙውን ጊዜ ከዝቅተኛው የማስመሰያ ብዛት መብለጥ አለበት።

ስልታዊ ተጽእኖ

ወጪ እና በጀት

የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.

ግልጽ ውሳኔዎች

የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።

የጥራት ቁጥጥር

የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.

የፈጣን መሸጎጫ የወደፊት ዕጣ

መሸጎጥ አውቶማቲክ እና ረጅም ጊዜ እንደሚቆይ ይጠብቁ፣ አቅራቢዎች በእጅ ማርከሮች ከመጠየቅ ይልቅ እንደገና ጥቅም ላይ ሊውሉ የሚችሉ ክፍተቶችን ሲያገኙ። ተዋረዳዊ እና ከፊል መሸጎጫ በአፋጣኝ መሃል ላይ አርትዖቶችን በሁለቱም በኩል ያልተለወጡ ክፍሎችን እንደገና መጠቀም ያስችላል። ወኪሎች ግዙፍ አውዶችን እና የመሳሪያ ታሪኮችን ሲቀያየሩ፣ ክፍለ-ጊዜ እና ተሻጋሪ ተጠቃሚዎች የጋራ መሸጎጫዎች ለጋራ የሥርዓት ጥያቄዎች በሚሊዮን የሚቆጠሩ ማስመሰያ አውዶችን በኢኮኖሚ አዋጭ ለማድረግ ቁልፍ ይሆናሉ፣ እና በመሣሪያ ላይ ያሉ ሞዴሎች ለቅንጭ የአካባቢ ጥቆማዎች ተመሳሳይ የKV ዳግም አጠቃቀምን ይቀበላሉ።

የእውነተኛ-ዓለም አተገባበር

የደንበኛ ድጋፍ ያለው ቻትቦት የ5,000 ማስመሰያ ፖሊሲውን እና የቃና ስርዓት መጠየቂያውን ስለሚሸጎጥ እያንዳንዱ የተጠቃሚ መልእክት ለአዲሱ ጥያቄ ሙሉ ዋጋ ብቻ ይከፍላል።

የዳግም ማግኛ-የተጨመረ (RAG) መተግበሪያ አንድ ትልቅ የማመሳከሪያ ሰነድ አንድ ጊዜ ይሸፍናል፣ ከዚያ ስለሱ ብዙ ጥያቄዎችን በትንሽ ወጪ ይመልሳል።

ገንቢው ተከታታይ ጥያቄዎችን ሲጠይቅ የኮዲንግ ረዳት የአንድ ትልቅ ኮድ ቤዝ ይዘቶችን ወይም ፋይልን እንደ ቋሚ ቅድመ ቅጥያ ይይዛል።

እያንዳንዱ አዲስ እርምጃ ሙሉውን የቀድሞ ንግግሮች እንደገና እንዳይከፍል የ AI ወኪል ረጅም እና እያደገ የመሳሪያ አጠቃቀም ግልባጭ ይይዛል።

አደጋዎች እና የጥበቃ መንገዶች

አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።

የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.

ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።

የትግበራ ፍኖተ ካርታ

ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።

ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።

ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።

ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።

ማሰስዎን ይቀጥሉ

AI ቤንችማርኮች

ቴክኒካዊ አማራጮችን ሲያወዳድሩ ግምገማን በአግባቡ ይጠቀሙ።

መመሪያ ያንብቡ

የማጠናከሪያ ትምህርት

ወደ ቴክኒካዊ የሥልጠና ስልቶች በጥልቀት ይሂዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the Prompt Caching quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

AI ፈጣን ደህንነት

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is Prompt Caching?

አፋጣኝ መሸጎጫ የ AI ሞዴል በየግዜው ከመስራት ይልቅ የሰራውን የስሌት ስራ ተደጋጋሚ በሆነ የፅሁፍ ክፍል ላይ በድጋሚ እንዲጠቀም ያስችለዋል። ከተጠየቀ በኋላ ተመሳሳይ ረጅም መመሪያዎች፣ ሰነዶች ወይም ምሳሌዎች ሲታዩ ወጪን እና መዘግየትን በእጅጉ ይቀንሳል።

ፈጣን መሸጎጫ በዋነኝነት የሚያከማች እና እንደገና ጥቅም ላይ የሚውለው ምንድን ነው?

መሸጎጥ ለተረጋጋ ቅድመ ቅጥያ የተሰሉትን የKV ትኩረትን ይቆጥባል ስለዚህ በእያንዳንዱ ጥያቄ ላይ እንደገና ማስላት የለባቸውም።

ለምንድነው የተሸጎጠ ቅድመ ቅጥያ በትክክል መመሳሰል ያለበት፣ ማስመሰያ ቶከን?

እያንዳንዱ ማስመሰያ የሚከታተለው በቀደምት ቶከኖች ላይ ብቻ ስለሆነ፣የቀድሞ ማስመሰያ መቀየር በእሱ ላይ የተመካውን እያንዳንዱን ግዛት ያሳጣዋል፣መሸጎጫውን ይሰብራል።

በፍጥነት መሸጎጥ የበለጠ የሚጠቅመው የትኛው ሁኔታ ነው?

እንደ ቋሚ የስርዓት መጠየቂያ ወይም የተጋራ ሰነድ ባሉ ብዙ ጥያቄዎች ላይ አንድ ትልቅ እና ተመሳሳይ ቁራጭ እንደገና ጥቅም ላይ ሲውል መሸጎጫ ይከፍላል።

ከዋና አቅራቢዎች ጋር በግቤት ቶከኖች ላይ የመሸጎጫ ምቶች ምን ያህል ርካሽ ናቸው?

አቅራቢዎች በተለምዶ የተሸጎጠ ግብአትን ከመደበኛው የግብአት ታሪፍ በ90% አካባቢ ያስከፍላሉ፣ ዋናው ምክንያት መሸጎጥ ገንዘብን ይቆጥባል።

የመሸጎጫ ስኬቶችን ከፍ ለማድረግ እንደገና ጥቅም ላይ ሊውል የሚችል ይዘት የት መቀመጥ አለበት?

የተረጋጋ ይዘትን እንደ ቅድመ ቅጥያ በመጀመሪያ ማስቀመጥ እና ይዘቱን መቀየር በኋላ የተሸጎጠ ቅድመ ቅጥያ አዲስ ቶከኖች ብቻ በሚሰሩበት ጊዜ እንደገና ጥቅም ላይ እንዲውል ያስችለዋል።