አጠቃላይ እይታ
እ.ኤ.አ. በ2022 ከ DeepMind የመጣው የቺንቺላ ስኬሊንግ ህጎች እንደሚያሳዩት አብዛኞቹ ትላልቅ የቋንቋ ሞዴሎች በመጥፎ የሰለጠኑ ናቸው፡ ለቋሚ ስሌት በጀት፣ የሞዴሉን መጠን እና የስልጠና ውሂብን በእኩል መጠን ማመጣጠን አለቦት። አስፈላጊ የሆነው 'ምርጥ' የሞዴል መጠን ማለት ምን ማለት እንደሆነ እንደገና ስላስቀመጠ እና ላብራቶሪዎች እንዴት እንደሚያወጡት ስላስተካከለ ነው።
የቺንቺላ ልኬት ህጎች ጽሑፍን እና ንግግርን በተመጣጣኝ መጠን ለማንበብ፣ ለማፍለቅ፣ ለመከፋፈል እና ለመለወጥ የሚያገለግል የቋንቋ-AI ቁልል አካል ነው።
ጥልቅ ዳይቭ
ከቺንቺላ በፊት፣ አዝማሚያው በአንጻራዊ ሁኔታ መጠነኛ የውሂብ መጠን ላይ እያሰለጠነ ሁልጊዜ ትልልቅ ሞዴሎችን (እንደ 175B-parameter GPT-3) መገንባት ነበር። DeepMind ከ400 በላይ ሞዴሎችን በብዙ መጠኖች እና በዳታ በጀቶች አሰልጥኗል፣ በመቀጠልም በቋሚ ስሌት (FLOP) በጀት ስር እንደ መለኪያዎች እና ቶከኖች ኪሳራን የሚተነብዩ ኩርባዎችን ያስተካክሉ። ግኝታቸው፡ መለኪያዎች እና የሥልጠና ቶከኖች አንድ ላይ መመዘን አለባቸው፣ በግምት ከ1-ለ1 ጥምርታ፣ ይህም በአንድ ግቤት ወደ 20 የሚጠጉ የሥልጠና መረጃዎችን ያሳያል። ይህንንም ለማረጋገጥ ቺንቺላ የተባለችውን ባለ 70ቢ-ፓራሜትር ሞዴል በ1.4 ትሪሊዮን ቶከኖች ላይ አሰልጥነዋል፣ይህም ተመሳሳይ ስሌት ቢጠቀምም እጅግ በጣም ትልቅ የሆነውን 280B-parameter Gopher በልጦታል፣ምክንያቱም በብዙ መረጃዎች የሰለጠነ ነው።
ቴክኒካዊ ግንዛቤ
ህጎቹ የሚመነጩት ፓራሜትሪክ ኪሳራ ተግባር L(N፣ D) ሲሆን N መለኪያዎች ሲሆኑ D ደግሞ የማይቀንስ ኪሳራ፣ የሞዴል መጠን እና የውሂብ መጠን ቃላትን ጨምሮ። በስሌት ገደብ ላይ የሚደርሰውን ኪሳራ መቀነስ (ስሌት ከ N ጊዜዎች D ጋር የሚመጣጠን ነው) ውጤቱን ያስገኛል ምርጥ N እና D ሁለቱም ተመሳሳይ ገላጭ ጋር እንደ ስሌት ሃይል ያድጋሉ፣ ስለዚህ የስሌት-ምርጥ ሬሾ በአንድ ግቤት 20 ቶከኖች አጠገብ ይቆያል።
የቺንቺላ መጠነ-ሰፊ ህጎችን መማር
እ.ኤ.አ. በ2022 ከ DeepMind የመጣው የቺንቺላ ስኬሊንግ ህጎች እንደሚያሳዩት አብዛኞቹ ትላልቅ የቋንቋ ሞዴሎች በመጥፎ የሰለጠኑ ናቸው፡ ለቋሚ ስሌት በጀት፣ የሞዴሉን መጠን እና የስልጠና ውሂብን በእኩል መጠን ማመጣጠን አለቦት። አስፈላጊ የሆነው 'ምርጥ' የሞዴል መጠን ማለት ምን ማለት እንደሆነ እንደገና ስላስቀመጠ እና ላብራቶሪዎች እንዴት እንደሚያወጡት ስላስተካከለ ነው። የቺንቺላ ልኬት ህጎች ጽሑፍን እና ንግግርን በተመጣጣኝ መጠን ለማንበብ፣ ለማፍለቅ፣ ለመከፋፈል እና ለመለወጥ የሚያገለግል የቋንቋ-AI ቁልል አካል ነው። ጥልቅ ግንዛቤን ለመገንባት የቺንቺላ ስኬሊንግ ህጎችን እንደ ኦፕሬሽን ሞዴል ያዙ እንጂ አንድ ባህሪ አይደለም፡ የተፈለገውን ውጤት ይግለጹ፣ ግምቶችን ያብራሩ እና ስርዓቱ አሁንም የባለሙያዎችን ፍርድ ከሚያስፈልገው ነገር ለይ።
በተግባር፣ የቺንቺላ ስኬሊንግ ህግጋትን ዲዛይን የሚያደርጉ ጠንካራ ቡድኖች እንደ አንድ የተቀናጀ የግንኙነት ሥርዓት ይጠይቃሉ፣ ሰርስሮ ማውጣት እና ክለሳ ቀለበቶች። ግልጽ የስኬት መስፈርቶችን ይመዘግባሉ፣ በተጨባጭ መረጃ እና የስራ ፍሰቶች ላይ ይፈትሻሉ፣ እና የአንድ ጊዜ ቤንችማርክ ከማሸነፍ ይልቅ በተስተዋሉ የውድቀት ቅጦች ላይ ተመስርተው ይደግማሉ። ይህ የንድፈ ሃሳባዊ ግንዛቤ በምርት፣ ፖሊሲ እና ኦፕሬሽኖች ላይ ወደ ዘላቂ አቅም የሚቀየርበት ነው።
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ። በተመሳሳይ ጊዜ፣ የተሳሳቱ እውነታዎች ሪፖርቶችን፣ የድጋፍ ፍሰቶችን ወይም የምርምር ውጤቶችን በጸጥታ ማስገባት ይችላሉ። በጣም ጠንካራው አካሄድ የሙከራ ፍጥነትን ከአስተዳደር ዲሲፕሊን ጋር ማጣመር ነው፡ አብራሪዎችን ማስኬድ፣ ማስረጃን መያዝ፣ የውሳኔ ምዝግብ ማስታወሻዎችን ማተም እና የሞዴል ባህሪ፣ የተጠቃሚ የሚጠበቁ እና የቁጥጥር መስፈርቶች ሲዳብሩ ጥበቃዎችን ያለማቋረጥ ማዘመን ነው።
ስልታዊ ተጽእኖ
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ።
የቋንቋ የስራ ፍሰቶች ወጥነትን ሳያጠፉ በፍጥነት ሊንቀሳቀሱ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
በሁሉም ቋንቋዎች እና የግንኙነት ዘይቤዎች ተደራሽነትን ያሰፋል።
በሁሉም ቋንቋዎች እና የግንኙነት ዘይቤዎች ተደራሽነትን ያሰፋል። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ።
አውቶሜሽን ድግግሞሹን ሲቆጣጠር ቡድኖች በፍርድ ላይ ብዙ ጊዜ ሊያጠፉ ይችላሉ። ከፍተኛ ጥራት ባለው ማሰማራት ውስጥ፣ ይህ ወደሚለካ የአሠራር ደንቦች፣ የባለቤትነት ወሰኖች እና ተደጋጋሚ የግምገማ ሥነ ሥርዓቶች ይተረጎማል ስለዚህ ቡድኖች አሻሚነትን ከማስፋት ይልቅ በራስ መተማመንን ሊጨምሩ ይችላሉ።
የእውነተኛ-ዓለም አተገባበር
የ DeepMind 70B-parameter ቺንቺላ 280ቢ ጎፈርን በቤንችማርኮች እኩል ስሌትን በመጠቀም የበለጠ መረጃ በማሰልጠን ደበደበ።
ቡድኖች ከጭረት የጸዳ ሞዴል ሲያቅዱ በአንድ ግቤት ወደ 20 የሚጠጉ የሥልጠና ምልክቶችን በጀት እንዲያወጡ መምራት
እንደ ኤልኤኤምኤ ያሉ ትናንሽ እና በመረጃ የበለጸጉ ሞዴሎችን በማሳየት በዋጋ ጊዜ ለመስራት ርካሽ ናቸው።
የታቀደው ሞዴል 'ከሥልጠና ያልሰለጠነ' እና ከተጨማሪ መመዘኛዎች ይልቅ ከተጨማሪ መረጃ የበለጠ የሚጠቅም መሆኑን መገመት
የትግበራ ቅጦች
የቺንቺላ ልኬት ህጎች በተግባር
የ DeepMind 70B-parameter ቺንቺላ 280ቢ ጎፈርን በቤንችማርኮች እኩል ስሌትን በመጠቀም የበለጠ መረጃ በማሰልጠን ደበደበ።
የ DeepMind 70B-parameter Chinchilla እኩል ስሌትን በመጠቀም 280ቢ ጎፈርን በቤንችማርኮች እየደበደበ፣ ብዙ መረጃዎችን በማሰልጠን ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድን ይጠብቃሉ፣ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
የቺንቺላ ልኬት ህጎች በተግባር
ቡድኖች ከጭረት የጸዳ ሞዴል ሲያቅዱ በአንድ ግቤት ወደ 20 የሚጠጉ የሥልጠና ቶከኖችን በጀት እንዲያወጡ መምራት።
ቡድኖች ከጭረት የጸዳ ሞዴል ሲያቅዱ በአንድ ግቤት በግምት 20 የሥልጠና ምልክቶችን በጀት እንዲያዘጋጁ መምራት ቡድኖች ብዙውን ጊዜ የተሻሉ ውጤቶችን የሚያገኙት ከፊት ለፊት የጥራት ደረጃዎችን ሲወስኑ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል ነው።
የቺንቺላ ልኬት ህጎች በተግባር
እንደ ኤልኤኤምኤ ያሉ ትናንሽ እና በመረጃ የበለጸጉ ሞዴሎችን በማሳየት በዋጋ ጊዜ ለመስራት ርካሽ ናቸው።
እንደ ኤልኤኤምኤ ያሉ ትናንሽ እና በመረጃ የበለጸጉ ሞዴሎችን በማሳየት በርካሽ ዋጋ ያላቸው እንደ ኤልኤኤምኤ ያሉ ሞዴሎች ከፊት ለፊት የጥራት ደረጃዎችን ሲገልጹ፣ ለዳር ጉዳዮች የሰው ልጅ እድገት መንገድ ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት መከታተል።
የቺንቺላ ልኬት ህጎች በተግባር
የታቀደው ሞዴል 'ከሥልጠና ያልሰለጠነ' እና ከተጨማሪ መመዘኛዎች ይልቅ ከተጨማሪ መረጃ የበለጠ የሚጠቅም መሆኑን መገመት።
የታቀደው ሞዴል 'ከሥልጠና ያልሰለጠነ' እና ከተጨማሪ መረጃዎች የበለጠ የሚጠቅም መሆኑን መገመት ቡድኖች ብዙውን ጊዜ የጥራት ደረጃዎችን ፊት ለፊት ሲገልጹ የተሻለ ውጤት ያገኛሉ፣ ለዳር ጉዳዮች የሰው ልጅ መሻሻል መንገድን ሲይዙ እና ሁለቱንም የምርታማነት ግኝቶችን እና የስህተት ወጪዎችን በጊዜ ሂደት ይከታተላሉ።
አደጋዎች እና የጥበቃ መንገዶች
የተሳሳቱ እውነታዎች በጸጥታ ወደ ሪፖርቶች፣ የድጋፍ ፍሰቶች ወይም የምርምር ውጤቶችን ማስገባት ይችላሉ።
ፈጣን ትብነት በተመሳሳይ ጥያቄዎች ላይ የማይጣጣሙ ውጤቶችን ሊፈጥር ይችላል።
የመዳረሻ መቆጣጠሪያዎች ደካማ ከሆኑ ሚስጥራዊነት ያለው የጽሑፍ ውሂብ ሊጋለጥ ይችላል።
የትግበራ ፍኖተ ካርታ
ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ።
ከመልቀቅዎ በፊት የውጤት ቅርጸትን፣ ድምጽን እና የጥራት ደረጃዎችን ይግለጹ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች።
ትክክለኛነት አስፈላጊ በሚሆንበት ጊዜ ሁሉ ከታመኑ ምንጮች ጋር ምላሾች። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ።
ከፍተኛ ውጤት ለማግኘት የሰው የግምገማ ነጥብ አቆይ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።
የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ።
የውድቀት ንድፎችን ይከታተሉ እና ጥያቄዎችን ወይም የስራ ፍሰቶችን በመደበኛነት ያሠለጥኑ። እያንዳንዱን እርምጃ እንደማስረጃ በር ያዙት፡ መመዘኛዎቹ ካልተሟሉ፣ መልቀቅን ለአፍታ አቁም፣ ክፍተቱን ይዝጉ እና ከዚያ ብቻ አጠቃቀምን ያስፋፉ።