ሎጊት ሌንስ እና የተስተካከለ ሌንስ
የሎጊት ሌንስ እና የተስተካከለ ሌንስ የመጨረሻ መልስ ከመስጠቱ በፊት ሞዴሉ ምን እያሰበ እንደሆነ ለማየት የትራንስፎርመርን የተደበቀ የስቴቶች ንብርብር በንብርብር የሚያዩ የትርጓሜ ቴክኒኮች ናቸው።
አጠቃላይ እይታ
They reveal how a prediction gradually forms as information flows up through the network.
ጥልቅ ዳይቭ
አንድ ትራንስፎርመር መልሱን በእድገት ይገነባል፡ እያንዳንዱ ሽፋን ወደ ሩጫ 'ቀሪ ዥረት' ይጨምራል ይህም በመጨረሻው ላይ ወደ የቃል ፕሮባቢሊቲነት ይለወጣል። እ.ኤ.አ. በ 2020 በ nostalgebraist አስተዋወቀው የሎጊት ሌንስ ይህንን የአምሳያው የመጨረሻውን የመቀየሪያ (እና የንብርብሮች መደበኛ) በቀጥታ ወደ መካከለኛ ንጣፎች በመተግበር አቋራጭ ያደርገዋል፣ ስለዚህም የኔትወርኩን ምርጥ ግምት በእያንዳንዱ ጥልቀት ማንበብ ይችላሉ። ይህ ብዙውን ጊዜ መልሱ ከመካከለኛ-እስከ-ዘግይቶ ንብርብሮች ውስጥ ክሪስታላይዜሽን ያሳያል። የተስተካከሉ ሌንሶች (ቤልሮዝ እና ባልደረቦች፣ 2023) የተደበቁ ግዛቶችን ወደ መጨረሻው መሠረት ለመተርጎም ትንሽ የአፊን ምርመራን በማሰልጠን፣ የጥሬ ሎጊት ሌንስን አድልዎ እና ትክክለኛነት በማስተካከል በተለይም በመጀመሪያ ንብርብሮች እና በተለያዩ ሞዴል ቤተሰቦች ውስጥ ይሻሻላል።
ቴክኒካዊ ግንዛቤ
ሁለቱም ዘዴዎች የቀረውን የዥረት እይታ ይጠቀማሉ፡ እያንዳንዱ ሽፋን ለተጋራ ቬክተር ተጨማሪ ማሻሻያዎችን ይጽፋል ያልተካተተ ማትሪክስ በኋላ የቃላት ሎጅቶች ያደርጋል። የሎጊት ሌንስ ምንም ተጨማሪ ስልጠና በሌለበት በመካከለኛ ግዛቶች ላይ ያንን በትክክል መቀላቀልን በድጋሚ ይጠቀማል። የተስተካከለው መነፅር በምትኩ በንብርብር ያለው መስመራዊ ካርታ (የተማረ 'ተርጓሚ'') ይማራል ስለዚህ የእያንዳንዱ ንብርብር ሁኔታ የመጨረሻው ንብርብር ወደ ሚጠበቀው ቅርጸት ይቀየራል፣ ይህም ለስላሳ፣ ታማኝ እና ዝቅተኛ ግራ መጋባት ትንበያዎችን ይሰጣል።
ስልታዊ ተጽእኖ
ወጪ እና በጀት
የስነ-ህንፃ ውሳኔዎች ለዓመታት አፈጻጸምን እና የሥራ ማስኬጃ ወጪዎችን ያንቀሳቅሳሉ.
ግልጽ ውሳኔዎች
የቴክኒክ ትምህርት ቡድኖች አዲሱን ብቻ ሳይሆን ትክክለኛውን ቁልል እንዲመርጡ ይረዳል።
የጥራት ቁጥጥር
የተሻሉ የምህንድስና ምርጫዎች በምርት ውስጥ አስተማማኝነት ክስተቶችን ይቀንሳሉ.
የሎጊት ሌንስ እና የተስተካከለ ሌንስ የወደፊት ዕጣ
የሌንስ ቴክኒኮች እንዴት እውነታዎች፣ እምቢተኞች ወይም አድሎአዊ ጉዳዮች በጥልቀት እንደሚወጡ ለመፈለግ እና አንድ ሞዴል ቀደም ብሎ መልሱን 'ሲያውቅ' ለመለየት መደበኛ እየሆነ ነው። ትንበያዎችን ከመግለጽ ወደ ስልቶች ማብራሪያ እንዲሸጋገሩ ከትንሽ አውቶኢንኮደሮች እና የምክንያት መጠገኛ ጋር ተዳምረው ይጠብቁ። በመካከለኛ ደረጃ የተደረጉ ንባብዎች አንድ ሞዴል በመጨረሻው ውፅዓት ውስጥ የሚደብቀውን ድብቅ እውቀት ወይም ማታለል ይገልፃል የሚለውን ምርምር በመመርመር ላይ ሲሆን ይህም ሌንሶችን ለደህንነት ኦዲት እና የቅድመ ማስጠንቀቂያ ክትትል እጩ ግንባታ ብሎኬት ያደርገዋል።
የእውነተኛ-ዓለም አተገባበር
የሎጊት ሌንስን በመጠቀም እንደ ዋና ከተማ ያለ ትክክለኛ መልስ በሞዴል መካከለኛ እርከኖች ውስጥ ብቅ ይላል።
የተለያዩ የሞዴል ቤተሰቦች ጥልቀት ባለው ትንበያ ላይ እንዴት እንደሚገናኙ ለማነፃፀር የተስተካከለውን ሌንስን መተግበር
አንድ ሞዴል ከውጤቱ በፊት ብዙ ንብርብሮችን በውስጥ 'እንደወሰነ' ማወቅ
ጎጂ ወይም የተዛባ ማስመሰያ ትንበያ በመጀመሪያ በቀሪው ዥረት ውስጥ የበላይ የሆኑበትን ንብርብሮች መመርመር
አደጋዎች እና የጥበቃ መንገዶች
አንድ ቤንችማርክን ማሳደግ ሰፋ ያሉ የስርዓት ድክመቶችን ሊደብቅ ይችላል።
የመሠረተ ልማት እና የጥገና ወጪዎች ብዙ ጊዜ ዝቅተኛ ናቸው.
ስርዓቶች ይበልጥ ውስብስብ ሲሆኑ የደህንነት እና የታዛቢነት ክፍተቶች ሊያድጉ ይችላሉ።
የትግበራ ፍኖተ ካርታ
ከመተግበሩ በፊት የቆይታ፣ የጥራት እና የወጪ ግቦችን ይግለጹ።
ቤንችማርክ በእውነተኛ ጭነት እና የውሂብ ሁኔታዎች።
ለስህተቶች፣ ተንሸራታች እና የተጠቃሚ ተጽእኖ የመሳሪያ ክትትል።
ከመጠኑ በፊት የመመለሻ እና የአደጋ ምላሽ መንገዶችን ያዘጋጁ።
ማሰስዎን ይቀጥሉ
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Logit Lens and Tuned Lens quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
ቀጣይ መመሪያ
የሎጊት ሌንስ እና መካከለኛ የንብርብር መፍታት
በተደጋጋሚ የሚጠየቁ ጥያቄዎች
What is Logit Lens and Tuned Lens?
የሎጊት ሌንስ እና የተስተካከለ ሌንስ የመጨረሻ መልስ ከመስጠቱ በፊት ሞዴሉ ምን እያሰበ እንደሆነ ለማየት የትራንስፎርመርን የተደበቀ የስቴቶች ንብርብር በንብርብር የሚያዩ የትርጓሜ ቴክኒኮች ናቸው። መረጃ በአውታረ መረቡ ውስጥ በሚፈስስበት ጊዜ ትንበያ ቀስ በቀስ እንዴት እንደሚፈጠር ያሳያሉ።
የሎጊት ሌንስ ምን ያደርጋል?
የሎጊት ሌንስ በየጥልቀቱ የአምሳያው የተተነበዩ ቶከኖች ለማየት አሁን ባለው ያልተቀየረ ቅልጥፍና በኩል መካከለኛ ቀሪ-ዥረት ያሳያል።
የተስተካከለው ሌንስ በጥሬው ሎጊት ሌንስ ላይ ምን ቁልፍ ማሻሻያ ይጨምራል?
የተስተካከለው መነፅር ከጥሬው የሎጊት ሌንስ የበለጠ ታማኝ እና ዝቅተኛ ግራ መጋባትን በማንበብ የንብርብር ተርጓሚ ይማራል።
እነዚህን ሌንሶች እንዲቻል የሚያደርጋቸው በትራንስፎርመሮች ውስጥ ምን ዓይነት መዋቅር ነው?
እያንዳንዱ ንብርብር ተጨማሪ ማሻሻያዎችን ለተጋራ ቀሪ ዥረት ይጽፋል፣ ስለዚህ ያንን ዥረት ቀደም ብሎ ማቀድ መካከለኛ ትንበያን ይገመግማል።
የመጀመሪያውን የሎጊት ሌንስን ማን አስተዋወቀው እና መቼ ነው?
የሎጊት ሌንሱን በናፍቆት ባለሙያ አስተዋወቀው በ2020 ብሎግ ልጥፍ የ GPT-2ን መካከለኛ ትንበያዎች በመተንተን።
የሎጊት ሌንስ የመጨረሻውን 'ክርስታሊዚንግ' የሚያሳየው የት ነው?
ንባብ በትክክል ስሌት በሚከማችበት ጊዜ ከመካከለኛ እስከ ዘግይተው ባሉት ንብርብሮች ላይ ትክክለኛውን ማስመሰያ የማግኘት እድልን ያሳያል።