EmoVec የቋንቋ ሞዴሎችን እንደገና ሳይለማመዱ መቆጣጠር ወደሚችሉ ስሜታዊ ምላሾች ይመራል።

ምን ተፈጠረ

ተመራማሪዎች የተከማቹትን ሞዴሎች ሳይቀይሩ የቋንቋ-ሞዴል ምላሾችን ስሜታዊ ጥራት ለመቆጣጠር EmoVec የተባለውን ቀላል ክብደት ማዕቀፍ አስተዋውቀዋል። ዘዴው ስሜታዊ-ተኮር አቅጣጫዎችን ከተጣመሩ ገለልተኛ እና ስሜትን ከተሞሉ ምላሾች ያስገኛል፣ ከዚያም በማጣቀሻ ጊዜ እነዚያን ቬክተሮች ወደ ሞዴል የመጨረሻ ቀሪ ዥረት ያስገባቸዋል። ደራሲዎቹ በሶስት የቋንቋ ሞዴሎች እና በስምንት ስሜቶች ላይ የተደረጉ ሙከራዎች ስሜታዊ ጨዋነትን እንዳሻሻሉ እና በአብዛኛው የትርጉም ይዘትን፣ ቅልጥፍናን እና ወጥነትን ይጠብቃሉ።

በነሀሴ 26 ለarXiv የቀረበው ወረቀቱ EmoVecን ደራሲዎቹ በስሜት የተነደፉ ከተሰለፉ ትላልቅ የቋንቋ ሞዴሎች ለገለጹት ምላሽ አድርጎ አቅርቧል። ማዕከላዊው ፕሮፖዛል ተጽዕኖን በምርመራ ጊዜ መቆጣጠር ነው፣ ይህ ማለት ሞዴሉ መልስ በሚሰጥበት ጊዜ ሊመራ ይችላል እንደገና ከመለማመድ ወይም የክብደት መጠኑን ከማዘመን ይልቅ። ያ ልዩነት EmoVecን እንደ አዲስ የቋንቋ ሞዴል ወይም እንደ አዲስ የሥልጠና ሂደት ሳይሆን ለነባር ሞዴሎች እንደ ተጨማሪ ዘዴ ስለሚቀርጽ ነው።

ማዕቀፉ በመጀመሪያ ስሜትን-ተኮር አቅጣጫዎችን ከተጣመሩ ምላሾች ያወጣል፡ አንድ ገለልተኛ እና አንድ ወደ ስሜት የሚስማማ። አብስትራክቱ ይህንን ሂደት "contrastive activation supplement" በማለት ይጠራዋል, ይህም ዘዴው ከስሜታዊ ሁኔታ ጋር የተያያዙ የውስጥ አግብር ልዩነቶችን እንደሚፈልግ እና እነዚያን ልዩነቶች እንደ መሪ ተቆጣጣሪዎች እንደሚጠቀም ያሳያል. EmoVec ከዚያም ቬክተሮችን በተግባር-ተኮር መዘናጋት እና በዋና ንዑስ ቦታ በማስወገድ ያጥራቸዋል። በተግባራዊ አነጋገር፣ የታቀደው ጽዳት የማሽከርከር ምልክት ከመተግበሩ በፊት አግባብነት የሌላቸውን ወይም ያልተፈለጉ መረጃዎችን ሊይዙ የሚችሉ አቅጣጫዎችን ለመቀነስ የታሰበ ነው።

በትውልድ ጊዜ, ቬክተሮች በአምሳያው የመጨረሻ ቀሪ ዥረት ውስጥ ይጣላሉ. ደራሲዎቹ ሁለት የቁጥጥር ዘዴዎችን ይገልጻሉ፡ የማይንቀሳቀስ ልኬት እና ሁኔታ-አስማሚ ልኬት። ሁለቱም በስሜታዊ እና በስሜታዊ ያልሆኑ ውፅዓት መካከል ካለው ቀላል ምድብ መቀያየር ይልቅ በስሜታዊ ጥንካሬ ላይ የማያቋርጥ ቁጥጥር ለመስጠት የታሰቡ ናቸው። ምንጩ ሁኔታዊ-አስማሚ ልኬት በአንድ እሴት ላይ እንዴት እንደሚወስን፣ ምን ግብዓቶችን እንደሚጠቀም፣ ወይም አንድ ሰው የታለመውን ጥንካሬ እንደሚመርጥ አይገልጽም።

ሪፖርት የተደረገው ግምገማ ሶስት ትልልቅ የቋንቋ ሞዴሎችን እና ስምንት ስሜቶችን ያካተተ ነበር። ደራሲዎቹ EmoVec በአብዛኛው የትርጉም ይዘትን፣ ቅልጥፍናን እና ወጥነትን ሲጠብቅ ስሜታዊ ጨዋነትን በተከታታይ ጨምሯል። እንዲሁም የቬክተርን የማጥራት እና የመላመድ ልኬትን ዋጋ የሚደግፉ የማስወገጃ ጥናቶችን እና የሰዎች ግምገማን ሪፖርት አድርገዋል። ማጠቃለያው ሞዴሎችን ወይም ስሜቶችን አይሰይምም፣ ተግባራቶቹን አይገልጽም፣ አሃዛዊ ውጤቶችን አያቀርብም፣ የሰው ገምጋሚዎችን አይለይም ወይም ወረቀቱ የአቻ ግምገማ እንዳደረገ አይገልጽም። እነዚያ ግድፈቶች ከምንጩ ብቻ መደምደም የሚችሉትን ይገድባሉ።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ሪፖርት የተደረገው ውጤት ከቀጠለ፣ EmoVec ነባር የቋንቋ ሞዴሎችን ስሜታዊ ቃና ለተጽዕኖ-sensitive አፕሊኬሽኖች ለማስተካከል በአንፃራዊነት ዝቅተኛ ወጭ መንገድ ለገንቢዎች ሊያቀርብ ይችላል። የክብደት መቆያ ዲዛይኑ በተዘረጉ ስርዓቶች ላይ ሙከራዎችን ቀላል ሊያደርግ ይችላል፣ ነገር ግን ምንጩ ዘዴው ከተሞከሩት ሞዴሎች፣ ስሜቶች ወይም የግምገማ መቼቶች ውጭ ምን ያህል እንደሚሰራ አላስቀመጠም።

ስሜታዊ አገላለጽ ሰዎች የንግግር ሥርዓቶችን እንዴት እንደሚዳኙ እና እንደሚጠቀሙበት ትርጉም ያለው አካል ነው። ዋናው ይዘት የተረጋጋ ሆኖ ስሜታዊ ጥንካሬን ሊለዋወጥ የሚችል ስርዓት እንደ ደጋፊ ውይይት፣ አጋዥ ስልጠና፣ የፈጠራ ፅሁፍ ወይም ሌላ ተጽዕኖን የሚነካ መስተጋብር ባሉባቸው መተግበሪያዎች ጠቃሚ ሊሆን ይችላል። እነዚያ ሊሆኑ የሚችሉ አጠቃቀሞች የወረቀቱ የተጠቀሰው ግብ አንድምታ እንጂ በምንጩ የተመዘገቡ ማሰማራቶች አይደሉም።

EmoVec ያቀረበው ጥቅም የአሠራር ቀላልነት ነው። ደራሲዎቹ የሞዴል-ክብደት ማሻሻያዎችን አይፈልግም ይላሉ, ይህም አንድ ገንቢ አዲስ የስልጠና ዑደት ሳያካሂድ አሁን ባለው ሞዴል ላይ የተለያዩ አፅንዖት ሰጪ ቅንብሮችን እንዲሞክር ያስችለዋል. ያ የይገባኛል ጥያቄ ወደ ተግባር ከተተረጎመ፣ በድምፅ መቆጣጠሪያዎች የመሞከርን እንቅፋት ይቀንሳል እና በተለያዩ ሁኔታዎች ላይ የተለያዩ ቅንብሮችን መተግበርን ቀላል ያደርገዋል። ምንጩ የሩጫ ጊዜ ወጪን፣ የሃርድዌር ፍላጎትን፣ የቆይታ መለኪያን ወይም ከሌሎች የመሪ ዘዴዎች ጋር ንፅፅር አይሰጥም፣ ስለዚህ ተግባራዊ ጥቅሙ ጊዜያዊ ሆኖ ይቆያል።

ወረቀቱ አስቸጋሪውን የንድፍ ችግርም ይዳስሳል፡ አንድ ሞዴል የሚናገረውን ሳይለውጥ እንዴት እንደሚመስል መቀየር። ሪፖርት የተደረገው የትርጉም ይዘት፣ ቅልጥፍና እና ወጥነት ጠብቆ ማቆየት ደራሲዎቹ ስሜታዊ ቁጥጥርን ከቅጥ-ማስተላለፍ ተግባር በላይ አድርገው ይመለከቱታል። እነዚያን ንብረቶች መጠበቅ አስፈላጊ ነው ምክንያቱም በስሜታዊነት የጠነከረ መልስ ያነሰ ትክክለኛ፣ ትንሽ ወጥነት ያለው ወይም በትርጓሜ ሊለያይ ይችላል። ነገር ግን፣ “በአብዛኛው ማቆየት” በቀረበው ምንጭ ውስጥ የጥራት መግለጫ ነው። መሰረታዊ መለኪያዎች ወይም ምሳሌዎች ከሌሉ አንባቢዎች የግብይቱን መጠን ወይም ወጥነት መገምገም አይችሉም።

ስራው ለ AI ደህንነት እና ተጠያቂነት ጠቃሚ ሊሆን ይችላል. ቁጥጥር የሚደረግበት ስሜታዊ ሽፋን በአንዳንድ መቼቶች ውስጥ የሞዴል ባህሪን የበለጠ ሊተነበይ ይችላል፣ነገር ግን ስርአቶችን የበለጠ አሳማኝ ሊያደርጋቸው ወይም ተጠቃሚዎች የመነጨ ስሜትን የእውነተኛ ስሜት ማረጋገጫ አድርገው እንዲተረጉሙ ሊያበረታታ ይችላል። ምንጩ የተጠቃሚን መደገፍ፣ መጠቀሚያ፣ ስሜታዊ ጥገኛነትን፣ ማታለልን ወይም ከፍተኛ ጥቅምን አያጠናም። ስለዚህ የቁጥጥር ቴክኒኩን ፍላጎት ይደግፋል፣ ነገር ግን ቴክኒኩ ለስሜታዊ አፕሊኬሽኖች ደህንነቱ የተጠበቀ ነው ወይም ከስሜታዊ ገላጭ AI ጋር የተያያዙ ሰፋ ያሉ ችግሮችን ይፈታል አይልም።

ቀጥሎ ምን እንደሚታይ

ዋነኞቹ ጥያቄዎች EmoVec ከወረቀት ሙከራዎች በላይ ጠቅለል ያለ መሆን አለመሆኑ፣ ስሜታዊ ጥንካሬን እንዴት በአስተማማኝ ሁኔታ በትርጉም ወይም በባህሪ ለውጥ እንደሚለይ እና ጠንካራ ስሜታዊ መሪነት የደህንነትን ወይም የማታለል አደጋዎችን ያስተዋውቃል የሚለው ናቸው። ማጠቃለያው የሞዴል ስሞችን፣ የቤንችማርክ ነጥቦችን፣ የናሙና መጠኖችን፣ የውድቀት ጉዳዮችን፣ የኮድ መገኘትን ወይም ከእውነተኛ ዓለም ማሰማራቶች ማስረጃዎችን አያቀርብም።

ማባዛት የመጀመሪያው ፈተና መሆን አለበት. ደራሲዎቹ በሶስት የቋንቋ ሞዴሎች እና በስምንት ስሜቶች ላይ ውጤቶችን ሪፖርት አድርገዋል, ነገር ግን ምንጩ ሞዴሎቹን, መጠኖቻቸውን, የስልጠና ዳራዎቻቸውን ወይም ትክክለኛውን የስሜት ስብስብ አይለይም. ገለልተኛ ተመራማሪዎች ተመሳሳዩ ቬክተሮች በአምሳያ ቤተሰቦች፣ ቋንቋዎች፣ ጎራዎች እና አፋጣኝ ዓይነቶች ላይ ይሰሩ እንደሆነ ወይም በጥናቱ ውስጥ ጥቅም ላይ በሚውሉት ልዩ ስርዓቶች ላይ የተመሰረቱ መሆናቸውን መሞከር አለባቸው።

የግምገማው ዝርዝሮችም አስፈላጊ ናቸው. አብስትራክቱ የጠለፋ ጥናቶችን እና የሰዎች ግምገማን ይጠቅሳል ነገር ግን ምን ያህል ሰዎች እንደተሳተፉ፣ ምን እንደፈረዱ፣ ስሜታዊነት እንዴት እንደሚለካ ወይም የትርጉም ጥበቃ እንዴት እንደተገመገመ አይገልጽም። የወደፊት ሪፖርት ማድረግ እነዚያን ሂደቶች እና አሃዛዊ ውጤቶችን፣ ከተራ ተነሳሽነት፣ ጥሩ ማስተካከያ እና ሌሎች የማግበር-መሪ ዘዴዎች ጋር ማነፃፀርን ጨምሮ። ያ መረጃ ከሌለ "በወጥነት ይሻሻላል" ወደ ሚለካ የህዝብ ጥቅም ሊተረጎም አይችልም.

ተመራማሪዎች እና ገንቢዎች በከፍተኛ የማሽከርከር ጥንካሬዎች ላይ የውድቀት ሁነታዎችን መመርመር አለባቸው። ወረቀቱ በስሜታዊ ጥንካሬ ላይ ቀጣይነት ያለው ቁጥጥር ይላል፣ ነገር ግን ጠንከር ያለ መሪነት የእውነታውን አፅንዖትን፣ ጨዋነትን፣ እምቢተኝነት ባህሪን ወይም የአምሳያው የተጠቃሚውን ጥያቄ ትርጓሜ ሊለውጥ ይችላል። ትዕይንት-አስማሚ ልኬትን ማን እንደሚቆጣጠር፣ ምን ምልክቶች እንደሚወስኑ እና መላምቱ በጥያቄዎች ወይም በዐውደ-ጽሑፍ ሊመራ ይችላል በሚለው ላይ ተጨማሪ ጥያቄዎችን ያስነሳል።

በመጨረሻም፣ የገሃዱ ዓለም አጠቃቀም ከወረቀቱ ሪፖርት ሁኔታዎች በላይ መሞከርን ይጠይቃል። ምንጩ መገኘትን፣ ኮድ መልቀቅን፣ ፍቃድ መስጠትን፣ የምርት ማሰማራትን ወይም ተጽዕኖን በሚነካ መተግበሪያዎች ውስጥ አፈጻጸምን አያረጋግጥም። እንዲሁም በስሜት ገላጭ ውፅዓት የተጠቃሚ እምነትን ወይም የውሳኔ አሰጣጥን ይለውጣል እንደሆነ አይመለከትም። እነዚያ ጥያቄዎች እስኪመለሱ ድረስ፣ EmoVec በደንብ የተረዳው እንደ ተስፋ ሰጪ የምርምር ፕሮፖዛል በደራሲ ሪፖርት የተደረገ የሙከራ ማስረጃ እንጂ በስሜታዊነት የሚቆጣጠር AIን ለማሰማራት የተረጋገጠ መፍትሄ አይደለም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች