ቤንችማርክ የኤአይ ኦዲዮ ሞዴሎች የድምጽ ስሜትን ለመለየት ሲታገሉ አገኘ

ምን ተፈጠረ

ተመራማሪዎች VocalAffectBench አስተዋውቀዋል፣ የ AI ኦዲዮ ሞዴሎች የተገለጸውን ስሜት በቀጥታ ከጥሬ ንግግር መለየት ይችሉ እንደሆነ ለመገምገም የህዝብ ሙከራ-ብቻ መለኪያ ነው። ከስድስት የተለቀቁት የመነሻ መስመሮች መካከል፣ አማካይ የሰባት መንገድ ትክክለኛነት 35.5% ነበር። በጣም ጠንካራው የመነሻ መስመር 46.5% ደርሷል፣ በዘፈቀደ ከመገመት በላይ በጥሩ ሁኔታ ግን ጠንካራ እውቅና አልነበረውም።

በሴፕቴምበር 1 ላይ የተሻሻለው የarXiv ወረቀት VocalAffectBenchን እንደ ይፋዊ፣ የሙከራ-ብቻ ግምገማ ለ AI የድምጽ ሞዴሎችን ያስተዋውቃል። ከ51 የተናጋሪ መለያዎች 273 በሰው የተቀዳ የእንግሊዝኛ WAV ክሊፖችን ይዟል፣ በአጠቃላይ 1.95 ሰአታት። ቅንጥቦቹ በሰባት መለያዎች እኩል የተከፋፈሉ ናቸው፡ ቁጡ፣ የተናደደ፣ የሚያስፈራ፣ ደስተኛ፣ ገለልተኛ፣ ሀዘን እና መደነቅ፣ በእያንዳንዱ ክፍል 39 ቅንጥቦች አሉት። ሞዴሎቹ የሚገመገሙት ከድምጽ ብቻ ነው፣ ያለ ግልባጭ ወይም አውድ ሜታዳታ። ያ ንድፍ መለኪያው ለመፈተሽ የታሰበውን ጥያቄ ይለያል፡ አንድ ሞዴል የተገለፀውን የድምፅ ስሜት ከንግግር ድምጽ እራሱ መለየት ይችል እንደሆነ።

ደራሲዎቹ እንደተናገሩት ስድስት የተለቀቁት መነሻዎች በሰባት መንገድ ተግባር ላይ አማካይ ትክክለኛነት 35.5% አግኝተዋል። በጣም ጠንካራው የተዘረዘረው የመነሻ መስመር፣ እንደ gemini_3_5_flash፣ 46.5% ደርሷል። ወረቀቱ 14.3%ን እንደ የዘፈቀደ ግምት መሰረት ለሰባት እኩል ተወክለው ክፍሎች ይሰጣል። ቡድኖቹ አወንታዊ፣ ገለልተኛ እና አሉታዊ ቫሌንስ ብለው እንደሚሰይሙ ደራሲዎቹ ሁለተኛ ደረጃ ትንታኔን ዘግበዋል፣ ይህም መገረም አሻሚ ስለሆነ ነው። በዛ ጥብቅ ምደባ፣ አጠቃላይ ትክክለኛነት 50.9% ነበር። እነዚህ አሃዞች ከቤንችማርክ ግምገማ የተነሱ የይገባኛል ጥያቄዎች እንጂ ሞዴሎቹ በእያንዳንዱ የድምጽ መተግበሪያ ላይ ተመሳሳይ ነገር እንደሚሰሩ የሚያሳይ ማስረጃ አይደለም።

ውጤቶቹ በስሜት በጣም የተለያዩ ናቸው። በመነሻ መስመሮች ላይ በአማካይ፣ ገለልተኛ ከፍተኛውን በ 75.6% አስታውሷል። ማስታውስ ለመደነቅ በጣም ያነሰ ነበር፣ በ10.7%፣ እና አስፈሪ፣ በ15.4%። ወረቀቱ የተፈተኑት ስርአቶች ከንግግር አንዳንድ አፅንዖት ሰጪ ምልክቶችን እንደሚያወጡ፣ ነገር ግን ያ ልዩ ስሜትን የሚገልፅ መለየት ደካማ እንደሆነ ገልጿል። መለኪያው፣ የመነሻ መስመር ትንበያዎች እና ድምር ውጤቶች በምንጩ መሰረት በይፋ ይገኛሉ። ምንጩ የተሰማራውን ምርት፣ ክሊኒካዊ ወይም የቅጥር አጠቃቀምን ወይም ከቤንችማርክ የእንግሊዝኛ የድምጽ ቅንጥቦች ውጭ መሞከርን አይገልጽም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

የድምጽ ስርዓቶች ግልባጮችን የሚያስቀሩ አፅንዖት ሰጪ መረጃዎችን ሊፈልጉ ይችላሉ፣ ነገር ግን ውጤቶቹ እንደሚጠቁሙት የአሁኖቹ ሞዴሎች ስሜታዊ ምልክቶችን በተለይም ፍርሃትን እና መደነቅን ሊያሳስቱ ይችላሉ። ያ ገደብ የተጠቃሚውን ስሜታዊ ሁኔታ ማወቅ ስርዓቱ እንዴት ምላሽ እንደሚሰጥ ላይ ተጽዕኖ በሚያሳድርበት ለድምጽ ወኪል የስራ ፍሰቶች አስፈላጊ ነው።

ወረቀቱ ከጽሑፍ ግልባጭ የተለየ ችሎታን ይመለከታል። ግልባጭ አንድ ሰው የሚናገራቸውን ቃላቶች ሊያስተላልፉ የሚችሉ እንደ ቁጣ፣ ፍርሀት ወይም ደስታ ያሉ ተጽዕኖዎችን ሊያስተላልፉ የሚችሉ ባህሪያትን ሲተው የሚናገራቸውን ቃላት ሊጠብቅ ይችላል። ምንጩ እንደሚለው የድምፅ ምርቶች እነዚህን አፅንኦት ምልክቶች ከጊዜ ወደ ጊዜ ይፈልጋሉ። ስለዚህ VocalAffectBench ኦዲዮ-ችሎታ ያለውን AI በመገምገም ላይ ያለውን ተግባራዊ ክፍተት ኢላማ ያደርጋል፡ አንድ ስርአት የንግግር ቋንቋን ማስኬድ የሚችል ሲሆን አሁንም በአቅርቦት የሚገለፅን ስሜት መለየት ተስኖታል።

ውጤቶቹ የስሜት መለያዎችን በቀላሉ ወደ ድምጽ ወኪል ሊታከሉ የሚችሉ እንደ አስተማማኝ ንብርብር አድርገው ከመመልከት ያስጠነቅቃሉ። በሰባት-መንገድ ተግባር ላይ ከግማሽ በታች ያለው አጠቃላይ ትክክለኛነት ፣በተለይ ለፍርሃት እና ለመደነቅ ደካማ ማስታወስ ፣ አንድ ስርዓት ንድፍ አውጪዎች አስፈላጊ ብለው የሚያምኑትን ምልክቶች ሊያመልጥ ወይም ሊያደናግር ይችላል። ደራሲዎቹ በተለይ ገለልተኛ ያልሆኑ ስሜቶች ብዙውን ጊዜ በድምጽ-ወኪል የስራ ፍሰቶች ውስጥ በጣም አስፈላጊ መሆናቸውን ያስተውላሉ። ያ የትኛውም የተለየ ምርት ደህንነቱ ያልተጠበቀ ወይም ውጤታማ እንዳልሆነ አያረጋግጥም፣ ነገር ግን የይገባኛል ጥያቄ ስሜታዊ ግንዛቤ ለምን ከአጠቃላይ ኦዲዮ ወይም የቋንቋ አፈጻጸም ይልቅ ቀጥተኛ ሙከራ እንደሚያስፈልገው ያሳያል።

ማመሳከሪያው ለተመራማሪዎች እና ገንቢዎች የጋራ መለኪያ ዒላማንም ያቀርባል። ግምገማው ኦዲዮን ብቻውን ስለሚጠቀም እና የክፍል ደረጃ ውጤቶችን ስለሚዘግብ አንድ አጠቃላይ ውጤት የሚደብቃቸውን ድክመቶች ሊያጋልጥ ይችላል። ያልተስተካከሉ ትዝታዎች በተለይ ጠቃሚ ናቸው፡ በገለልተኛ ንግግር ላይ በአንፃራዊነት ጥሩ የሚሰራ ሞዴል አሁንም ብዙም ተደጋጋሚ ወይም በስሜታዊ ጎላ ያሉ ምድቦችን በመገንዘብ ረገድ ደካማ ሊሆን ይችላል። ምንጩ መለኪያው የተጠቃሚውን እርካታ፣ ቀውስ ፈልጎ ማግኘት፣ የተደራሽነት ውጤቶችን ወይም ሌሎች የገሃዱ ዓለም ተፅእኖዎችን ምን ያህል እንደሚተነብይ አላስቀመጠም። ይፋዊ የሙከራ-ብቻ ቅርጸቱ ለማነፃፀር ይጠቅማል፣ ነገር ግን እሱ ራሱ የማሰማራት ማረጋገጫ አይደለም።

ቀጥሎ ምን እንደሚታይ

የቤንችማርክ ቀጣይ ዋጋ ከ273 የእንግሊዝኛ ቅንጥቦች ባለፈ ሰፋ ባለው ሙከራ ይወሰናል። አስፈላጊ የማይታወቁ ቋንቋዎች፣ ተናጋሪዎች፣ የመቅጃ ሁኔታዎች እና የገሃዱ ዓለም ውይይቶች፣ እንዲሁም የወደፊት ስርዓቶች ስሜትን በበቂ ሁኔታ ለተከታታይ አገልግሎት ማግኘት ይችሉ እንደሆነ አፈጻጸምን ያካትታሉ።

ዋናው ጥያቄ የተዘገበው ስርዓተ-ጥለት ከዚህ የውሂብ ስብስብ ውጭ መያዙ ነው ወይ የሚለው ነው። ማመሳከሪያው ከ51 የድምጽ ማጉያ አካውንቶች እና ከሁለት ሰአታት ያነሰ ድምጽ ያለው የእንግሊዝኛ ቅንጥቦችን ይዟል፣ ስለዚህ ምንጩ በቋንቋዎች፣ ንግግሮች፣ እድሜዎች፣ ባህሎች፣ ማይክራፎኖች፣ የጀርባ ጫጫታ ወይም ድንገተኛ ውይይት ላይ አጠቃላይ መረጃን አያሳይም። ወደፊት የሚደረጉ ግምገማዎች እነዚያን ሁኔታዎች እንዲታዩ ማድረግ እና አፈፃፀሙ በስሜት ክፍሎች ውስጥ ያልተስተካከለ እንደሆነ ሪፖርት ማድረግ አለባቸው። ምንጩ በእነዚያ ሰፊ ቅንጅቶች ላይ ምንም ማስረጃ አይሰጥም።

እንዲሁም የሞዴሎቹ ስህተቶች የተሟላ የድምፅ የስራ ፍሰት ላይ እንዴት እንደሚነኩ አይታወቅም። ወረቀቱ ከጥሬ ኦዲዮ እውቅናን ይገመግማል፣ ነገር ግን የታችኛው ተወካይ መለያዎቹን እንዴት እንደሚጠቀም፣ መለያዎቹ የተስተካከሉ መሆናቸውን፣ ሥርዓቱ ለምን ያህል ጊዜ መታቀብ እንዳለበት፣ ወይም አንድ ሰው ከፍተኛ ውሳኔዎችን ይገመግማል የሚለውን አይዘግብም። ምንጩ በተመሳሳይ የመተማመን ክፍተቶችን ፣ የተናጋሪ ትንታኔዎችን ወይም ከሰው አድማጮች ጋር ማነፃፀርን አይዘግብም። እነዚያ ግድፈቶች የቤንችማርክ ግኝቶችን አያጠፉም፣ ነገር ግን ስለ ተግባራዊ አስተማማኝነት መደምደም የሚችሉትን ይገድባሉ።

የቤንችማርክ፣ የመነሻ ትንበያዎች እና አጠቃላይ ውጤቶች ይፋዊ መልቀቅ መባዛትን እና መስፋፋትን ለመመልከት በጣም ፈጣን እድገቶችን ያደርገዋል። ጠቃሚ የክትትል ስራ የበለጠ የተለያዩ የንግግር እና የቀረጻ ሁኔታዎችን ይፈትሻል፣ ሞዴሎች በፍርሃት እና ግርምት ላይ መሻሻላቸውን ይመረምራሉ፣ እና ሻካራ የቫሌንስ ምድቦች ከልዩ ስሜት መለያዎች የበለጠ አስተማማኝ መሆናቸውን ይወስናል። እንደዚህ አይነት ማስረጃ እስካልተገኘ ድረስ ተከላካይ ድምዳሜው ጠባብ ነው፡ የተገመገሙት የ AI ኦዲዮ ሞዴሎች በዚህ ቤንችማርክ ውስጥ አንዳንድ የድምጽ-ተፅእኖ ምልክቶችን ይለያሉ፣ ነገር ግን ምንጩ በገሃዱ አለም የድምጽ ወኪል አጠቃቀም ላይ ጠንካራ ስሜትን ማወቂያን አያሳይም።

ተዛማጅ መመሪያዎች እና ጥያቄዎች