ወረቀት በምርት ሙከራ ውስጥ ካለው ፈጣን አውድ ሊገኝ የሚችል የጽሑፍ ግልባጭ እንደሌለ ሪፖርት አድርጓል

ምን ተፈጠረ

ተመራማሪዎች በአፋጣኝ ጎራ-ተኮር አውድ ማቅረብ የ AI የንግግር ግልባጭን ማሻሻል ይችል እንደሆነ ሞክረዋል። በሶስት ፈጣን ሁኔታዎች gpt-4o-Transcribe እና Gemini-2.5-flashን በመጠቀም በምርት ኮድ መንገድ በድምሩ 10.6 ሰአታት የተዋረደ የ1970-80 ዎቹ የቃለ መጠይቅ ድምጽ 19 የካሴት ጎኖችን እንደገና ሰርተዋል። ለ gpt-4o-ትራንስክሪፕት፣ በሙሉ-አውድ እና ምንም-አውድ ሁኔታዎች መካከል ያለው መካከለኛ የተጣመረ ልዩነት የ0.6 WER ነጥቦች ጭማሪ ነበር፣ በጎን የተሻሻለው ክፍተት ከ -1.1 እስከ +1.0። የGemini ውጤቶች ለተነፃፃሪ አሉታዊ ግምት በጣም ያልተረጋጉ ነበሩ።

ወረቀቱ አንድ የተወሰነ የ AI ዘዴን ይመረምራል-ለንግግር ግልባጭ ፈጣን ሁኔታ. መነሻው በፍላጎት ጊዜ አውድ ማቅረብ ሞዴሉን እንደገና ሳያሰለጥነው ትልቅ የመልቲሞዳል ሞዴል ከአንድ ጎራ ጋር ማስማማት ይችላል። በትናንሽ ሞዴሎች ላይ ቀደምት ውጤቶች ትልቅ ትርፍ እንደነበራቸው እንደ ወረቀቱ ገልጿል። አዘጋጆቹ ያንን ሃሳብ በአፋዊ የታሪክ ግልባጭ መሳሪያ ፈትነው፣ ፈጣን ኮንዲሽንን እንደ ላቦራቶሪ ጣልቃገብነት ብቻ ከማየት ይልቅ የማሰማራቱን መቼት ለጥናቱ ማዕከላዊ አድርገውታል። ምንጩ ስራውን አስቀድሞ የተመዘገበ መጥፋት እንደሆነ ገልጿል እና የትንታኔ ኮድ የማረጋገጫ ባች ነጥብ ከመያዙ በፊት በሐሽ እንደቀዘቀዘ ይናገራል።

ሙከራው በንጥል ውስጥ የተጣመረ ንድፍ ተጠቅሟል። ከ1970ዎቹ እና 1980ዎቹ በግምት ወደ 10.6 ሰአታት የሚደርስ የተዋረደ የቃለ መጠይቅ ድምጽ የያዙ አስራ ዘጠኝ የካሴት ገጾች በአምራች ኮድ ዱካ ተካሂደዋል። እያንዳንዱ ንጥል ነገር በሶስት ፈጣን ክንዶች እና በሁለት በተሰማሩ የንግድ ውቅሮች ስር ተገምግሟል፡ gpt-4o-transscribe እና gemini-2.5-flash። ውጤቱም በኦፕሬተር የተስተካከሉ የቃል ማጣቀሻዎች ላይ ተመዝግቧል። ጥናቱ አስቀድሞ የተመዘገቡ አራት መላምቶችን መሞከሯንና የትኛውም ነገር እንዳልተደገፈ ምንጩ ገልጿል። ሁለት የተገለጡ gpt-4o አብራሪ ጎኖች ቀደም ብለው ነጥብ አስመዝግበው ውጤት አስመዝግበዋል።

በጣም ግልፅ የሆነው አሃዛዊ ውጤት የመጣው ከ gpt-4o-ትራንስክሪፕት ነው። በሙሉ አውድ እና ያለ አውድ ክንዶች መካከል ያለው መካከለኛ የተጣመረ ልዩነት 0.6 የቃላት ስህተት-ተመን ነጥብ ነበር፣ እና በጎን የተቀረፀው ክፍተት ከ1.1 ሲቀነስ ወደ ፕላስ 1.0 ነው። ክፍተቱ ሁለቱንም ሊሆኑ የሚችሉ አቅጣጫዎችን ስለሚይዝ እና ወደ ዜሮ የሚጠጋ ስለሆነ፣ ምንጩ ውጤቱ ምንም ሊታወቅ የማይችል ለውጥ እንደሌለው ይገልፃል ፣ አውድ በእርግጠኝነት ምንም ውጤት እንደሌለው ከማስረጃ ይልቅ። የGemini ግምቶች ተመሳሳዩን አሉታዊ ግምት ለመደገፍ በጣም ያልተረጋጉ ነበሩ። የድህረ-ሰዓት ድጋሚ ሩጫ አሂድ-ለማሄድ የቧንቧ መስመር ተለዋዋጭነት ከማረጋገጫ ልዩነቶች የበለጠ መሆኑን አረጋግጧል፣ ይህም ማለት በአንድ የሙከራ ሕዋስ አንድ ግልባጭ የዚያ መጠን ተፅእኖዎችን መፍታት አልቻለም።

የምንጭ ዝርዝሮች: arxiv.org ↗

ለምን አስፈላጊ ነው።

ውጤቱ ፈጣን አውድ መጨመር የንግግር ሞዴሎችን ወደ ልዩ ጎራዎች ለማስማማት ርካሽ እና አስተማማኝ መንገድ ነው የሚለውን ግምት ይፈታተናል። እንዲሁም የድምር የቃላት ስህተት መጠን በቂ ያልሆነበትን ምክንያት ያሳያል፡ ጥናቱ በአውድ ውስጥ በተዘረዘሩት ሀረጎች ላይ መጠነኛ ማሻሻያ አግኝቷል ነገር ግን ለ Gemini ባልተዘረዘሩ ቶከኖች ላይ ከከፋ ስህተቶች ጋር አብሮ ይኖራል።

ተግባራዊ እንድምታው የጠበበ እና የበለጠ ጠቃሚ ነው ከአጠቃላይ የይገባኛል ጥያቄዎች የንግግር ሞዴሎችን አይረዱም. በዚህ የምርት ቅንብር፣ ሙሉ ፈጣን-ደረጃ አውድ በዋናው የጎን ደረጃ ትክክለኛነት ልኬት ላይ ሊታወቅ የሚችል መሻሻል አላመጣም። የጽሑፍ ግልባጭ ስርዓቶችን ወደ ልዩ ማህደሮች ማላመድ ለቡድኖች አስፈላጊ ነው ፣ ምክንያቱም ፈጣን ግንባታ ጊዜን ሊወስድ እና ከጫፍ እስከ ጫፍ ውፅዓት በቁሳቁስ ባይለወጥም የመሻሻል ተስፋዎችን ይፈጥራል። ምንጩ አፋጣኝ አውድ በሁሉም የንግግር-ማወቂያ ተግባራት ውስጥ ምንም ጥቅም እንደሌለው አላረጋገጠም። በተፈተኑ ሁኔታዎች ውስጥ የማይታወቅን ያቋቁማል.

ጥናቱ የመለኪያ ችግርንም አጋልጧል። የጎን ደረጃ WER የተለያዩ አይነት ስህተቶችን ወደ አንድ ድምር ቁጥር ይጭናል። የደራሲዎቹ ተከታታይ-አሰላለፍ ትንተና በቀረበው አውድ ውስጥ በተሟሉ ሀረጎች ላይ ትንሽ መሻሻል አግኝቷል። የጎን ደረጃ WERን በቁሳዊ መልኩ ለመለወጥ ያ ማሻሻያ በጣም ትንሽ ነበር። ለGemini፣ የሐረግ ደረጃ ማሻሻያ በአውድ ውስጥ ባልተዘረዘሩ ቶከኖች ላይ ከከፋ ስህተት ጋር አብሮ አለ። ስለዚህ አንድ ነጠላ አጠቃላይ ነጥብ የታለሙ ቃላትን በማወቅ እና በሌላ ቦታ ትክክለኛነትን በማስጠበቅ መካከል ያለውን ልዩነት ሊደብቅ ይችላል።

ይህ በማህደር እና በሌሎች ልዩ የንግግር ቅንብሮች ውስጥ የ AI ስርዓቶችን ለመገምገም ጠቃሚ ጥንቃቄ ነው። የዐውደ-ጽሑፍ ጣልቃገብነት ሙሉውን ግልባጭ ሳያሻሽል ጠባብ የስሞች፣ ሐረጎች ወይም ቴክኒካዊ ቃላትን ሊያሻሽል ይችላል፣ ወይም ስህተቶችን ከታለመው የቃላት ዝርዝር ወደ ቁስ አካል ሊሸጋገር ይችላል። ስለዚህ ወረቀቱ በቅደም ተከተል የተጣጣሙ የቃል-ደረጃ መለኪያዎችን፣ የማስገቢያ ቆጠራዎችን እና የድምጽ ማጉያ-መለያ መለኪያዎችን ከድምር ትክክለኛነት ጋር ይሟገታል። እነዚያ እርምጃዎች ኦፕሬተሮች አጠቃላይ WER በመሠረቱ ሳይለወጥ በሚቀርበት ጊዜም እንኳ ለውጡ ለራሳቸው አካል የሆኑ ስህተቶችን እንደሚያሻሽል ለማወቅ ይረዳሉ።

ቀጥሎ ምን እንደሚታይ

ዋናው ክፍት ጥያቄ ውጤቱ ከዚህ ኮርፐስ፣ ከሁለቱ የተዘረጉ ውቅሮች እና ከተፈተኑ ፈጣን ንድፎች ባሻገር አጠቃላይ ነው ወይ የሚለው ነው። ተጨማሪ ስራ ተጨማሪ ኦዲዮን፣ ተደጋጋሚ ሩጫዎችን፣ ተጨማሪ ሞዴሎችን እና እንደ የቃሉ ትክክለኛነት፣ ማስገባት እና የድምጽ ማጉያ መሰየሚያ ስህተቶች ያሉ ተከታታይ-ደረጃ መለኪያዎችን መሞከር አለበት።

መታየት ያለበት የመጀመሪያው እትም ማባዛት ነው። ሙከራው በ1970ዎቹ እና 1980ዎቹ የተበላሸ የቃለ መጠይቅ ድምጽን ያቀፈ 19 የካሴት ጎኖችን እና አንድ የቃል ታሪክ ኮርፐስን ያካትታል። ምንጩ ኮርፐሱ የዘመኑን ንግግር፣ ሌሎች የታሪክ ማህደር ስብስቦችን፣ ንፁህ ቅጂዎችን፣ ሌሎች ቋንቋዎችን፣ ወይም ሌላ የጎራ ማላመድ ጥያቄዎችን ይወክላል አይልም:: ስለዚህ የዚህ ናሙና ውጤቶች ስለተሞከረው የምርት የስራ ሂደት እንደ ማስረጃ መታየት አለባቸው እንጂ እንደ ፈጣን ኮንዲሽነር እንደ ሁለንተናዊ ገደብ መሆን የለበትም።

ሁለተኛው ጉዳይ የስታቲስቲክስ መፍትሄ ነው. ወረቀቱ የGemini ግምቶች ለተነፃፃሪ አሉታዊ ግምት በጣም ያልተረጋጉ መሆናቸውን እና በድህረ-ሆክ ድጋሚ መካሄድ ከማረጋገጫ ልዩነቶች የበለጠ የቧንቧ መስመር ተለዋዋጭነት እንዳገኘ ዘግቧል። ይህ ዲዛይኑ ሊፈታ ያልቻለውን ጥቃቅን ተፅእኖዎችን ይከፍታል. ምንጩ በተለይ የዚህ መጠን ተጽእኖ በአንድ ሴል ከአንድ ቅጂ መፍታት እንደማይቻል ይናገራል። የስራ ፍሰቱ በአስተማማኝ ሁኔታ ሊታወቅ ከሚችለው ያነሰ ውጤት ምንም ትርጉም ያለው ውጤት ለመለየት ተደጋጋሚ ሩጫዎች፣ ትላልቅ ናሙናዎች እና ግልጽ የሂሳብ አያያዝ ያስፈልጋሉ።

ወደፊት የሚደረጉ ግምገማዎችም በጸሐፊዎቹ ተለይተው የታወቁትን የስህተት ዓይነቶች መከተል አለባቸው። ጠቃሚ ክትትል የታለመውን ሀረግ ትክክለኛነት፣ ያልተዘረዘሩ የማስመሰያ ስህተቶች፣ የማስገባቶች እና የድምጽ ማጉያ መሰየሚያ አፈጻጸምን በተደጋጋሚ ሩጫዎች እና ተጨማሪ ፈጣን ንድፎችን ያወዳድራል። እንዲሁም ተመሳሳይ ንድፍ በሌሎች የንግግር ሞዴሎች እና የምርት ቧንቧዎች ውስጥ ይታይ እንደሆነ ማየት አስፈላጊ ነው. ምንጩ ሰፋ ያለ ተገኝነትን፣ የተጠቃሚ ውጤቶችን ወይም ራሱን የቻለ ማባዛትን አይዘግብም፣ ስለዚህ የግኝቱ ዘላቂነት እና ተግባራዊ ጠቀሜታ የማይታወቅ ሆኖ ይቆያል።

ተዛማጅ መመሪያዎች እና ጥያቄዎች