AudioLM መመሪያ | AI Understanding

አጠቃላይ እይታ

It matters because it showed you can produce coherent, natural-sounding audio continuations without any text transcript or musical score.

ጥልቅ ዳይቭ

በ2022 በGoogle አስተዋውቋል፣ AudioLM የኦዲዮ ትውልድን እንደ ቋንቋ-ሞዴሊንግ ችግር ያስተካክላል፡ ጥሬ ሞገዶችን ወደ ዲስትሪክት ቶከኖች ይቀይራል እና ቀጣዩን ቶከን ይተነብያል፣ ልክ የጽሑፍ ሞዴል ቀጣዩን ቃል እንደሚተነብይ። የእሱ ቁልፍ ዘዴ የማስመሰያ ዓይነቶች ተዋረድ ነው። 'ሴማንቲክ' ቶከኖች (እንደ w2v-BERT ካለው ሞዴል) የረጅም ጊዜ መዋቅርን - ፎነቲክስ፣ አገባብ፣ ዜማ - ሲይዙ 'አኮስቲክ' ቶከኖች (ከSoundStream ነርቭ ኮዴክ) እንደ ተናጋሪ ማንነት፣ ቲምበር እና የመቅጃ ሁኔታዎች ያሉ ጥሩ ዝርዝሮችን ይይዛሉ። በመጀመሪያ የትርጉም ቶከኖችን በመተንበይ፣ ከዚያም የአኮስቲክ ቶከንን በእነሱ ላይ በማስተካከል፣ ኦዲዮኤልኤም ዋናውን ድምጽ ወይም መሳሪያ በመጠበቅ ለብዙ ሰከንዶች ያህል ወጥነት ያለው ቀጣይነት እንዲኖረው ያደርጋል። ለጥቂት ሰኮንዶች ንግግር ከተሰጠ, በተመሳሳይ ድምጽ መናገሩን ይቀጥላል; ፒያኖ ተሰጥቶ ፣ በተመሳሳይ ዘይቤ ያሻሽላል።

ቴክኒካዊ ግንዛቤ

AudioLM በድምጽ ብቻ የሰለጠነ ነው - ምንም ግልባጭ የለም። SoundStream ኦዲዮን ወደ አኮስቲክ ቶከኖች በቀሪው የቬክተር መጠን በመቁጠር ይጨምቃል፣ w2v-BERT ደግሞ ጥቅጥቅ ያሉ የትርጉም ቶከኖችን ያቀርባል። የትራንስፎርመር ቋንቋ ሞዴሎች ስብስብ ምልክቶችን በየደረጃው ይተነብያሉ፡- የትርጓሜ መጀመሪያ ለመዋቅር፣ ከዚያም ለከፍተኛ ታማኝነት መልሶ ግንባታ ጥቅጥቅ ያሉ እና ጥሩ የአኮስቲክ ቶከኖች። የSoundStream ዲኮደር በመጨረሻ የተተነበዩትን ቶከኖች ወደ ሞገድ ቅርጽ ይለውጣቸዋል፣ ይህም የተናጋሪውን ድምጽ እና ፕሮሶዲ ወጥነት ያለው እንዲሆን የሚያደርግ ኦዲዮ ይሰጣል።

ስልታዊ ተጽእኖ

መድረስ እና መድረስ

በጽሑፍ፣ በትረካ እና በድምፅ በይነገጾች ተደራሽነትን ያሻሽላል።

ወጪ እና በጀት

የሚዲያ ቡድኖች በትንሽ በጀቶች የተጣራ ድምጽ በፍጥነት መላክ ይችላሉ።

ፍጥነት እና ልኬት

ከደንበኛ ጋር የሚገናኙ ስርዓቶች የንግግር ግንኙነቶችን በትልቁ ደረጃ ማካሄድ ይችላሉ።

የ AudioLM የወደፊት ዕጣ

የ AudioLM ማስመሰያ-ተኮር የምግብ አሰራር ለቀጣይ ስርዓቶች መሰረት ሆነ፡Google's AudioLM ሃሳቦች ወደ MusicLM ለፅሁፍ-ወደ-ሙዚቃ እና ለፈጣን ትውልድ SoundStorm ተሰጥተዋል፣ሰፊው መስክ ግን አሁን የትርጓሜ እና የአኮስቲክ ቶከኖችን በንግግር፣ ሙዚቃ እና የድምጽ ተፅእኖዎች ላይ ያዋህዳል። ጽሑፍ ወይም ሌሎች ምልክቶች በድምጽ የሰለጠኑ ሞዴሎችን የሚመሩበት ፈጣን፣ ቅጽበታዊ ትውልድ፣ ረዘም ያለ ወጥነት ያለው ውፅዓት እና የመልቲሞዳል ቁጥጥር ይጠብቁ። ተመሳሳዩ ቴክኒኮች ስለድምጽ ክሎኒንግ እና የኦዲዮ ጥልቅ ሀሰቶች ስጋቶችን ያጎላሉ።

የእውነተኛ-ዓለም አተገባበር

አጭር የንግግር ቅንጥብ በተመሳሳይ የተናጋሪ ድምጽ እና ያለ ግልባጭ የቀጠለ

ከአጭር የተቀዳ መጠየቂያ ዘይቤ ጋር የሚዛመድ አዲስ የፒያኖ ሙዚቃን ማሻሻል

እንደ MusicLM ላሉ የጽሑፍ-ወደ ሙዚቃ ሥርዓቶች የኦዲዮ-ትውልድ የጀርባ አጥንት ሆኖ ማገልገል

ከናሙና ውስጥ ፕሮሶዲ እና ቀረጻ አኮስቲክን የሚጠብቅ የንግግር ውህደት ላይ ምርምር

አደጋዎች እና የጥበቃ መንገዶች

ስምምነት ሲጠፋ የድምፅ አላግባብ መጠቀም እና የማስመሰል አደጋዎች ይጨምራሉ።

ትክክለኛነት በአነጋገር ዘዬዎች፣ ቀበሌኛዎች ወይም ጫጫታ አካባቢዎች ላይ ሊወድቅ ይችላል።

ሰራሽ ኦዲዮ ግልጽ ምልክት ሳይደረግበት ለትክክለኛ ንግግር ሊሳሳት ይችላል።

የትግበራ ፍኖተ ካርታ

ለድምጽ ቀረጻ፣ ክሎኒንግ እና እንደገና ጥቅም ላይ ለማዋል ግልጽ የሆነ ፈቃድ ያግኙ።

በተለያዩ የድምጽ ማጉያዎች እና የበስተጀርባ ሁኔታዎች ላይ ጥራትን ይሞክሩ።

አንድ ሰው መቼ ውጤቶችን መገምገም ወይም ማጽደቅ እንዳለበት ይግለጹ።

ሰው ሰራሽ ኦዲዮን ይሰይሙ እና ለተጠያቂነት የፕሮቨንስ መዝገቦችን ያስቀምጡ።

ማሰስዎን ይቀጥሉ

ድምጽ AI

የንግግር ስርዓቶች ቋንቋን እንዴት እንደሚያውቁ እና እንደሚያመነጩ ይወቁ።

መመሪያ ያንብቡ

AI ሙዚቃ

ዘመናዊ የሙዚቃ-ትውልድ መሳሪያዎችን እና ገደቦችን ይረዱ።

መመሪያ ያንብቡ

Free newsletter

Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.

One email each weekday. Unsubscribe in one click. We never sell or share your address.

Test yourself

Take the AudioLM quiz

Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.

ጥያቄ ጀምር

Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation

ቀጣይ መመሪያ

ቁልፍ ቃል ስፖቲንግ እና ቃላቶች

ቀጣዩን መመሪያ ያንብቡ ሁሉንም ጥያቄዎች ያስሱ

በተደጋጋሚ የሚጠየቁ ጥያቄዎች

What is AudioLM?

AudioLM Google የምርምር ማዕቀፍ ሲሆን ይህም እውነተኛ ኦዲዮ — የንግግር ወይም የፒያኖ ሙዚቃ - ድምጽን እንደ ቋንቋ በመመልከት እና በቶከን በመተንበይ። ምንም አይነት የጽሁፍ ግልባጭ ወይም የሙዚቃ ነጥብ ሳይኖር ወጥነት ያለው፣ ተፈጥሯዊ ድምጽ ያለው የድምጽ ቀጣይነት እንዲኖረው ስላሳየ አስፈላጊ ነው።

ኦዲዮ ኤልኤም ኦዲዮን ለመፍጠር ምን ዋና ሀሳብ ይጠቀማል?

AudioLM ሞገዶችን ወደ ዲስሬት ቶከኖች ይቀይራቸዋል እና በቅደም ተከተል ይተነብያቸዋል፣ የቋንቋ ሞዴሎችን ወደ ጥሬ ድምጽ ይተገበራል።

በድምጽ ኤልኤም ውስጥ የ'ትርጉም' ቶከኖች ሚና ምንድን ነው?

የትርጉም ቶከኖች (ከw2v-BERT) የከፍተኛ ደረጃ መዋቅርን እና ወጥነትን ያመለክታሉ፣ የአኮስቲክ ቶከኖች ደግሞ ጥሩ የድምጽ ዝርዝሮችን ይይዛሉ።

የኦዲዮኤልኤምን አኮስቲክ ቶከኖች የሚያመነጨው የትኛው የነርቭ ኮዴክ ነው?

SoundStream ኦዲዮን ወደ አኮስቲክ ቶከኖች ለመጠቅለል ቀሪውን የቬክተር መለኪያ ይጠቀማል እና በኋላ የተተነበዩ ቶከኖችን ወደ ሞገድ ቅርጽ ይቀይራል።

AudioLM እንደ የሥልጠና ውሂብ ምን ይፈልጋል?

የሚታወቅ ባህሪ AudioLM ያለ ምንም የጽሑፍ መለያዎች በድምጽ ብቻ ያሠለጥናል፣ መዋቅርን በቀጥታ ከድምጽ ይማራል።

ለምንድን ነው AudioLM ከአኮስቲክ ቶከኖች በፊት የትርጉም ቶከኖችን ይተነብያል?

ጥቅጥቅ ያለ መዋቅርን ማመንጨት በመጀመሪያ ውጤቱ በጊዜ ሂደት ወጥነት እንዲኖረው ያደርጋል; ከፍተኛ ታማኝነት ዝርዝሮችን ለመጨመር የአኮስቲክ ቶከኖች በዚያ መዋቅር ላይ ተስተካክለዋል።