คู่มือเสียง AI

การออกแบบเสียง AI จากคำอธิบายข้อความ

การออกแบบเสียง AI สร้างเสียงสังเคราะห์ใหม่ล่าสุดจากคำอธิบายที่เป็นลายลักษณ์อักษร เช่น "ผู้บรรยายชายสูงวัยที่อบอุ่นและมีเสียงแหบเล็กน้อย" แทนที่จะคัดลอกบันทึกของคนจริง

ฟังคำแนะนำนี้บรรยายโดย AI · ~3 min

บนหน้านี้อ่าน 4 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของการออกแบบเสียง AI จากคำอธิบายข้อความ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

มันแตกต่างจากการโคลนเสียงซึ่งสร้างลำโพงเฉพาะจากเสียงตัวอย่าง สิ่งสำคัญคือเพราะผู้สร้างสามารถรับเสียงที่โดดเด่นสำหรับหนังสือเสียง เกม และแอปโดยไม่ต้องลอกเลียนแบบตัวตนของใครก็ตาม แม้ว่าเสียงที่ได้รับการออกแบบยังคงต้องได้รับการดูแลและเปิดเผยก็ตาม

เจาะลึก

การโคลนเสียงและการออกแบบเสียงช่วยแก้ปัญหาที่แตกต่างกัน การโคลนใช้เสียงอ้างอิงของบุคคลใดบุคคลหนึ่งและกำหนดเงื่อนไขรูปแบบการอ่านออกเสียงข้อความตามคุณลักษณะของผู้พูดนั้น ดังนั้นเอาต์พุตจะดูเหมือนพวกเขา การออกแบบเสียงเริ่มต้นจากคำพูด ระบบจะแม็ปคำอธิบายอายุ เพศ การนำเสนอ ระดับเสียง สำเนียง จังหวะ เนื้อสัมผัส และอารมณ์ ให้กับเสียงที่ไม่เคยมีมาก่อน ส่วนที่ยากคือข้อมูลการฝึกอบรม หากต้องการเรียนรู้ว่าคำอธิบายเกี่ยวข้องกับเสียงอย่างไร โมเดลต้องใช้เสียงพูดจำนวนมากควบคู่กับคำอธิบาย และการติดป้ายด้วยมือซึ่งใช้เวลานานหลายพันชั่วโมงนั้นมีราคาแพง บทความปี 2024 จาก Stability AI และมหาวิทยาลัยเอดินบะระแสดงให้เห็นวิธีแก้ปัญหา โดยจะวัดคุณลักษณะต่างๆ เช่น ระยะห่างของเสียง อัตราการพูด เสียง และเสียงก้องโดยอัตโนมัติ รวมเข้ากับป้ายกำกับของผู้พูด และมีโมเดลภาษาเปลี่ยนให้เป็นคำอธิบายที่ฟังดูเป็นธรรมชาติ Parler-TTS โอเพ่นซอร์สของ Hugging Face สร้างขึ้นจากแนวทางดังกล่าว เครื่องมือเชิงพาณิชย์ เช่น คุณสมบัติการออกแบบเสียงของ ElevenLabs จะสร้างเสียงที่เป็นตัวเลือกหลายรายการจากข้อความแจ้ง และให้ผู้ใช้บันทึกเสียงที่พวกเขาต้องการ ช่วยแยกเอกลักษณ์ของเสียง (เสียงต่ำ ช่วงระดับเสียง สำเนียง) ออกจากการแสดง (อารมณ์ จังหวะ การเน้น) ระบบบางระบบ เช่น รุ่น TTS ที่ควบคุมทิศทางได้ของ OpenAI ให้คุณสั่งว่าเสียงที่ตั้งไว้ล่วงหน้าควรพูดอย่างไร ซึ่งจะเปลี่ยนการส่งเสียงแต่ไม่ได้สร้างเอกลักษณ์ใหม่ การออกแบบเสียงสร้างเอกลักษณ์ของตัวเอง ข้อจำกัดมีอยู่จริง คำอธิบายไม่ชัดเจน เนื่องจาก "อบอุ่น" หมายถึงสิ่งที่แตกต่างสำหรับแต่ละคน การสร้างสองครั้งจากพรอมต์เดียวกันมักจะให้เสียงที่แตกต่างกัน สำเนียงและอายุที่ไม่ค่อยพบในข้อมูลการฝึกอบรมมีความน่าเชื่อถือน้อยลง ความเข้าใจผิดที่พบบ่อยคือเสียงที่ออกแบบมาไม่สามารถมีลักษณะเหมือนใครได้ โดยบังเอิญมันสามารถฟังดูใกล้เคียงกับคนจริง และบล็อกบริการจำนวนมากแจ้งชื่อคนจริง เสียงที่ออกแบบมาหลีกเลี่ยงปัญหาการยินยอมส่วนใหญ่ของการโคลนนิ่ง แต่การเปิดเผยว่าเสียงเป็นการสังเคราะห์ยังคงมีความสำคัญ

การใช้งานจริงในโลกแห่งความเป็นจริง

สตูดิโอเกมสร้างต้นแบบตัวละครโดยกระตุ้นให้ช่างตีเหล็กวัยกลางคนที่พูดช้าและพูดช้า จากนั้นใช้เสียงร่างในการทดสอบการเล่นก่อนที่จะตัดสินใจว่าจะคัดเลือกนักแสดงที่เป็นมนุษย์หรือไม่

ผู้ผลิตหนังสือเสียงสร้างตัวอย่างหลายรายการจาก "ผู้บรรยายหญิงผู้สงบในวัยสามสิบ สำเนียงที่เป็นกลาง ก้าวที่ไม่เร่งรีบ" เลือกมาหนึ่งรายการและบันทึกไว้เพื่อให้ทุกบทใช้เสียงเดียวกัน

นักพัฒนาใช้โมเดลโอเพ่นซอร์ส Parler-TTS พร้อมข้อความแจ้งที่อธิบายผู้พูดที่พูดอย่างรวดเร็วในห้องที่เงียบสงบ ควบคุมทั้งเสียงและเงื่อนไขการบันทึกผ่านข้อความ

ผู้ที่ใช้อุปกรณ์สร้างคำพูดและไม่มีการบันทึกเสียงของตนเองจะออกแบบอุปกรณ์ที่ตรงกับอายุและสำเนียงในภูมิภาคแทนการใช้ค่าเริ่มต้นทั่วไป

อนาคตของการออกแบบเสียง AI จากคำอธิบายข้อความ

คาดหวังการควบคุมที่ดียิ่งขึ้น เช่น การปรับเสียงที่ออกแบบมาตามแถบเลื่อนตามอายุหรือลมหายใจ การจัดการสำเนียงและภาษาที่ด้อยโอกาสได้ดีขึ้น และการแยกระหว่างข้อมูลประจำตัวและการนำเสนอให้เข้มงวดยิ่งขึ้น มาตรการด้านความปลอดภัยก็น่าจะพัฒนาต่อไปเช่นกัน เช่น ตัวกรองที่บล็อกแจ้งให้ระบุชื่อบุคคลจริง การตรวจสอบความคล้ายคลึงกับเสียงที่รู้จัก และลายน้ำเสียงหรือข้อมูลเมตาแหล่งที่มา การปฏิบัติทางกฎหมายต่อเสียงที่มีลักษณะคล้ายกับบุคคลจริงนั้นไม่ได้รับการตัดสินและแตกต่างกันไปตามเขตอำนาจศาล ดังนั้นผู้ใช้มืออาชีพควรเก็บเอกสารเกี่ยวกับวิธีการสร้างเสียงไว้

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the AI Voice Design from Text Descriptions quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

AI Voice Design จากคำอธิบายข้อความคืออะไร

การออกแบบเสียง AI สร้างเสียงสังเคราะห์ใหม่ล่าสุดจากคำอธิบายที่เป็นลายลักษณ์อักษร เช่น "ผู้บรรยายชายสูงวัยที่อบอุ่นและมีเสียงแหบเล็กน้อย" แทนที่จะคัดลอกบันทึกของคนจริง มันแตกต่างจากการโคลนเสียงซึ่งสร้างลำโพงเฉพาะจากเสียงตัวอย่าง สิ่งสำคัญคือเพราะผู้สร้างสามารถรับเสียงที่โดดเด่นสำหรับหนังสือเสียง เกม และแอปโดยไม่ต้องลอกเลียนแบบตัวตนของใครก็ตาม แม้ว่าเสียงที่ได้รับการออกแบบยังคงต้องได้รับการดูแลและเปิดเผยก็ตาม

อะไรคือความแตกต่างหลักระหว่างการออกแบบเสียงและการโคลนเสียง?

เงื่อนไขการโคลนนิ่งในการบันทึกภาพบุคคลจริง การออกแบบจับคู่คำอธิบายที่เป็นลายลักษณ์อักษรกับเสียงที่ไม่เคยมีมาก่อน

เหตุใดข้อมูลการฝึกอบรมจึงเป็นความท้าทายที่สำคัญสำหรับโมเดลการออกแบบเสียง

การเรียนรู้ว่าคำศัพท์เกี่ยวข้องกับเสียงอย่างไรต้องใช้คู่คำอธิบายคำพูดหลายคู่ และการเขียนคำเหล่านั้นด้วยมือไม่ได้ปรับขนาด

แนวทาง Stability AI ปี 2024 และเอดินบะระสร้างคำอธิบายในวงกว้างได้อย่างไร

คุณลักษณะที่วัดได้จะถูกแปลงเป็นคำอธิบายที่เป็นภาษาธรรมชาติโดยอัตโนมัติ ซึ่งหลีกเลี่ยงการติดป้ายกำกับด้วยตนเองในวงกว้าง

คำสั่งที่บอกให้เสียงที่ตั้งไว้ฟังดูตื่นเต้นมากขึ้น ส่วนใหญ่จะเปลี่ยนแปลงอะไร?

การบังคับอารมณ์หรือจังหวะส่งผลต่อการคลอด เอกลักษณ์ของเสียง เช่น โทนเสียงและระดับเสียงสูงต่ำ ยังคงเหมือนเดิม

เหตุใดคนสองรุ่นที่มีคำอธิบายเดียวกันจึงสร้างเสียงที่แตกต่างกัน

คำอธิบายเหมาะกับเสียงที่เป็นไปได้หลายๆ เสียง ดังนั้นหากไม่มีการตั้งต้นหรือบันทึกที่ตายตัว การฝังตัวอย่างการรันแต่ละครั้งก็จะเป็นเสียงที่แตกต่างกัน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →