ต่อไปคำแนะนำต่อไป
การสังเคราะห์ข้อความเป็นเสียง AudioGen
เสียงเอไอ
คู่มือเสียง AI
DDSP (การประมวลผลสัญญาณดิจิทัลที่แตกต่าง) หลอมรวมบล็อคซินธิไซเซอร์แบบคลาสสิกเข้ากับโครงข่ายประสาทเทียม ดังนั้นการเรียนรู้เชิงลึกจึงสามารถควบคุมออสซิลเลเตอร์และตัวกรองได้โดยตรง
ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min
มันสร้างเสียงเครื่องดนตรีที่เป็นธรรมชาติและควบคุมได้อย่างน่าทึ่งด้วยโมเดลขนาดเล็กและข้อมูลจำนวนน้อย
DDSP เปิดตัวโดยทีม Magenta ของ Google ในปี 2020 คิดใหม่เกี่ยวกับการสร้างเสียงแบบนิวรัล แทนที่จะใช้เครือข่ายทำนายตัวอย่างเสียงดิบทีละตัวอย่าง (เช่น WaveNet) หรือพิกเซลของสเปกโตรแกรม DDSP จะสร้างส่วนประกอบ DSP แบบดั้งเดิม — ออสซิลเลเตอร์เสริมฮาร์มอนิก, เครื่องกำเนิดสัญญาณรบกวนที่ถูกกรอง และเสียงก้อง — ซึ่งสามารถหาความแตกต่างได้ นั่นหมายความว่าการไล่ระดับสีสามารถไหลผ่านพวกมันได้ในระหว่างการฝึกซ้อม ดังนั้นโครงข่ายประสาทเทียมขนาดเล็กจึงเรียนรู้ที่จะส่งสัญญาณควบคุมที่ตีความได้ ได้แก่ ระดับเสียงพื้นฐาน ความดังโดยรวม และแอมพลิจูดของฮาร์โมนิคหลายสิบตัวเมื่อเวลาผ่านไป จากนั้นซินธิไซเซอร์จะเรนเดอร์เสียงจริงจากส่วนควบคุมเหล่านี้ เนื่องจากฟิสิกส์ของเสียงถูกฝังอยู่ในสถาปัตยกรรมแทนที่จะเรียนรู้ตั้งแต่เริ่มต้น DDSP จึงได้คุณภาพสูงโดยใช้พารามิเตอร์และตัวอย่างการฝึกอบรมที่น้อยกว่ามาก และช่วยให้ผู้ใช้สามารถปรับระดับเสียงสูงต่ำ ความดัง และเสียงต่ำได้อย่างอิสระ แม้กระทั่งการถ่ายโอนเสียงร้อง เช่น การเล่นเสียงร้องเหมือนไวโอลิน
เครื่องมือถ่ายโอน Timbre ที่ใช้ทำนองฮัมเพลงหรือร้องแล้วเรนเดอร์ใหม่เป็นไวโอลิน ฟลุต หรือทรัมเป็ตแบบเรียลไทม์
ปลั๊กอินซินธิไซเซอร์ประสาทน้ำหนักเบาที่นักดนตรีควบคุมด้วยปุ่มระดับเสียง ความดัง และความสว่างที่ใช้งานง่าย
การแก้ไขระดับเสียงและการสังเคราะห์ใหม่ของเครื่องมือที่บันทึกไว้โดยยังคงรักษารายละเอียดฮาร์มอนิกตามธรรมชาติ
การสาธิตเพลงแบบโต้ตอบบนเบราว์เซอร์ที่สร้างเสียงเครื่องดนตรีที่สมจริงโดยไม่ต้องใช้ GPU รุ่นหนัก
DDSP กำลังผลักดันเครื่องมือประสาทและเอฟเฟกต์เสียงแบบเรียลไทม์ที่มีความหน่วงต่ำที่ทำงานบนฮาร์ดแวร์ขนาดเล็ก รวมถึงในเบราว์เซอร์และอุปกรณ์ฝังตัว ส่วนควบคุมที่ตีความได้ทำให้เหมาะอย่างยิ่งสำหรับเครื่องมือแสดงอารมณ์และซินธิไซเซอร์แบบไฮบริดที่นักดนตรีหมุนเสียงต่ำโดยตรง นักวิจัยกำลังขยายแนวคิด DSP ที่แตกต่างไปสู่การสร้างแบบจำลองทางกายภาพ เสียงในห้อง และห่วงโซ่การผลิตเสียงเต็มรูปแบบ ผสมผสานความสามารถในการควบคุมของการประมวลผลสัญญาณแบบคลาสสิกเข้ากับความสมจริงของการเรียนรู้เชิงลึกผ่านการสร้างสรรค์ดนตรีและการออกแบบเสียง
จดหมายข่าวฟรี
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
DDSP (การประมวลผลสัญญาณดิจิทัลที่แตกต่าง) หลอมรวมบล็อคซินธิไซเซอร์แบบคลาสสิกเข้ากับโครงข่ายประสาทเทียม ดังนั้นการเรียนรู้เชิงลึกจึงสามารถควบคุมออสซิลเลเตอร์และตัวกรองได้โดยตรง สร้างเสียงเครื่องดนตรีที่เป็นธรรมชาติและควบคุมได้อย่างยอดเยี่ยมด้วยโมเดลขนาดเล็กและข้อมูลเพียงเล็กน้อย
DDSP เปลี่ยนหน่วยการสร้างซินธิไซเซอร์แบบดั้งเดิมให้เป็นโมดูลที่สร้างความแตกต่างได้ โดยปล่อยให้โครงข่ายประสาทเทียมเรียนรู้ที่จะควบคุมพวกมันผ่านการแพร่กระจายกลับ
เครือข่ายคาดการณ์พารามิเตอร์ควบคุมที่แปรผันตามเวลา และซินธิไซเซอร์ที่แยกความแตกต่างได้จะเรนเดอร์เสียงจากพารามิเตอร์เหล่านั้น โดยจะไม่ส่งเอาต์พุตตัวอย่างโดยตรง
ออสซิลเลเตอร์เสริมฮาร์มอนิกจะสร้างชิ้นส่วนฮาร์โมนิคที่มีระดับเสียงแหลม ในขณะที่สัญญาณรบกวนที่ถูกกรองจะเพิ่มลมหายใจและพื้นผิวที่ไม่ฮาร์โมนิค
เนื่องจากโครงสร้างการประมวลผลสัญญาณที่รู้จักถูกสร้างขึ้นมาแทนที่จะเรียนรู้ตั้งแต่ต้น เครือข่ายจึงมีเวลาเรียนรู้น้อยกว่ามาก โดยปรับปรุงประสิทธิภาพของข้อมูลและพารามิเตอร์
การเปรียบเทียบสเปกโตรแกรมขนาดที่ความละเอียดหลายระดับจะทนทานต่อความแตกต่างของเฟส ซึ่งการสูญเสียในระดับตัวอย่างต้องเผชิญ
เรียนรู้ต่อไป
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้
ต่อไปคำแนะนำต่อไป
การสังเคราะห์ข้อความเป็นเสียง AudioGen
เสียงเอไอ