ปรับแต่งเสียงกระซิบ

Whisper คือโมเดลตัวเข้ารหัส-ตัวถอดรหัสที่ได้รับการฝึกอบรมล่วงหน้าสำหรับงานเสียงพูด การปรับแต่งอย่างละเอียดยังคงฝึกฝนเกี่ยวกับเสียงและข้อความที่จับคู่กันต่อไป เพื่อให้โมเดลสามารถจัดการกับการกระจายเป้าหมาย คำศัพท์ หรือเงื่อนไขทางภาษาได้ดียิ่งขึ้น ไม่ได้หมายความว่าเพียงแค่เพิ่มพจนานุกรมเท่านั้น แต่น้ำหนักของแบบจำลองจะได้รับการอัปเดตโดยใช้ตัวอย่าง และลักษณะการทำงานที่ได้จะขึ้นอยู่กับข้อมูล วัตถุประสงค์ และการตั้งค่าการฝึกอบรม เริ่มต้นด้วยการจับคู่เสียงและการถอดเสียงที่จัดชิดกันอย่างระมัดระวัง การถอดเสียงควรตรงกับเนื้อหาที่พูด และใช้รูปแบบที่สอดคล้องกันสำหรับเครื่องหมายวรรคตอน การใช้ตัวพิมพ์เล็กหรือใหญ่ ตัวเลข ความคลาดเคลื่อน และเหตุการณ์ที่ไม่ใช่คำพูด เสียงควรได้รับการถอดรหัสและสุ่มตัวอย่างตามที่คาดหวังโดยโปรเซสเซอร์รุ่น ลบรายการที่ซ้ำกันและตรวจสอบว่าส่วนต่างๆ ไม่มีการตัดทอนหรือไม่ตรงกัน ข้อผิดพลาดของป้ายกำกับจำนวนเล็กน้อยอาจทำให้การเรียนรู้ผิดพลาดได้ โดยเฉพาะในชุดการปรับตัวขนาดเล็ก แบ่งตามวิทยากร แหล่งที่มา หรือเซสชันก่อนการฝึกอบรม ดังนั้นคำพูดที่เกี่ยวข้องจะไม่ปรากฏในทั้งการฝึกอบรมและการประเมินผล เก็บชุดการตรวจสอบความถูกต้องสำหรับการตัดสินใจของจุดตรวจสอบและไฮเปอร์พารามิเตอร์ และชุดการทดสอบแยกต่างหากสำหรับการรายงานขั้นสุดท้าย อัตราข้อผิดพลาดของคำเป็นเรื่องปกติสำหรับ ASR แต่ตัวเลือกการทำให้เป็นมาตรฐานจะส่งผลต่ออัตราดังกล่าว รายงานพวกเขา ประเมินสำเนียง สภาพเสียงรบกวน และคำศัพท์เป้าหมายที่แตกต่างกัน ไม่ใช่แค่ค่าเฉลี่ยโดยรวม รุ่นขนาดใหญ่ต้องใช้หน่วยความจำและการประมวลผลมากขึ้น และอาจปรับแต่งได้ยากกว่าด้วยฮาร์ดแวร์ที่มีจำกัด จุดตรวจสอบที่เล็กกว่าสามารถใช้งานได้จริง แต่ขนาดของแบบจำลองเพียงอย่างเดียวไม่ได้กำหนดคุณภาพ วิธีการใช้พารามิเตอร์อย่างมีประสิทธิภาพ เช่น อะแดปเตอร์ระดับต่ำสามารถลดพารามิเตอร์ที่ฝึกได้เมื่อเครื่องมือที่เลือกรองรับ แต่ลักษณะการทำงานและความเข้ากันได้ของพารามิเตอร์นั้นต้องได้รับการตรวจสอบ เปรียบเทียบกับการปรับเปลี่ยนพร้อมท์หรือถอดรหัสและการเรียกค้นข้อกำหนดโดเมนก่อนดำเนินการฝึกอบรม การปรับแต่งอย่างละเอียดอาจปรับปรุงโดเมนเป้าหมายในขณะที่ลดประสิทธิภาพในที่อื่น โดยเฉพาะอย่างยิ่งหากข้อมูลการปรับตัวแคบ ตรวจสอบทั้งชุดการตรวจสอบเป้าหมายและชุดการตรวจสอบทั่วไปเมื่อความสามารถในวงกว้างมีความสำคัญ บันทึกการอ้างอิงโมเดลพื้นฐาน โปรเซสเซอร์ การกำหนดค่าการฝึกอบรม เวอร์ชันชุดข้อมูล และจุดตรวจสอบขั้นสุดท้าย เพื่อให้สามารถทำซ้ำและตรวจสอบผลลัพธ์ได้