คู่มือเสียง AI

OpenAI กระซิบ

Whisper คือโมเดลการรู้จำเสียงพูดอัตโนมัติแบบโอเพ่นซอร์สที่ออกโดย OpenAI ในปี 2022

ฟังคำแนะนำนี้บรรยายโดย AI · ~2 min

บนหน้านี้อ่าน 2 นาที
  1. ภาพรวม
  2. เจาะลึก
  3. การใช้งานจริงในโลกแห่งความเป็นจริง
  4. อนาคตของ OpenAI เสียงกระซิบ
  5. การนำไปปฏิบัติ
  6. สำรวจต่อไป
  7. คำถามที่พบบ่อย

ภาพรวม

งานที่ตีพิมพ์ประกอบด้วยการถอดความและแปลเป็นภาษาอังกฤษหลายภาษา ประสิทธิภาพที่รายงานจะแตกต่างกันไปตามภาษาและสภาพเสียง

เจาะลึก

รายงาน Whisper รายงานการฝึกอบรมเกี่ยวกับเสียงที่รวบรวมจากเว็บประมาณ 680,000 ชั่วโมงโดยมีการควบคุมดูแลที่อ่อนแอ โมเดลนี้รองรับการรู้จำคำพูด การแปลคำพูดภาษาอังกฤษ การระบุภาษา และการประทับเวลา บทความนี้รายงานความครอบคลุมของภาษาที่ไม่สม่ำเสมอและประเมินงานต่างๆ ผลลัพธ์การวัดประสิทธิภาพไม่ใช่การรับประกันความถูกต้องสากล การ์ดแบบจำลองประเมินคลังข้อมูลว่าเป็นเสียงภาษาอังกฤษประมาณ 65% พร้อมการถอดเสียงภาษาอังกฤษ เสียงที่ไม่ใช่ภาษาอังกฤษ 18% จับคู่กับข้อความแปลภาษาอังกฤษ และเสียงที่ไม่ใช่ภาษาอังกฤษ 17% พร้อมการถอดเสียงภาษาต้นฉบับ

การใช้งานจริงในโลกแห่งความเป็นจริง

ขั้นตอนการทำงานสมมุติ: ถอดเสียงการสัมภาษณ์ที่บันทึกไว้ จากนั้นตรวจสอบคำนามที่เหมาะสมและช่วงเสียงที่ไม่แน่นอนเทียบกับเสียง

ขั้นตอนการทำงานสมมุติ: แปลคำพูดที่ไม่ใช่ภาษาอังกฤษเป็นข้อความภาษาอังกฤษ และตรวจสอบการแปลกับวิทยากรที่มีคุณสมบัติเหมาะสมเมื่อความถูกต้องเป็นสิ่งสำคัญ

ใช้เอาต์พุตการระบุภาษาเป็นการคาดเดาโมเดลที่อาจเชื่อถือได้น้อยกว่าสำหรับภาษาที่ด้อยโอกาสหรือเสียงที่มีเสียงรบกวน

สำหรับการบันทึกที่มีความยาว ให้ตรวจสอบขอบเขตของส่วนและส่วนที่ไม่มีเสียงเพื่อดูว่ามีการละเว้น การวนซ้ำ หรือข้อความหลอนประสาทหรือไม่

อนาคตของ OpenAI เสียงกระซิบ

ใช้กระดาษที่ตีพิมพ์และการ์ดโมเดลเพื่อเลือกข้อมูลการประเมินที่ตรงกับภาษา คุณภาพเสียง และงานที่ต้องการ รายงานอัตราข้อผิดพลาดตามภาษาและเฉพาะงาน และตรวจสอบใบรับรองผลการเรียนที่มีผลกระทบสูงด้วยตนเอง แหล่งที่มาที่อ้างถึงไม่ได้กำหนดแนวโน้มการใช้งานในปัจจุบันหรือรับประกันความสามารถบนอุปกรณ์/สตรีมมิ่งในอนาคต

การนำไปปฏิบัติ

ทำไมมันถึงสำคัญ

  • เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
  • ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
  • ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น

ระวัง

  • การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
  • ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
  • เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน

ขั้นตอนต่อไป

  1. ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
  2. ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
  3. กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
  4. ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ

สำรวจต่อไป

จดหมายข่าวฟรี

รับสรุป AI รายวัน

เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา

อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ

ทดสอบตัวเอง

Take the OpenAI Whisper quiz

ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร

เริ่มแบบทดสอบ

สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค

คำถามที่พบบ่อย

OpenAI เสียงกระซิบคืออะไร?

Whisper คือโมเดลการรู้จำเสียงพูดอัตโนมัติแบบโอเพ่นซอร์สที่ออกโดย OpenAI ในปี 2022 งานที่เผยแพร่ ได้แก่ การถอดเสียงและการแปลเป็นภาษาอังกฤษหลายภาษา ประสิทธิภาพที่รายงานจะแตกต่างกันไปตามภาษาและสภาพเสียง

จุดประสงค์หลักของเสียงกระซิบของ OpenAI คืออะไร

Whisper คือระบบรู้จำเสียงพูดอัตโนมัติที่ถอดเสียงและแปลเสียงพูดในหลายภาษา

ความสมดุลของภาษาในเสียงการฝึกของ Whisper เป็นอย่างไร

เอกสารดังกล่าวตั้งข้อสังเกตว่าคลังข้อมูลการฝึกอบรมเน้นภาษาอังกฤษและภาษาส่วนใหญ่มีเวลาน้อยกว่า 1,000 ชั่วโมงมาก

Whisper ใช้อะไรเพื่อกำหนดเงื่อนไขตัวถอดรหัสในงานและภาษาที่ร้องขอ

โทเค็นพิเศษจะระบุภาษาและงาน เช่น การถอดเสียงหรือการแปลภาษาอังกฤษ

Whisper ไม่มีความสามารถใดให้มาในตัว?

Whisper จัดการการถอดเสียง การแปลเป็นภาษาอังกฤษ การตรวจจับภาษา และการประทับเวลา แต่ไม่ใช่เครื่องมือสร้างวิดีโอ

เอกสารของ OpenAI อธิบายถึงปัญหาการถอดความแบบยาวใดบ้าง

บทความนี้อธิบายถึงข้อผิดพลาด เช่น การวนซ้ำและคำแรกหรือคำสุดท้ายหายไปรอบๆ ขอบเขตของส่วน

เรียนรู้ต่อไป

คำแนะนำที่เกี่ยวข้อง

คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้

รับใบรับรอง AI ฟรีหลักสูตรและการสอบสั้น ๆ ฟรี ไม่มีค่าใช้จ่าย ไม่มีบัตรเครดิต ประมาณ 2.5 ชั่วโมงเริ่มต้นฟรี →