คู่มือเสียง AI
สุนทรพจน์ควบคุมตนเองของ HuBERT
HuBERT (Hidden-Unit BERT) คือโมเดลคำพูดแบบควบคุมตนเองจาก Facebook AI ซึ่งเผยแพร่ในเดือนมิถุนายน 2021 ซึ่งเรียนรู้จากเสียงที่ไม่มีป้ายกำกับโดยการทำนายป้ายกำกับคลัสเตอร์สำหรับคำพูดที่ปิดบัง
ฟังคำแนะนำนี้บรรยายโดย AI · ~8 min
บนหน้านี้อ่าน 9 นาที
ภาพรวม
มันจับคู่หรือเอาชนะ wav2vec 2.0 ในการรู้จำเสียงพูดของ LibriSpeech และหน่วยแยกของมันก็กลายเป็นองค์ประกอบมาตรฐานสำหรับการสร้างเสียงพูด การบีบอัด และการวิจัยเสียง
ประเด็นสำคัญ
- HuBERT เรียนรู้การแสดงคำพูดโดยการทำนายป้ายกำกับคลัสเตอร์แบบเคมีนสำหรับช่วงที่ปิดบังของเสียงที่ไม่มีป้ายกำกับ
- ป้ายกำกับแรกมาจากการจัดกลุ่มฟีเจอร์ MFCC ออกเป็น 100 กลุ่ม จากนั้นจึงเริ่มจากการรวมกลุ่มเลเยอร์ที่ซ่อนอยู่เป็น 500 กลุ่ม
- การปรับแต่งอย่างละเอียดด้วยการถอดเสียงเพียง 10 นาที HuBERT X-LARGE มี WER 4.6% สำหรับการทดสอบที่สะอาด และ 6.8% สำหรับการทดสอบอื่นๆ
- HuBERT คำนวณการสูญเสียเฉพาะในเฟรมที่ปิดบัง โดยบังคับให้อนุมานคำพูดที่ซ่อนอยู่จากบริบทโดยรอบ
- หน่วยแยกของ HuBERT ใช้กันอย่างแพร่หลายสำหรับการสร้างคำพูดแบบไร้ข้อความและการสังเคราะห์เสียงพูดที่มีบิตเรตต่ำอีกครั้ง
เจาะลึก
HuBERT, short for Hidden-Unit BERT, is a method for learning useful representations of speech from recordings that have no transcripts. It was introduced by Wei-Ning Hsu, Benjamin Bolte, Yao-Hung Hubert Tsai, Kushal Lakhotia, Ruslan Salakhutdinov and Abdelrahman Mohamed in a paper posted on June 14, 2021, with a Facebook AI blog post the next day. The trained model turns raw audio into a sequence of vectors, one every 20 milliseconds, that capture the sounds being spoken. Those vectors can then be fine-tuned with a small amount of labeled data for speech recognition or used directly for other speech tasks.
The idea borrows from BERT, the text model that learns by hiding some words in a sentence and predicting them. Speech makes this harder in three ways that the paper names: each utterance contains many sound units, there is no dictionary of those units to predict, and units have different lengths with no marked boundaries. HuBERT's answer is to create its own targets with an offline clustering step. K-means clustering, which groups similar vectors into a fixed number of clusters, assigns every 20 ms frame a cluster number. These numbers are the hidden units. They are noisy stand-ins for phonetic categories, but they are consistent: similar sounds get similar labels.
Training then proceeds like BERT. A convolutional encoder turns 16 kHz audio into frames, downsampling by a factor of 320. About 8% of frames are chosen as starting points and spans of 10 frames from each are replaced by a learned mask embedding. A transformer encoder reads the partly masked sequence and, at every masked frame, predicts which cluster that frame was assigned. The key design choice is computing the loss only on masked frames. To predict a hidden frame's label, the model must infer it from surrounding context, which forces it to learn both what sounds are present, like an acoustic model, and how speech sequences are structured, like a language model.
The clustering improves over iterations. In the first round, the authors clustered 39-dimensional MFCC features, a classic hand-designed summary of the speech spectrum, into 100 clusters. After training the BASE model for 250,000 steps on LibriSpeech's 960 hours, they clustered the output of its sixth transformer layer into 500 clusters and trained again for 400,000 steps. The LARGE and X-LARGE models were trained for one iteration on the 60,000-hour Libri-Light collection, using labels from the ninth layer of the second-iteration BASE model. The paper notes that HuBERT depends more on the consistency of the clustering than on how accurate the cluster labels are as phonetic categories.
The results matched or exceeded wav2vec 2.0, the leading self-supervised speech model at the time, across fine-tuning sets of 10 minutes, 1 hour, 10 hours, 100 hours and 960 hours. With only 10 minutes of labels, HuBERT LARGE reached 4.7% word error rate on test-clean and 7.6% on test-other, and the 1-billion-parameter X-LARGE reached 4.6% and 6.8%. With all 960 hours of labels, X-LARGE reached 1.8% on test-clean and 2.9% on test-other, against 1.8% and 3.3% for wav2vec 2.0 LARGE in the paper's comparison. The authors summarize the gain as up to 19% and 13% relative word error rate reduction on dev-other and test-other. The exceptions were small: with 100 hours of labels, HuBERT LARGE and BASE were each 0.1 points behind wav2vec 2.0 on one test set.
The main alternative, wav2vec 2.0, also masks speech, but it learns its discrete targets during training and uses a contrastive loss that must pick the true frame from sampled distractors. The HuBERT paper points out that this requires careful choice of negative samples, an extra diversity loss and a temperature schedule. HuBERT separates the two problems, discovering units offline and then training with a simple cross-entropy loss, which made training more direct. Compared with supervised speech recognition, both approaches need far less labeled data, which matters for languages and domains where transcripts are scarce.
HuBERT has clear limits. The published models were trained only on English read audiobooks from LibriVox, so they reflect that style and language, and results on other languages or spontaneous, noisy speech must be measured separately. The method needs repeated rounds of clustering and pre-training, and k-means over high-dimensional features for hundreds of hours of audio requires subsampling to fit in memory, which the authors note. HuBERT is an encoder, not a complete transcription system: it needs fine-tuning and a decoder, and the strongest reported numbers also used a language model during decoding. Its units capture mainly what is said, which is useful for content but means speaker identity and prosody must be handled by other components in generation systems.
The practical cost is concentrated in pre-training. The authors trained BASE on 32 GPUs and the LARGE and X-LARGE models on 128 and 256 GPUs for 400,000 steps each. Fine-tuning and use are far cheaper: pretrained and fine-tuned checkpoints were released through Facebook's fairseq repository and are available in Hugging Face Transformers, where a model loads in a few lines and expects raw audio sampled at 16 kHz. Three sizes exist, BASE with 95 million parameters, LARGE with 317 million and X-LARGE with 964 million.
04ตัวอย่างการทำงาน
การสร้างหน่วย HuBERT จากคลิปคำพูด
โหลดคลิปคำพูดภาษาอังกฤษความยาว 10 วินาทีและสุ่มตัวอย่างเป็น 16 kHz โดยให้ตัวอย่าง 160,000 ตัวอย่าง
ส่งผ่านโมเดล HuBERT BASE ที่ผ่านการฝึกอบรมมาแล้ว และรวบรวมสถานะที่ซ่อนอยู่ ประมาณ 500 เฟรม แต่ละเฟรมมี 768 หมายเลข
นำเอาท์พุตของชั้นหม้อแปลงตรงกลางมาใส่ค่าเคมีนกับ 100 คลัสเตอร์บนเฟรมจากคลิปต่างๆ มากมาย
กำหนดทุกเฟรมของคลิปทดสอบให้กับคลัสเตอร์ที่ใกล้ที่สุด โดยให้ลำดับจำนวนเต็ม 500 ตัว
รวมจำนวนเต็มซ้ำติดต่อกันเพื่อให้ได้ลำดับหน่วยที่สั้นลง ดังที่โมเดลคำพูดแบบไม่มีข้อความมักทำ
เปรียบเทียบลำดับหน่วยของลำโพง 2 ตัวที่พูดประโยคเดียวกัน และตรวจสอบว่าหน่วยใดอยู่ในแนวเดียวกัน
มันแสดงให้เห็นอะไร
ผู้เรียนจะได้รับข้อความหลอกสำหรับคำพูดแยกกัน หนึ่งหน่วยต่อ 20 มิลลิวินาทีก่อนที่จะรวมเข้าด้วยกัน ลำดับหน่วยที่คล้ายกันสำหรับคำเดียวกันจากผู้พูดที่แตกต่างกันแสดงให้เห็นว่าหน่วย HuBERT จับเนื้อหาเป็นหลัก ซึ่งเป็นเหตุผลว่าทำไมหน่วยเหล่านี้จึงทำหน้าที่เป็นโทเค็นสำหรับโมเดลภาษาพูด
การใช้งานจริงในโลกแห่งความเป็นจริง
การรู้จำคำพูดที่ใช้ทรัพยากรต่ำ: หลังจากการฝึกอบรมล่วงหน้าเกี่ยวกับคำพูดจากหนังสือเสียงที่ไม่มีป้ายกำกับเป็นเวลา 60,000 ชั่วโมง HuBERT LARGE ที่ได้รับการปรับแต่งอย่างละเอียดในเสียงที่ถอดเสียงเพียง 10 นาทีก็มีอัตราข้อผิดพลาดของคำอยู่ที่ 4.7% ในการทดสอบ LibriSpeech แบบปลอด และ 7.6% ในการทดสอบอื่น ๆ
การสร้างคำพูดแบบไร้ข้อความ: งาน Generative Spoken Language Modeling (2021) ของ Meta ได้เปลี่ยนฟีเจอร์ของ HuBERT ให้เป็นหน่วยข้อความเทียมที่แยกจากกัน ฝึกฝนโมเดลภาษาและสังเคราะห์คำพูดโดยไม่มีข้อความใดๆ
การบีบอัดบิตเรตต่ำมาก: Meta รายงานว่าการสังเคราะห์คำพูดร่วมโดยใช้หน่วย HuBERT สูงถึง 365 บิตต่อวินาที และ HuBERT อยู่ในอันดับที่สองรองจากเสียงที่ไม่มีการบีบอัดในการทดสอบการฟัง MUSHRA
การถอดเสียงที่มีจำหน่ายทั่วไป: Hugging Face Transformers โฮสต์จุดตรวจสอบ HuBERT เช่น facebook/hubert-large-ls960-ft ที่ถอดเสียงภาษาอังกฤษ 16 kHz ผ่านไปป์ไลน์การรู้จำเสียงมาตรฐาน
การจัดหมวดหมู่เสียง: ไลบรารีเดียวกันนี้จัดให้มี HubertForSequenceClassification ซึ่งเป็นตัวเข้ารหัส HuBERT พร้อมส่วนหัวการจัดหมวดหมู่แบบรวมกลุ่ม สำหรับงานต่างๆ เช่น การระบุคีย์เวิร์ดจากเกณฑ์มาตรฐาน SUPERB
อนาคตของสุนทรพจน์ควบคุมตนเองของ HuBERT
HuBERT's most lasting influence may be outside speech recognition. Its discrete units showed that speech can be modeled like text without any transcripts: Meta's Generative Spoken Language Modeling paper (February 2021, revised September 2021) compared HuBERT units with CPC and wav2vec 2.0 units for training language models on raw audio, and Meta's June 2021 announcement described generation and very low bitrate resynthesis built on HuBERT. Open questions include how to extend self-supervised speech models to many languages, accents and recording conditions when public pre-training data is dominated by English audiobooks, how to capture prosody, emotion and speaker identity that clustered content units tend to discard, and how to reduce the cost of iterative clustering and pre-training at large scale. The HuBERT authors said in 2021 that they planned to simplify training into a single phase instead of repeated rounds of clustering and pre-training. Comparisons also keep shifting. Newer models trained on far more varied data, with or without labels, have changed what counts as state of the art on many benchmarks since 2021, so HuBERT is now often used as a well-understood baseline and feature extractor rather than the best available recognizer. Choosing it today is mainly a question of whether its open checkpoints, 16 kHz English training data and discrete units fit the task.
การนำไปปฏิบัติ
ทำไมมันถึงสำคัญ
- เข้าถึงและเข้าถึง. ปรับปรุงการเข้าถึงผ่านการถอดเสียง คำบรรยาย และอินเทอร์เฟซเสียง
- ต้นทุนและงบประมาณ. ทีมสื่อสามารถจัดส่งเสียงที่สวยงามได้รวดเร็วยิ่งขึ้นด้วยงบประมาณที่น้อยลง
- ความเร็วและขนาด. ระบบที่ติดต่อกับลูกค้าสามารถประมวลผลการโต้ตอบด้วยเสียงในขนาดที่ใหญ่ขึ้น
ระวัง
- การใช้เสียงในทางที่ผิดและการแอบอ้างบุคคลอื่นมีความเสี่ยงเพิ่มขึ้นเมื่อขาดความยินยอม
- ความแม่นยำอาจลดลงตามสำเนียง ภาษาถิ่น หรือสภาพแวดล้อมที่มีเสียงดัง
- เสียงสังเคราะห์อาจถูกเข้าใจผิดว่าเป็นเสียงพูดที่แท้จริงโดยไม่มีการกำกับที่ชัดเจน
ขั้นตอนต่อไป
- ได้รับความยินยอมอย่างชัดแจ้งสำหรับการจับเสียง การโคลน และการใช้ซ้ำ
- ทดสอบคุณภาพกับลำโพงและสภาพพื้นหลังที่หลากหลาย
- กำหนดเวลาที่มนุษย์จะต้องตรวจสอบหรืออนุมัติผลลัพธ์
- ติดป้ายกำกับเสียงสังเคราะห์และเก็บบันทึกที่มาเพื่อความรับผิดชอบ
ที่มาและอ่านเพิ่มเติม
- arXivHuBERT: การเรียนรู้การแสดงคำพูดแบบควบคุมตนเองโดยการทำนายแบบสวมหน้ากากของหน่วยที่ซ่อนอยู่
- Meta AIHuBERT: การเรียนรู้การเป็นตัวแทนภายใต้การดูแลตนเองสำหรับการรู้จำเสียง การสร้าง และการบีบอัด
- arXivการสร้างแบบจำลองภาษาพูดเชิงสร้างสรรค์จากเสียงดิบ
- Hugging Face Transformers documentationHuBERT
สำรวจต่อไป
จดหมายข่าวฟรี
รับสรุป AI รายวัน
เรื่องราว AI ที่ตรวจสอบแล้ว 3 เรื่องทุกวันทำงาน เช้า, เขียนเป็นภาษาอังกฤษธรรมดา ฟรีตลอดไป ไม่มีโฆษณา
อีเมลหนึ่งฉบับทุกวันทำงาน ยกเลิกการสมัครในคลิกเดียว เราไม่เคยขายหรือแชร์ที่อยู่อีเมลของคุณ
ทดสอบตัวเอง
ทำแบบทดสอบการพูดแบบควบคุมตนเองของ HuBERT
ข้อเสนอแนะทันทีสำหรับทุกคำตอบ และใบรับรองที่สามารถแชร์ได้พร้อม ID ที่ตรวจสอบได้เมื่อคุณผ่านหลักสูตร
สนับสนุนการศึกษา AI ฟรี AI Understanding เป็นองค์กรไม่แสวงหาผลกำไร 501(c)(3) — ไม่มีโฆษณา ไม่มีกำแพงเงิน, ตลอดไป บริจาค
คำถามที่พบบ่อย
HuBERT Self-Supervised Speech คืออะไร?
HuBERT (Hidden-Unit BERT) คือโมเดลคำพูดแบบควบคุมตนเองจาก Facebook AI ซึ่งเผยแพร่ในเดือนมิถุนายน 2021 ซึ่งเรียนรู้จากเสียงที่ไม่มีป้ายกำกับโดยการทำนายป้ายกำกับคลัสเตอร์สำหรับคำพูดที่ปิดบัง มันจับคู่หรือเอาชนะ wav2vec 2.0 ในการรู้จำเสียงพูดของ LibriSpeech และหน่วยแยกของมันก็กลายเป็นองค์ประกอบมาตรฐานสำหรับการสร้างเสียงพูด การบีบอัด และการวิจัยเสียง
HuBERT สร้างเป้าหมายที่พยายามคาดการณ์ระหว่างการฝึกอย่างไร
HuBERT จัดกลุ่มคุณสมบัติเฟรมเสียง (ผ่าน k-mean) ลงในหน่วยที่ซ่อนอยู่แบบไม่ต่อเนื่อง และคาดการณ์ป้ายกำกับคลัสเตอร์เหล่านั้นสำหรับเฟรมที่ถูกมาสก์
โมเดลข้อความที่รู้จักกันดีข้อใดเป็นแรงบันดาลใจให้กับแผนการฝึกอบรมการทำนายแบบสวมหน้ากากของ HuBERT
HuBERT (Hidden-Unit BERT) ยืมวัตถุประสงค์การทำนายแบบสวมหน้ากากของ BERT โดยนำไปใช้กับหน่วยคำพูดแยกกันแทนโทเค็นข้อความ
HuBERT ปรับปรุงฉลากเป้าหมายผ่านการฝึกอบรมซ้ำอย่างต่อเนื่องอย่างไร
ในการทำซ้ำในภายหลัง HuBERT จะจัดกลุ่มการนำเสนอที่เรียนรู้ของโมเดลเพื่อสร้างฉลากหลอกที่อัปเดต เอกสารไม่ได้ระบุป้ายกำกับเหล่านี้เป็นหน่วยเสียงที่ตรวจสอบแล้ว
โดยทั่วไปฟีเจอร์ใดบ้างที่จัดกลุ่มในการทำซ้ำครั้งแรกของ HuBERT
การวนซ้ำครั้งแรกจะรวมคุณสมบัติ MFCC พื้นฐานไว้ การวนซ้ำในภายหลังใช้การนำเสนอเลเยอร์ Transformer ที่สมบูรณ์ยิ่งขึ้น
เหตุใด HuBERT จึงสามารถเรียนรู้โครงสร้างที่เป็นประโยชน์ได้แม้ว่าการจัดกลุ่มจะไม่สมบูรณ์ก็ตาม
เนื่องจากวัตถุประสงค์เป็นเพียงการคาดการณ์ ID คลัสเตอร์ที่กำหนดสำหรับเฟรมที่ถูกมาสก์ งานจึงยังคงสามารถเรียนรู้ได้และสม่ำเสมอแม้จะมีคลัสเตอร์ที่มีสัญญาณรบกวนก็ตาม
เรียนรู้ต่อไป
คำแนะนำที่เกี่ยวข้อง
คำแนะนำเพิ่มเติมที่เลือกสำหรับหัวข้อนี้