Tiếp theoHướng dẫn tiếp theo
Yếu tố ngoại lệ cục bộ
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Faster-Whisper và thì thầm.cpp là các thời gian chạy cộng đồng để chạy các mô hình nhận dạng giọng nói Whisper với các cân bằng triển khai và triển khai khác nhau.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Họ có thể thực hiện phiên âm cục bộ trên phần cứng được hỗ trợ, nhưng tốc độ, bộ nhớ, hành vi ngôn ngữ và độ chính xác phụ thuộc vào cài đặt mô hình, lượng tử hóa và thời gian chạy.
Whisper là nhóm mô hình nhận dạng giọng nói được đào tạo cho các nhiệm vụ như phiên âm và dịch thuật đa ngôn ngữ. Faster-Whisper là một triển khai chạy các mô hình Whisper thông qua CTranslate2, trong khi thì thầm.cpp là một cổng C và C++ được thiết kế để chạy trên nhiều nền tảng. Cả hai đều nhằm mục đích làm cho suy luận hiệu quả hơn hoặc di động hơn so với thiết lập tham chiếu đơn giản, nhưng chúng thực hiện điều đó thông qua các nhóm phần mềm khác nhau. Việc thực thi cục bộ có thể giảm nhu cầu tải âm thanh lên dịch vụ bên ngoài và có thể trợ giúp xử lý ngoại tuyến. Điều đó cũng có nghĩa là nhà điều hành quản lý việc tải xuống mô hình, bộ nhớ, các phần phụ thuộc trong thời gian chạy và khả năng tương thích phần cứng. Tệp mô hình có thể chiếm dung lượng ổ đĩa đáng kể và tốc độ suy luận phụ thuộc vào kích thước mô hình, CPU hoặc GPU, khả năng tăng tốc, phân khối, lượng tử hóa và độ dài âm thanh được hỗ trợ. Lượng tử hóa có thể làm giảm bộ nhớ hoặc cải thiện thông lượng nhưng có thể ảnh hưởng đến chất lượng phiên âm; đo lường sự đánh đổi thay vì cho rằng nó không đáng kể. Thời gian chạy có thể khác nhau về cài đặt, chuyển đổi mô hình được hỗ trợ, phụ trợ thiết bị, hành vi phát trực tuyến và tùy chọn giải mã. Hỗ trợ tính năng ngày càng phát triển, vì vậy hãy kiểm tra tài liệu hiện tại để biết phiên bản và phần cứng chính xác. Điểm chuẩn chỉ có ý nghĩa nếu nó đặt tên cho kiểu máy, độ chính xác, cài đặt chùm tia hoặc giải mã, thời lượng đầu vào, thiết bị và bộ đánh giá. Hiệu suất thời gian thực trên một clip ngắn rõ ràng không dự đoán được các bản ghi dài có loa chồng chéo hoặc tiếng ồn. Whisper tạo ra văn bản vẫn cần xem xét. Danh từ riêng, từ vựng chuyên ngành, trọng âm, giọng nói nền và người nói chồng chéo có thể gây ra lỗi. Cần kiểm tra bản ghi khi có sai sót ảnh hưởng đến quyết định, hồ sơ hoặc trích dẫn. Tỷ lệ lỗi từ có thể so sánh các giả thuyết với tài liệu tham khảo, nhưng tính hữu ích của nó phụ thuộc vào quy ước chuẩn hóa và dữ liệu thử nghiệm đại diện. Chạy cục bộ không tự động riêng tư hoặc tuân thủ. Xác minh nơi lưu trữ âm thanh và mô hình, liệu nhật ký có giữ lại nội dung hay không, ai có thể truy cập tệp cũng như các yêu cầu hiện hành về sự đồng ý và lưu giữ. Luôn ghim các phiên bản mô hình và thời gian chạy, đồng thời bao gồm đánh giá của con người khi độ chính xác của bản ghi là vấn đề quan trọng.
Một nhà báo ghi lại các cuộc phỏng vấn trên máy trạm mà không gửi bản ghi âm đến một dịch vụ được lưu trữ trên máy chủ, sau đó xem xét tên và thuật ngữ kỹ thuật theo cách thủ công.
Nhà phát triển đánh giá Faster-Whisper trên GPU tương thích và Whisper.cpp trên CPU máy tính xách tay bằng cách sử dụng cùng cài đặt chất lượng mô hình và âm thanh.
Nhóm quan tâm đến quyền riêng tư sẽ kiểm tra việc cấp phép mô hình, hoạt động của bộ nhớ đệm cục bộ và phép đo từ xa trước khi xử lý các bản ghi nhạy cảm.
Một kỹ sư so sánh các biến thể mô hình lượng tử hóa và độ chính xác đầy đủ trên một bộ đánh giá đại diện, bao gồm tỷ lệ lỗi từ và mức sử dụng bộ nhớ.
Thời gian chạy giọng nói cục bộ sẽ tiếp tục được hưởng lợi từ bộ xử lý nhanh hơn, hạt nhân được tối ưu hóa và biểu diễn mô hình nhỏ hơn. Điều đó có thể mở rộng việc sử dụng ngoại tuyến trên các thiết bị cá nhân và phần cứng biên, trong khi các dự án khác nhau phát triển với tốc độ khác nhau. Người dùng nên mong đợi sự hỗ trợ và hiệu suất sẽ thay đổi tùy theo nền tảng và bản phát hành. Việc triển khai thực tế sẽ giúp cân bằng tốc độ, độ chính xác, dung lượng lưu trữ mô hình, ngân sách pin hoặc bộ nhớ, kiểm soát quyền riêng tư và đánh giá của con người đối với nội dung dễ xảy ra lỗi. Kiểm tra khả năng tương thích nên được lặp lại sau khi chạy hoặc thay đổi phần cứng. Lặp lại điểm chuẩn sau khi nâng cấp.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Faster-Whisper và thì thầm.cpp là các thời gian chạy cộng đồng để chạy các mô hình nhận dạng giọng nói Whisper với các cân bằng triển khai và triển khai khác nhau. Họ có thể thực hiện phiên âm cục bộ trên phần cứng được hỗ trợ, nhưng tốc độ, bộ nhớ, hành vi ngôn ngữ và độ chính xác phụ thuộc vào cài đặt mô hình, lượng tử hóa và thời gian chạy.
Faster-Whisper thực hiện suy luận Whisper bằng CTranslate2.
Lượng tử hóa làm thay đổi độ chính xác của số và có thể ảnh hưởng đến chất lượng đầu ra.
Các điều kiện chuẩn xác định thông lượng đo được và phải có thể so sánh được.
WER so sánh các từ được nhận dạng với các tham chiếu, vì vậy các quy ước về mã thông báo và chuẩn hóa rất quan trọng.
Quá trình xử lý cục bộ làm thay đổi luồng dữ liệu nhưng không giải quyết được tất cả các yêu cầu về quyền riêng tư và quản trị.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Yếu tố ngoại lệ cục bộ
kỹ thuật