HƯỚNG DẪN KỸ THUẬT

Whisper và Whisper.cpp nhanh hơn cho phiên âm cục bộ

Faster-Whisper và thì thầm.cpp là các thời gian chạy cộng đồng để chạy các mô hình nhận dạng giọng nói Whisper với các cân bằng triển khai và triển khai khác nhau.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của Whisper nhanh hơn và Whisper.cpp cho phiên âm cục bộ
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Họ có thể thực hiện phiên âm cục bộ trên phần cứng được hỗ trợ, nhưng tốc độ, bộ nhớ, hành vi ngôn ngữ và độ chính xác phụ thuộc vào cài đặt mô hình, lượng tử hóa và thời gian chạy.

Lặn sâu

Whisper là nhóm mô hình nhận dạng giọng nói được đào tạo cho các nhiệm vụ như phiên âm và dịch thuật đa ngôn ngữ. Faster-Whisper là một triển khai chạy các mô hình Whisper thông qua CTranslate2, trong khi thì thầm.cpp là một cổng C và C++ được thiết kế để chạy trên nhiều nền tảng. Cả hai đều nhằm mục đích làm cho suy luận hiệu quả hơn hoặc di động hơn so với thiết lập tham chiếu đơn giản, nhưng chúng thực hiện điều đó thông qua các nhóm phần mềm khác nhau. Việc thực thi cục bộ có thể giảm nhu cầu tải âm thanh lên dịch vụ bên ngoài và có thể trợ giúp xử lý ngoại tuyến. Điều đó cũng có nghĩa là nhà điều hành quản lý việc tải xuống mô hình, bộ nhớ, các phần phụ thuộc trong thời gian chạy và khả năng tương thích phần cứng. Tệp mô hình có thể chiếm dung lượng ổ đĩa đáng kể và tốc độ suy luận phụ thuộc vào kích thước mô hình, CPU hoặc GPU, khả năng tăng tốc, phân khối, lượng tử hóa và độ dài âm thanh được hỗ trợ. Lượng tử hóa có thể làm giảm bộ nhớ hoặc cải thiện thông lượng nhưng có thể ảnh hưởng đến chất lượng phiên âm; đo lường sự đánh đổi thay vì cho rằng nó không đáng kể. Thời gian chạy có thể khác nhau về cài đặt, chuyển đổi mô hình được hỗ trợ, phụ trợ thiết bị, hành vi phát trực tuyến và tùy chọn giải mã. Hỗ trợ tính năng ngày càng phát triển, vì vậy hãy kiểm tra tài liệu hiện tại để biết phiên bản và phần cứng chính xác. Điểm chuẩn chỉ có ý nghĩa nếu nó đặt tên cho kiểu máy, độ chính xác, cài đặt chùm tia hoặc giải mã, thời lượng đầu vào, thiết bị và bộ đánh giá. Hiệu suất thời gian thực trên một clip ngắn rõ ràng không dự đoán được các bản ghi dài có loa chồng chéo hoặc tiếng ồn. Whisper tạo ra văn bản vẫn cần xem xét. Danh từ riêng, từ vựng chuyên ngành, trọng âm, giọng nói nền và người nói chồng chéo có thể gây ra lỗi. Cần kiểm tra bản ghi khi có sai sót ảnh hưởng đến quyết định, hồ sơ hoặc trích dẫn. Tỷ lệ lỗi từ có thể so sánh các giả thuyết với tài liệu tham khảo, nhưng tính hữu ích của nó phụ thuộc vào quy ước chuẩn hóa và dữ liệu thử nghiệm đại diện. Chạy cục bộ không tự động riêng tư hoặc tuân thủ. Xác minh nơi lưu trữ âm thanh và mô hình, liệu nhật ký có giữ lại nội dung hay không, ai có thể truy cập tệp cũng như các yêu cầu hiện hành về sự đồng ý và lưu giữ. Luôn ghim các phiên bản mô hình và thời gian chạy, đồng thời bao gồm đánh giá của con người khi độ chính xác của bản ghi là vấn đề quan trọng.

Triển khai trong thế giới thực

Một nhà báo ghi lại các cuộc phỏng vấn trên máy trạm mà không gửi bản ghi âm đến một dịch vụ được lưu trữ trên máy chủ, sau đó xem xét tên và thuật ngữ kỹ thuật theo cách thủ công.

Nhà phát triển đánh giá Faster-Whisper trên GPU tương thích và Whisper.cpp trên CPU máy tính xách tay bằng cách sử dụng cùng cài đặt chất lượng mô hình và âm thanh.

Nhóm quan tâm đến quyền riêng tư sẽ kiểm tra việc cấp phép mô hình, hoạt động của bộ nhớ đệm cục bộ và phép đo từ xa trước khi xử lý các bản ghi nhạy cảm.

Một kỹ sư so sánh các biến thể mô hình lượng tử hóa và độ chính xác đầy đủ trên một bộ đánh giá đại diện, bao gồm tỷ lệ lỗi từ và mức sử dụng bộ nhớ.

Tương lai của Whisper nhanh hơn và Whisper.cpp cho phiên âm cục bộ

Thời gian chạy giọng nói cục bộ sẽ tiếp tục được hưởng lợi từ bộ xử lý nhanh hơn, hạt nhân được tối ưu hóa và biểu diễn mô hình nhỏ hơn. Điều đó có thể mở rộng việc sử dụng ngoại tuyến trên các thiết bị cá nhân và phần cứng biên, trong khi các dự án khác nhau phát triển với tốc độ khác nhau. Người dùng nên mong đợi sự hỗ trợ và hiệu suất sẽ thay đổi tùy theo nền tảng và bản phát hành. Việc triển khai thực tế sẽ giúp cân bằng tốc độ, độ chính xác, dung lượng lưu trữ mô hình, ngân sách pin hoặc bộ nhớ, kiểm soát quyền riêng tư và đánh giá của con người đối với nội dung dễ xảy ra lỗi. Kiểm tra khả năng tương thích nên được lặp lại sau khi chạy hoặc thay đổi phần cứng. Lặp lại điểm chuẩn sau khi nâng cấp.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Faster-Whisper and Whisper.cpp for Local Transcription quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Faster-Whisper và Whisper.cpp dành cho phiên âm cục bộ là gì?

Faster-Whisper và thì thầm.cpp là các thời gian chạy cộng đồng để chạy các mô hình nhận dạng giọng nói Whisper với các cân bằng triển khai và triển khai khác nhau. Họ có thể thực hiện phiên âm cục bộ trên phần cứng được hỗ trợ, nhưng tốc độ, bộ nhớ, hành vi ngôn ngữ và độ chính xác phụ thuộc vào cài đặt mô hình, lượng tử hóa và thời gian chạy.

Công cụ suy luận nào được Faster-Whisper sử dụng theo mô tả dự án của nó?

Faster-Whisper thực hiện suy luận Whisper bằng CTranslate2.

Lượng tử hóa có thể đánh đổi điều gì để giảm bộ nhớ hoặc suy luận nhanh hơn?

Lượng tử hóa làm thay đổi độ chính xác của số và có thể ảnh hưởng đến chất lượng đầu ra.

Tại sao việc so sánh tốc độ thô giữa các thời gian chạy thường gây hiểu lầm?

Các điều kiện chuẩn xác định thông lượng đo được và phải có thể so sánh được.

Tỷ lệ lỗi từ yêu cầu gì để đánh giá có ý nghĩa?

WER so sánh các từ được nhận dạng với các tham chiếu, vì vậy các quy ước về mã thông báo và chuẩn hóa rất quan trọng.

Suy luận cục bộ có tự động đảm bảo tuân thủ quyền riêng tư không?

Quá trình xử lý cục bộ làm thay đổi luồng dữ liệu nhưng không giải quyết được tất cả các yêu cầu về quyền riêng tư và quản trị.