Tiếp theoHướng dẫn tiếp theo
Mã hóa từ phụ
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Mã thông báo SentencePiece
SentencePiece là một công cụ mã thông báo bất khả tri về ngôn ngữ, học cách chia văn bản thô thành các phần từ phụ trực tiếp từ dữ liệu mà không cần dựa vào dấu cách.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
It made multilingual models far easier to build by treating any language the same way.
Lặn sâu
Hầu hết các trình tạo mã thông báo đều cho rằng các từ được phân tách bằng dấu cách, điều này sẽ bị ngắt đối với các ngôn ngữ như tiếng Nhật, tiếng Trung hoặc tiếng Thái không sử dụng chúng. SentencePiece, do Google phát hành vào năm 2018, vượt qua điều này bằng cách xử lý dữ liệu đầu vào dưới dạng luồng ký tự thô — bao gồm khoảng trắng — và học từ vựng của các đơn vị từ phụ từ chính dữ liệu đó. Nó nổi tiếng thay thế các khoảng trắng bằng một điểm đánh dấu hiển thị (ký hiệu meta giống dấu gạch dưới) để quá trình mã hóa hoàn toàn có thể đảo ngược: bạn luôn có thể xây dựng lại văn bản gốc chính xác. SentencePiece hỗ trợ hai thuật toán chính, Mã hóa cặp byte (BPE) và mô hình ngôn ngữ Unigram, mô hình sau là phương thức chữ ký của nó. Bởi vì nó không cần mã hóa trước theo ngôn ngữ cụ thể nên cùng một quy trình hoạt động trên hàng trăm ngôn ngữ, đó là lý do tại sao các mô hình như T5, ALBERT và nhiều hệ thống đa ngôn ngữ dựa vào nó.
Triển khai trong thế giới thực
Mô hình T5 của Google, sử dụng từ vựng SentencePiece được đào tạo trên văn bản web đa ngôn ngữ.
Mã thông báo văn bản tiếng Nhật hoặc tiếng Trung không có khoảng cách giữa các từ, trong đó mã thông báo dựa trên từ không thành công.
Xây dựng một từ vựng chung duy nhất trên hơn 100 ngôn ngữ cho hệ thống dịch đa ngôn ngữ.
Tái tạo lại đầu vào ban đầu một cách dễ dàng (bao gồm cả khoảng cách) từ mã thông báo, hữu ích cho việc tạo mã khi có khoảng trắng quan trọng.
Tương lai của mã thông báo SentencePiece
SentencePiece vẫn là công cụ hỗ trợ cho các mô hình mã và đa ngôn ngữ vì tính đảo ngược và tính trung lập của ngôn ngữ. Lĩnh vực này đang dần dần khám phá các phương pháp tiếp cận cấp độ byte và không có mã thông báo, bỏ qua hoàn toàn các từ vựng từ phụ, nhằm mục đích loại bỏ các vấn đề về mã thông báo gây ảnh hưởng đến số học, ngôn ngữ hiếm và số dài. Mặc dù vậy, các thiết kế Unigram và byte dự phòng của SentencePiece vẫn tiếp tục ảnh hưởng đến các mã thông báo mới hơn và triết lý đào tạo từ văn bản thô, không mất dữ liệu của nó sẽ vẫn là nền tảng cho tương lai gần.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the SentencePiece Tokenization quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
What is SentencePiece Tokenization?
SentencePiece là một công cụ mã thông báo bất khả tri về ngôn ngữ, học cách chia văn bản thô thành các phần từ phụ trực tiếp từ dữ liệu mà không cần dựa vào dấu cách. Nó làm cho việc xây dựng các mô hình đa ngôn ngữ trở nên dễ dàng hơn nhiều bằng cách xử lý bất kỳ ngôn ngữ nào theo cùng một cách.
SentencePiece tránh giả định quan trọng nào mà các công cụ mã thông báo truyền thống dựa vào?
SentencePiece xử lý thông tin đầu vào dưới dạng luồng ký tự thô, do đó, nó hoạt động ngay cả đối với các ngôn ngữ không có khoảng cách giữa các từ.
Tại sao SentencePiece thay thế dấu cách bằng ký hiệu meta hiển thị?
Mã hóa khoảng trắng dưới dạng điểm đánh dấu hiển thị có nghĩa là văn bản gốc, bao gồm cả khoảng cách, luôn có thể được xây dựng lại một cách chính xác.
SentencePiece chủ yếu hỗ trợ hai thuật toán nào?
SentencePiece cung cấp Mã hóa cặp byte (BPE) và mô hình ngôn ngữ Unigram, với Unigram là phương thức đặc trưng của nó.
Mô hình Unigram xây dựng vốn từ vựng của nó như thế nào?
Unigram bắt đầu với nhiều phần ứng cử viên và lặp đi lặp lại loại bỏ những phần đóng góp ít nhất vào khả năng của kho dữ liệu bằng cách sử dụng Tối đa hóa kỳ vọng.
Mô hình nào nổi tiếng sử dụng mã thông báo SentencePiece?
T5 của Google sử dụng từ vựng SentencePiece, ALBERT và nhiều mô hình đa ngôn ngữ cũng vậy.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này