HƯỚNG DẪN AI về ngôn ngữ

Phân loại văn bản

Phân loại văn bản tự động sắp xếp các đoạn văn bản thành các danh mục, chẳng hạn như gắn thẻ email là thư rác hoặc đánh giá là tích cực.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của phân loại văn bản
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

It is one of the most widely deployed NLP tasks because it turns messy free text into structured labels a system can act on.

Lặn sâu

Text classification assigns categories to documents, messages, or other text sequences. Binary classification selects between two labels, such as spam and not spam. Multi-class classification assigns exactly one category from a larger set, while multi-label classification permits several categories for the same example. An article can carry both politics and economy tags without requiring those topics to exclude each other. Sentiment and intent can also be classification targets when the task defines their labels. Representations differ across systems: sparse word-count features and dense learned embeddings are two possibilities. A classifier converts those features into scores associated with the defined labels. Evaluation should match the intended decisions. Accuracy is the fraction of correct predictions, but it can conceal failures on a rare category. If almost every message is ordinary, always predicting ordinary can score highly while missing every relevant spam case. Recall for a designated positive class is true positives divided by all actual positives. Precision instead divides true positives by all predicted positives. In an illustrative evaluation with six true positives and two false positives, precision is six divided by eight, or 75 percent. Those quantities answer different questions. A model can have a useful recall yet flag many irrelevant messages. A further distinction concerns output scores: single-label softmax scores sum to one across mutually exclusive alternatives, whereas a separate sigmoid score for each label permits several labels to score highly together. Neither transformation alone establishes that scores are calibrated estimates of real-world frequency.

Triển khai trong thế giới thực

Nhà cung cấp dịch vụ email lọc thư rác và thư lừa đảo ra khỏi hộp thư đến của bạn.

Các thương hiệu chạy phân tích cảm xúc về đánh giá sản phẩm và bài đăng trên mạng xã hội để đánh giá tâm trạng của khách hàng.

Bộ phận hỗ trợ tự động định tuyến các phiếu yêu cầu đến đúng nhóm dựa trên nội dung tin nhắn.

Các nền tảng xã hội gắn cờ lời nói căm thù hoặc bình luận độc hại để xem xét kiểm duyệt.

Tương lai của phân loại văn bản

Label descriptions and examples can make it easier to explore a new classification task, but they do not establish consistent performance across domains. Comparing sparse models, dense encoders, and prompted language models can reveal different accuracy, latency, and maintenance tradeoffs. For operational use, evaluation should include rare classes and the consequences of missed or incorrect labels. Changes in language and input sources can also change those results. Report per-class precision and recall where relevant, and assess output calibration separately from the act of assigning a category.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Text Classification quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

What is Text Classification?

Phân loại văn bản tự động sắp xếp các đoạn văn bản thành các danh mục, chẳng hạn như gắn thẻ email là thư rác hoặc đánh giá là tích cực. Đây là một trong những nhiệm vụ NLP được triển khai rộng rãi nhất vì nó biến văn bản tự do lộn xộn thành các nhãn có cấu trúc mà hệ thống có thể hoạt động.

Trình phân loại văn bản cấu trúc đầu ra cho tài liệu đầu vào như thế nào?

The output associates the text with the categories defined by the task.

Kịch bản nào là ví dụ về phân loại nhiều nhãn?

Phân loại nhiều nhãn cho phép áp dụng đồng thời nhiều danh mục cho cùng một mặt hàng.

Trên một tập dữ liệu văn bản bị chi phối bởi một lớp, độ chính xác tổng thể cao có thể che giấu điều gì?

Predicting the majority class can yield high accuracy while missing all rare positives, so category-specific evaluation matters.

Biện pháp thu hồi trong một nhiệm vụ phân loại là gì?

Thu hồi là tỷ lệ các trường hợp dương tính thực sự mà hệ thống đã xác định chính xác, ghi lại số lượng trường hợp đã bỏ sót.

Trong phân loại văn bản zero-shot dành riêng cho nhiệm vụ, nhiệm vụ phân loại mới còn thiếu điều gì?

A zero-shot model can be pretrained or trained on other tasks; the absence concerns task-specific labeled examples.