HƯỚNG DẪN AI về ngôn ngữ

Gắn thẻ một phần của bài phát biểu

Việc gắn thẻ phần lời nói sẽ gán các danh mục ngữ pháp như danh từ, động từ hoặc tính từ cho các mã thông báo trong ngữ cảnh.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyĐọc trong 3 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc gắn thẻ một phần lời nói
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Các chú thích này giúp mô tả cấu trúc ngôn ngữ, đồng thời chúng khác với cả danh mục tài liệu và quan hệ phụ thuộc.

Lặn sâu

Một từ có thể thuộc các loại ngữ pháp khác nhau tùy thuộc vào cách sử dụng nó. Sách là một danh từ trong đọc sách và là động từ trong sách chuyến bay. Do đó, trình gắn thẻ sử dụng ngữ cảnh thay vì giả định rằng mục từ điển xác định một thẻ cố định. Đơn vị liên quan là mã thông báo và quy ước chú thích đã chọn sẽ ảnh hưởng đến nội dung được tính là danh mục. Tác phẩm tiếng Anh thường sử dụng thẻ Penn Treebank. Bộ cốt lõi của nó chứa 36 thẻ phần lời nói, với các thẻ dấu câu bổ sung cũng được sử dụng trong chú thích. NN biểu thị một danh từ số ít hoặc đại chúng, JJ là tính từ và VBD là động từ ở thì quá khứ. Thẻ chi tiết phân biệt các thuộc tính ngôn ngữ mà khoảng không quảng cáo thô hơn có thể trình bày riêng biệt. Phụ thuộc phổ quát phiên bản 2 xác định 17 danh mục POS phổ quát, bao gồm DANH SÁCH, ĐỘNG TỪ, ADJ và PUNCT, cho khung chú thích được chia sẻ. Các tính năng bổ sung của nó có thể thể hiện các thuộc tính ngoài danh mục cốt lõi. Các loại POS cũng cần được phân biệt với các mối quan hệ phụ thuộc. NOUN mô tả một phạm trù từ, trong khi nsubj mô tả mối quan hệ chủ ngữ danh nghĩa với phần đầu cú pháp. Danh từ không tự động là chủ ngữ của mọi câu mà nó xuất hiện. Trình gắn thẻ mô hình Markov ẩn cổ điển coi thẻ là trạng thái ẩn và các từ là quan sát. Họ chấm điểm chuỗi thẻ bằng cách sử dụng chuyển tiếp giữa các thẻ và phát ra các từ được gắn thẻ. Thay vào đó, người gắn thẻ thần kinh có thể tìm hiểu các biểu diễn theo ngữ cảnh và dự đoán các danh mục mã thông báo. Cả hai cách tiếp cận đều yêu cầu đánh giá dựa trên tập thẻ và tập dữ liệu đã được xác định; tuyên bố về độ chính xác đối với văn bản sạch không được chỉ định không phải là kết quả chung.

Triển khai trong thế giới thực

So sánh thể loại sách trong việc đọc sách và đặt chuyến bay.

Kiểm tra các chú thích Penn Treebank NN, VBD và JJ trong văn bản tiếng Anh.

Thêm tính năng POS vào thử nghiệm nhận dạng thực thể được đặt tên.

So sánh các danh mục từ Phụ thuộc phổ quát với các nhãn quan hệ cú pháp.

Tương lai của việc gắn thẻ một phần lời nói

Nghiên cứu gắn thẻ có thể đánh giá các ngôn ngữ, đăng ký, quy ước mã thông báo và kho lưu trữ chú thích khác nhau. Một mô hình được đánh giá trên tiếng Anh đã được chỉnh sửa có thể hoạt động khác nhau đối với các tin nhắn không chính thức hoặc một kho ngữ liệu chuyên biệt. Các so sánh sẽ xác định xem họ sử dụng thẻ Penn chi tiết hay danh mục phổ quát và giải thích dữ liệu được đưa ra. Các chú thích rõ ràng có thể vẫn hữu ích cho việc phân tích ngôn ngữ và các quy trình nhỏ hơn ngay cả khi một hệ thống khác học ngầm cấu trúc. Độ chính xác, khả năng truy cập ngữ cảnh và chi phí tính toán là các phép đo riêng biệt và kết quả tốt trên một điểm chuẩn không giải quyết được hiệu suất gắn thẻ trong mọi cài đặt.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
  • Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
  • Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.

coi chừng

  • Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
  • Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
  • Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.

Các bước tiếp theo

  1. Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
  2. Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
  3. Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
  4. Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Làm bài kiểm tra gắn thẻ phần của bài phát biểu

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Gắn thẻ một phần của bài phát biểu là gì?

Việc gắn thẻ phần lời nói sẽ gán các danh mục ngữ pháp như danh từ, động từ hoặc tính từ cho các mã thông báo trong ngữ cảnh. Các chú thích này giúp mô tả cấu trúc ngôn ngữ, đồng thời chúng khác với cả danh mục tài liệu và quan hệ phụ thuộc.

Việc gắn thẻ POS chỉ định loại chú thích nào cho mã thông báo trong ngữ cảnh?

Các danh mục POS mô tả các lớp từ ngữ pháp hơn là các chủ đề tài liệu hoặc nhận dạng thực thể.

Tại sao ngữ cảnh lại cần thiết cho việc gắn thẻ POS?

Những từ như “book” có thể là danh từ hoặc động từ nên cần có những từ xung quanh để chọn đúng thẻ.

Làm cách nào để phân biệt khoảng không quảng cáo POS cốt lõi của Penn Treebank với các chú thích dấu câu bổ sung?

Sách giáo khoa liệt kê 36 thẻ phần lời nói cốt lõi và ghi chú các chú thích dấu câu riêng biệt.

Xác suất nào mà trình gắn thẻ HMM POS cổ điển kết hợp khi tính điểm cho chuỗi thẻ?

Quá trình chuyển đổi HMM liên quan đến chuỗi thẻ; mô hình phát thải quan sát các từ có điều kiện trên các thẻ ẩn.

Trong quy ước POS của Penn Treebank, VBD đánh dấu thuộc tính ngữ pháp nào?

VBD là thẻ Penn cho động từ thì quá khứ, trong khi NN và JJ xác định các danh mục khác nhau.