Khái niệm cơ bản về NLP

Văn bản phải được thể hiện dưới dạng mà hệ thống tính toán có thể xử lý. Mã thông báo chia nó thành các đơn vị như từ hoặc phần từ; biểu diễn số sau đó hỗ trợ các quy tắc, mô hình thống kê hoặc mạng lưới thần kinh. Ranh giới mã thông báo là một lựa chọn mô hình hóa và không phải lúc nào cũng phù hợp với những gì người đọc coi là một từ. Một số tác vụ trả về nhãn cho toàn bộ tài liệu. Những người khác xác định các nhịp bên trong nó hoặc tạo ra một chuỗi mới. Do đó, trình phân loại tình cảm, trình nhận dạng thực thể và trình tóm tắt sẽ giải quyết các vấn đề khác nhau ngay cả khi tất cả đều sử dụng cùng một mô hình ngôn ngữ cơ bản. Bối cảnh quan trọng. Ý nghĩa của một từ có thể thay đổi tùy theo câu, lĩnh vực và cộng đồng. Phủ định, tham chiếu mơ hồ, mỉa mai, biến thể chính tả và ngôn ngữ hỗn hợp có thể thách thức một hệ thống có vẻ chính xác trên các ví dụ gọn gàng. Xây dựng tài liệu đánh giá từ các điều kiện mà ứng dụng thực sự gặp phải. Một ứng dụng NLP đang hoạt động cũng cần các quy tắc về độ dài đầu vào, ranh giới tài liệu và độ không chắc chắn. Kiểm tra xem việc cắt bớt có âm thầm loại bỏ các phần quan trọng hay không. Giữ nguyên đoạn gốc bên cạnh thông tin được trích xuất để người đọc có thể xác nhận kết quả. So sánh với một quy tắc đơn giản hoặc đường cơ sở từ khóa khi nhiệm vụ đủ hẹp cho một quy tắc.