Tìm kiếm ngữ nghĩa
Tìm kiếm ngữ nghĩa tìm thấy kết quả theo ý nghĩa, không chỉ từ khóa phù hợp, do đó, một truy vấn như "cách sửa vòi nước bị rò rỉ" có thể hiển thị trang có tiêu đề "sửa vòi nước nhỏ giọt". Nó hỗ trợ tìm kiếm trang web hiện đại, các bot hỗ trợ và bước truy xuất đằng sau nhiều trợ lý AI.
Lặn sâu
Tìm kiếm từ khóa truyền thống khớp chính xác với các từ bạn nhập, do đó, nó bỏ sót các từ đồng nghĩa, diễn giải và ý định. Thay vào đó, tìm kiếm ngữ nghĩa sẽ chuyển đổi cả truy vấn của bạn và mọi tài liệu thành vectơ số được gọi là phần nhúng, trong đó các văn bản có ý nghĩa tương tự nằm gần nhau trong không gian nhiều chiều. Để trả lời một truy vấn, hệ thống sẽ nhúng nó và tìm các vectơ tài liệu gần nhất, thường bằng độ tương tự cosine. Điều này cho phép "ô tô" khớp với "ô tô" và cho phép một câu hỏi mơ hồ lấy ra câu trả lời được diễn đạt chính xác. Bởi vì việc so sánh một truy vấn với hàng triệu vectơ từng cái một là chậm nên các hệ thống thực sử dụng các chỉ mục lân cận gần nhất gần đúng như HNSW để trả về các kết quả khớp gần tính bằng mili giây. Nhiều hệ thống sản xuất là sự kết hợp, pha trộn các vectơ ngữ nghĩa với việc tính điểm từ khóa cổ điển để đạt được kết quả tốt nhất cho cả hai.
Hiểu biết kỹ thuật
Hoạt động cốt lõi là sự tương tự của vectơ. Mô hình bộ mã hóa kép nhúng truy vấn và tài liệu một cách riêng biệt, sau đó công cụ xếp hạng tài liệu theo độ tương tự cosine với vectơ truy vấn. Thực hiện việc này chính xác trên hàng triệu mục là quá chậm, vì vậy cơ sở dữ liệu vectơ sử dụng thuật toán lân cận gần nhất (ANN), phổ biến nhất là HNSW, một biểu đồ có thể điều hướng tìm thấy các kết quả gần khớp trong thời gian gần đúng logarit. Một sàng lọc chung bổ sung thêm trình sắp xếp lại bộ mã hóa chéo chậm hơn để cùng đọc truy vấn và một số ứng cử viên hàng đầu để cải thiện thứ tự cuối cùng.
Tác động chiến lược
Tốc độ và tỷ lệ
Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
Truy cập và tiếp cận
Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
Quyết định rõ ràng hơn
Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
Tương lai của tìm kiếm ngữ nghĩa
Tìm kiếm ngữ nghĩa đang trở thành lớp truy xuất mặc định cho AI, đặc biệt là chữ "R" trong thế hệ tăng cường truy xuất dựa trên các chatbot trong tài liệu thực. Mong đợi các hệ thống kết hợp chặt chẽ hơn kết hợp điểm từ khóa và vectơ, tìm kiếm đa phương thức trên văn bản, hình ảnh và âm thanh trong một không gian cũng như các mô hình nhúng ngữ cảnh dài hơn để nắm bắt toàn bộ tài liệu. Chỉ mục ANN rẻ hơn, nhanh hơn và khả năng nhúng trên thiết bị sẽ thúc đẩy tìm kiếm ngữ nghĩa vào điện thoại và dữ liệu riêng tư. Các giới hạn chính là cắt giảm chi phí, cải thiện độ mới và sắp xếp lại kết quả để đoạn văn hữu ích, đáng tin cậy nhất sẽ được đưa lên hàng đầu.
Triển khai trong thế giới thực
Một trang web thương mại điện tử trả lại các sản phẩm có liên quan khi người mua hàng nhập "áo khoác ấm để đi bộ đường dài" ngay cả khi danh sách có nội dung "áo khoác leo núi cách nhiệt"
Trung tâm trợ giúp hỗ trợ khách hàng hiển thị đúng bài viết khi người dùng mô tả vấn đề bằng từ ngữ của họ
Bước truy xuất trong chatbot RAG lấy các tài liệu liên quan của công ty trước khi mô hình ngôn ngữ viết câu trả lời
Tìm kiếm một cơ sở mã lớn cho "chức năng thay đổi kích thước hình ảnh" và tìm phương pháp phù hợp ngay cả khi không có những từ chính xác đó
Rủi ro & lan can
Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Lộ trình thực hiện
Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Tiếp tục khám phá
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Semantic Search quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Hướng dẫn tiếp theo
Tìm kiếm kết hợp
Câu hỏi thường gặp
What is Semantic Search?
Tìm kiếm ngữ nghĩa tìm thấy kết quả theo ý nghĩa, không chỉ từ khóa phù hợp, do đó, một truy vấn như "cách sửa vòi nước bị rò rỉ" có thể hiển thị trang có tiêu đề "sửa vòi nước nhỏ giọt". Nó hỗ trợ tìm kiếm trang web hiện đại, các bot hỗ trợ và bước truy xuất đằng sau nhiều trợ lý AI.
Sự khác biệt chính giữa tìm kiếm ngữ nghĩa và tìm kiếm từ khóa truyền thống là gì?
Tìm kiếm ngữ nghĩa so sánh ý nghĩa của truy vấn và tài liệu thông qua các phần nhúng, do đó, nó có thể khớp các từ đồng nghĩa và diễn giải mà việc khớp từ khóa chính xác sẽ bỏ sót.
Làm thế nào để một công cụ tìm kiếm ngữ nghĩa thường đo lường mức độ phù hợp của một truy vấn với một tài liệu?
Cả truy vấn và tài liệu đều được chuyển thành vectơ và công cụ xếp hạng tài liệu theo độ tương tự của vectơ, thường là độ tương tự cosine, vì vậy các vectơ gần hơn có nghĩa là có ý nghĩa giống nhau hơn.
Tại sao hệ thống tìm kiếm ngữ nghĩa sản xuất sử dụng các chỉ mục lân cận gần nhất (ANN) như HNSW?
Việc so sánh chính xác một truy vấn với mọi vectơ có quy mô quá chậm, vì vậy các phương pháp ANN như HNSW tìm thấy các kết quả rất gần nhau trong thời gian gần như logarit, đánh đổi một chút độ chính xác để đạt được tốc độ rất lớn.
Trình sắp xếp lại bộ mã hóa chéo thêm gì vào quy trình tìm kiếm ngữ nghĩa?
Một bộ mã hóa chéo đọc truy vấn và tài liệu ứng viên cùng nhau, tạo ra điểm liên quan chính xác hơn, do đó, nó được sử dụng để sắp xếp lại một tập hợp nhỏ các kết quả hàng đầu sau khi truy xuất nhanh.
Hệ thống tìm kiếm 'hỗn hợp' là gì?
Tìm kiếm kết hợp kết hợp mức độ liên quan về ngữ nghĩa dựa trên vectơ với kết hợp từ khóa truyền thống, nắm bắt cả ý nghĩa và độ chính xác của thuật ngữ chính xác như mã sản phẩm hoặc tên.