Tiếp theoHướng dẫn tiếp theo
Số liệu đánh giá ROUGE và BLEU
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
BERTScore và đánh giá ngữ nghĩa
BERTScore đo lường mức độ phù hợp của văn bản do máy tạo với tham chiếu bằng cách so sánh ý nghĩa chứ không phải các từ chính xác.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó khắc phục một điểm mù cốt lõi của các chỉ số cũ trừng phạt những cách diễn giải hợp lệ.
Lặn sâu
BERTScore đánh giá văn bản được tạo (bản dịch, tóm tắt, chú thích) bằng cách nhúng mọi mã thông báo với mô hình theo ngữ cảnh như BERT hoặc RoBERTa, sau đó khớp mã thông báo ứng cử viên với mã thông báo tham chiếu bằng độ tương tự cosine. Các số liệu cũ hơn như BLEU và ROUGE tính số n-gram chồng chéo nhau, do đó, 'con mèo nằm trên tấm thảm' và 'con mèo ngồi trên tấm thảm' có điểm gần bằng 0 mặc dù có ý nghĩa giống nhau. Thay vào đó, BERTScore tính toán việc so khớp mã thông báo tham lam, sau đó tổng hợp thành độ chính xác, thu hồi và F1. Bởi vì các từ nhúng có tính chất ngữ cảnh nên cùng một từ trong các câu khác nhau sẽ có các vectơ khác nhau, nắm bắt được sắc thái. Nó tương quan tốt hơn nhiều với các đánh giá của con người về chất lượng, đặc biệt là đối với các cách diễn giải trôi chảy, đó là lý do tại sao nó trở thành một công cụ đánh giá ngữ nghĩa tiêu chuẩn sau khi được giới thiệu vào năm 2019.
Triển khai trong thế giới thực
Tính điểm các hệ thống dịch máy trong đó cách diễn đạt hợp lệ khác nhau, do đó BLEU phạt một cách không công bằng những cách diễn giải đúng
Đánh giá các bản tóm tắt trừu tượng trình bày lại nội dung nguồn bằng từ mới thay vì sao chép cụm từ
Đo điểm chuẩn cho các mô hình chú thích hình ảnh trong đó có nhiều chú thích trôi chảy mô tả cùng một bức ảnh
So sánh phản hồi của chatbot hoặc QA với câu trả lời vàng khi cách diễn đạt khác nhau nhưng ý nghĩa giống hệt nhau
Tương lai của BERTScore và đánh giá ngữ nghĩa
Đánh giá ngữ nghĩa đang chuyển sang các đánh giá dựa trên LLM và có học thức để đánh giá tính xác thực, mạch lạc và hữu ích ngoài sự tương đồng về mã thông báo. BERTScore vẫn là một đường cơ sở nhanh, có thể tái tạo, nhưng các phương pháp tiếp cận mới hơn như BLEURT, COMET và 'LLM-as-thẩm phán' nắm bắt được các đặc tính mà BERTScore bỏ sót, chẳng hạn như các sự kiện ảo giác. Mong đợi các quy trình kết hợp: các số liệu nhúng giá rẻ để sàng lọc trên quy mô lớn, với các đánh giá dựa trên mô hình đắt tiền hơn dành riêng cho đánh giá cuối cùng, có mức đặt cược cao.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Chi phí và ngân sách. Các quyết định về kiến trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
- Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
- Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.
coi chừng
- Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
- Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
- Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.
Các bước tiếp theo
- Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
- Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
- Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
- Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the BERTScore and Semantic Evaluation quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
BERTScore và Đánh giá Ngữ nghĩa là gì?
BERTScore đo lường mức độ phù hợp của văn bản do máy tạo với tham chiếu bằng cách so sánh ý nghĩa chứ không phải các từ chính xác. Nó khắc phục điểm mù cốt lõi của các số liệu cũ hơn khiến các cách diễn giải hợp lệ bị trừng phạt.
BERTScore giải quyết điểm yếu cốt lõi nào của BLEU và ROUGE?
BLEU và ROUGE có số lượng n-gram trùng nhau, do đó, các cách diễn giải giữ nguyên ý nghĩa với các từ khác nhau sẽ bị điểm kém ngay cả khi đúng.
BERTScore quyết định hai token giống nhau như thế nào?
BERTScore nhúng các mã thông báo với một mô hình như BERT và so sánh chúng bằng cách sử dụng độ tương tự cosine trong không gian vectơ.
Việc nhúng BERTScore là 'theo ngữ cảnh' có nghĩa là gì?
Các mô hình theo ngữ cảnh tạo ra các cách nhúng khác nhau cho cùng một từ trong các ngữ cảnh khác nhau, nắm bắt được sắc thái ý nghĩa.
BERTScore thường báo cáo ba giá trị nào?
BERTScore tổng hợp kết quả khớp mã thông báo thành độ chính xác, mức thu hồi và điểm F1 tổng hợp.
Mục đích của việc tính trọng số IDF tùy chọn trong BERTScore là gì?
Tần suất tài liệu nghịch đảo làm giảm ảnh hưởng của những từ thường gặp như 'the' vốn mang ít ý nghĩa.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này