Tiếp theoHướng dẫn tiếp theo
Đầu cảm ứng trong máy biến áp
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
Máy biến áp
Máy biến áp là một kiến trúc mạng thần kinh sử dụng sự chú ý để kết hợp thông tin trên một chuỗi.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
Trên trang nàyĐọc trong 2 phút
Tổng quan
Nó làm nền tảng cho nhiều mô hình ngôn ngữ và đa phương thức. Kiến trúc cung cấp một cách để xử lý các biểu diễn; bản thân nó không thiết lập tính xác thực, sự hiểu biết hoặc hành vi an toàn.
Những điểm chính rút ra
- Sự chú ý kết hợp thông tin giữa các vị trí.
- Các biến thể kiến trúc phục vụ các mục tiêu đào tạo khác nhau.
- Khả năng ngữ cảnh dài cần thử nghiệm theo nhiệm vụ cụ thể.
Lặn sâu
Sự chú ý tính toán lượng thông tin mà một vị trí nên lấy từ các vị trí khác. Trong một công thức chung, các phép chiếu đã học sẽ tạo ra các truy vấn, khóa và giá trị. So sánh khóa truy vấn xác định trọng số được sử dụng để kết hợp các giá trị. Nhiều đầu chú ý cho phép một số kết hợp như vậy trong một lớp. Lớp biến áp cũng bao gồm các hoạt động khác, chẳng hạn như mạng chuyển tiếp nguồn cấp dữ liệu, chuẩn hóa và các kết nối dư. Thông tin vị trí là cần thiết vì thứ tự của các từ hoặc các thành phần trình tự khác rất quan trọng. Việc triển khai cụ thể khác nhau ở cách chúng thể hiện vị trí và sắp xếp các hoạt động này. Máy biến áp nguyên bản năm 2017 sử dụng thiết kế bộ mã hóa-giải mã để dịch. Các mô hình sau này sử dụng các sắp xếp chỉ bộ mã hóa, chỉ bộ giải mã hoặc bộ giải mã-bộ mã hóa cho các mục tiêu khác nhau. Mô hình ngôn ngữ nhân quả ngăn không cho một vị trí tham dự vào các mã thông báo trong tương lai trong quá trình dự đoán mã thông báo tiếp theo. Ràng buộc đó khác với việc xử lý hai chiều một đầu vào hoàn chỉnh. Sự chú ý qua các chuỗi dài có thể tốn kém về mặt tính toán. Các hệ thống thực tế sử dụng nhiều cách tối ưu hóa khác nhau, nhưng giới hạn ngữ cảnh được quảng cáo không chứng minh rằng mô hình sử dụng mọi phần của tài liệu dài một cách đáng tin cậy. Kiểm tra việc truy xuất, lý luận và hướng dẫn theo độ dài thực tế mà ứng dụng của bạn cần.
04Ví dụ hoạt động
Theo dõi một tài liệu tham khảo thông qua ngữ cảnh
Hãy xem xét đoạn văn được phát minh “Robot di chuyển cái thùng vì nó đang chặn lối vào”.
Từ “nó” có thể yêu cầu ngữ cảnh để giải quyết. Một cơ chế chú ý có thể kết hợp thông tin từ các vị trí khác trong khi tính toán biểu diễn.
Thay đổi câu thành “Robot đã di chuyển thùng vì nó cần được sạc”. Kiểm tra cách giải thích của mô hình hoàn chỉnh thay vì giả sử sơ đồ chú ý chứng minh độ phân giải tham chiếu chính xác.
Những gì nó cho thấy
Ví dụ này minh họa việc xử lý theo ngữ cảnh mà không khẳng định rằng mọi máy biến áp đều giải quyết sự mơ hồ một cách chính xác.
Triển khai trong thế giới thực
Mã hóa tài liệu để phân loại.
Tạo một mã thông báo phản hồi tại một thời điểm bằng cách sử dụng sự chú ý nhân quả.
Đưa nó vào thực tế
Tại sao nó quan trọng
- Tốc độ và tỷ lệ. Quy trình công việc ngôn ngữ có thể di chuyển nhanh hơn mà không làm mất tính nhất quán.
- Truy cập và tiếp cận. Nó mở rộng quyền truy cập vào các ngôn ngữ và phong cách giao tiếp.
- Quyết định rõ ràng hơn. Các nhóm có thể dành nhiều thời gian hơn để đánh giá trong khi quá trình tự động hóa xử lý sự lặp lại.
coi chừng
- Sự thật ảo giác có thể lặng lẽ đi vào báo cáo, luồng hỗ trợ hoặc kết quả nghiên cứu.
- Sự nhạy cảm kịp thời có thể tạo ra kết quả không nhất quán đối với các yêu cầu tương tự.
- Dữ liệu văn bản nhạy cảm có thể bị lộ nếu khả năng kiểm soát quyền truy cập yếu.
Các bước tiếp theo
- Xác định định dạng đầu ra, âm thanh và tiêu chuẩn chất lượng trước khi triển khai.
- Phản hồi mặt đất với các nguồn đáng tin cậy bất cứ khi nào độ chính xác quan trọng.
- Duy trì điểm kiểm tra đánh giá của con người đối với các kết quả đầu ra có mức độ rủi ro cao.
- Theo dõi các kiểu lỗi và đào tạo lại các lời nhắc hoặc quy trình làm việc thường xuyên.
Nguồn tham khảo và đọc thêm
- Vaswani and colleaguesSự chú ý là tất cả những gì bạn cần
Tiếp tục khám phá
Bản tin miễn phí
Nhận bản tóm tắt AI hàng ngày
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Take the Transformers quiz
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Câu hỏi thường gặp
Có phải tất cả các chatbot của máy biến áp đều là chatbot?
Không. Máy biến áp có thể hỗ trợ phân loại, dịch thuật, truy xuất, hình ảnh, âm thanh và các nhiệm vụ khác; chatbot là một ứng dụng được xây dựng dựa trên các mô hình và hệ thống bổ sung.
Tiếp tục học hỏi
Hướng dẫn liên quan
Đã chọn thêm hướng dẫn cho chủ đề này