Tiếp theoHướng dẫn tiếp theo
Trích xuất quan hệ từ văn bản
Ngôn ngữ AI
HƯỚNG DẪN AI về ngôn ngữ
T5 (Biến áp chuyển văn bản thành văn bản), từ Google vào năm 2019, điều chỉnh lại mọi nhiệm vụ NLP, dịch thuật, tóm tắt, phân loại, thậm chí hồi quy, khi nhập văn bản và đưa văn bản ra ngoài.
Nghe hướng dẫn nàyAI thuật lại · ~2 min
This single unified format lets one model and one training recipe handle dozens of tasks.
Ý tưởng trọng tâm của T5 là bất kỳ tác vụ ngôn ngữ nào cũng có thể được chuyển thành văn bản thành văn bản: đầu vào là một chuỗi có tiền tố tác vụ và đầu ra luôn là một chuỗi. Bản dịch trở thành 'dịch tiếng Anh sang tiếng Đức: ...' tạo ra văn bản tiếng Đức; tình cảm trở thành 'câu sst2: ...' tạo ra từ theo nghĩa đen là 'tích cực' hoặc 'tiêu cực'. Nó sử dụng Transformer mã hóa-giải mã đầy đủ, không giống như BERT chỉ có bộ mã hóa hoặc GPT chỉ có bộ giải mã. T5 đã được huấn luyện trước trên kho dữ liệu C4 (Colossal Clean Crawled Corpus, ~750GB văn bản web đã được làm sạch) với mục tiêu giảm phạm vi: các khoảng mã thông báo ngẫu nhiên được che dấu và thay thế bằng mã thông báo trọng điểm, đồng thời mô hình sẽ học cách tạo ra các khoảng bị thiếu. Nghiên cứu đi kèm đã so sánh một cách có hệ thống các kiến trúc, mục tiêu và kích thước tập dữ liệu để tìm ra cách chuyển giao tốt nhất.
Tóm tắt trừu tượng: thêm tiền tố 'tóm tắt:' trước một bài viết khiến T5 tạo ra một bản tóm tắt ngắn gọn bằng chính từ ngữ của mình.
Dịch máy: một mô hình T5 duy nhất xử lý nhiều cặp ngôn ngữ thông qua các tiền tố như 'dịch tiếng Anh sang tiếng Pháp:'.
FLAN-T5 tuân theo các hướng dẫn bằng ngôn ngữ tự nhiên để trả lời câu hỏi và lý luận mà không cần đào tạo lại theo nhiệm vụ cụ thể.
Trả lời câu hỏi đóng: T5 trả lời các câu hỏi thực tế trực tiếp dưới dạng văn bản được tạo ra, dựa trên kiến thức được lưu trữ trong trọng lượng của nó.
Mô hình chuyển văn bản thành văn bản đã trở nên có ảnh hưởng lớn: các hậu duệ được điều chỉnh theo hướng dẫn như FLAN-T5 khái quát hóa các tác vụ không thể nhìn thấy từ các hướng dẫn bằng ngôn ngữ tự nhiên và định dạng thống nhất báo trước các mô hình ngôn ngữ lớn theo hướng nhắc nhở ngày nay. Mong đợi việc tiếp tục sử dụng bộ mã hóa-giải mã T5 để tóm tắt, dịch và tạo cấu trúc, cùng với các biến thể đa ngôn ngữ như mT5 và các phiên bản kế thừa tập trung vào hiệu quả, ngay cả khi các mô hình chỉ có bộ giải mã thống trị các ứng dụng trò chuyện kết thúc mở.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
T5 (Biến áp chuyển văn bản thành văn bản), từ Google vào năm 2019, điều chỉnh lại mọi nhiệm vụ NLP, dịch thuật, tóm tắt, phân loại, thậm chí hồi quy, khi nhập văn bản và đưa văn bản ra ngoài. Định dạng thống nhất duy nhất này cho phép một mô hình và một công thức đào tạo xử lý hàng tá nhiệm vụ.
T5 chuyển bản dịch, tóm tắt, phân loại, v.v. thành một định dạng chuyển văn bản thành văn bản bằng cách sử dụng tiền tố tác vụ.
Không giống như BERT chỉ có bộ mã hóa hoặc GPT chỉ có bộ giải mã, T5 sử dụng Transformer bộ mã hóa-giải mã hoàn chỉnh với sự chú ý chéo.
T5 che dấu các khoảng mã thông báo ngẫu nhiên, thay thế từng khoảng mã thông báo bằng một điểm canh gác và huấn luyện bộ giải mã để tái tạo các khoảng bị thiếu.
T5 đã được đào tạo về C4, một tập hợp con văn bản web Thu thập thông tin chung có dung lượng khoảng 750GB.
Vì mọi thứ đều chuyển văn bản thành văn bản nên T5 phát ra nhãn lớp dưới dạng chuỗi từ chứ không phải chỉ mục lớp số.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Trích xuất quan hệ từ văn bản
Ngôn ngữ AI