Tiếp theoHướng dẫn tiếp theo
Tinh chỉnh vs RAG vs Nhắc nhở
Ngôn ngữ AI
HƯỚNG DẪN KỸ THUẬT
Quá trình đào tạo trước liên tục sẽ tiếp tục đào tạo một mô hình cơ sở có cùng mục tiêu mã thông báo tiếp theo trên số lượng lớn văn bản miền thô, trong khi tinh chỉnh đào tạo trên một tập hợp các ví dụ được gắn nhãn được tuyển chọn nhỏ hơn, chẳng hạn như các cặp hướng dẫn và phản hồi, để định hình hành vi.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Sự lựa chọn quan trọng vì lựa chọn đầu tiên chủ yếu thay đổi những gì mô hình biết về miền và ngôn ngữ của nó, lựa chọn thứ hai chủ yếu thay đổi cách nó phản hồi, đồng thời dữ liệu và tính toán cần thiết sẽ khác nhau rất nhiều.
Tiếp tục đào tạo trước, còn được gọi là đào tạo trước thích ứng với miền, bắt đầu từ nơi quá trình đào tạo trước ban đầu đã dừng. Mô hình nhìn thấy văn bản thô từ miền mục tiêu, chẳng hạn như giấy tờ y tế, mã nguồn hoặc hồ sơ pháp lý và học cách dự đoán mọi mã thông báo tiếp theo, chính xác như trong quá trình đào tạo trước. Gururangan và các đồng nghiệp đã chỉ ra trong bài báo Don't Stop Pretraining năm 2020 rằng giai đoạn thứ hai của quá trình đào tạo trước văn bản trong miền đã cải thiện RoBERTa trong các nhiệm vụ trong lĩnh vực y sinh, khoa học máy tính, tin tức và đánh giá. Nó thường cần khối lượng lớn văn bản, thường là hàng tỷ mã thông báo và đào tạo đầy đủ thông số, do đó chi phí cao hơn nhiều so với việc tinh chỉnh. Tinh chỉnh, thường là tinh chỉnh có giám sát, sử dụng các cặp nhắc nhở và phản hồi. Sự mất mát thường chỉ được tính toán trên các mã thông báo phản hồi, do đó, mô hình sẽ tìm hiểu những gì cần tạo ra với đầu vào nhất định. Các bộ dữ liệu có phạm vi từ vài nghìn đến hàng trăm nghìn ví dụ và các phương pháp hiệu quả về tham số như LoRA giúp nó có giá cả phải chăng trên phần cứng khiêm tốn. Nó giỏi về hình thức, phong cách giảng dạy, hành vi thực hiện nhiệm vụ và hướng dẫn sau đây. Các phương pháp ưu tiên như RLHF hoặc DPO thường được áp dụng. Quy trình phổ biến là mô hình cơ sở, sau đó tiếp tục đào tạo trước, sau đó tinh chỉnh có giám sát, rồi điều chỉnh tùy chọn. Việc tiếp tục đào tạo trước có nguy cơ đã biết: sự lãng quên nghiêm trọng, khiến các kỹ năng chung bị suy giảm. Khi áp dụng cho mô hình trò chuyện, nó cũng có thể làm mất đi hướng dẫn sau, vì vậy các nhóm thường bắt đầu từ mô hình cơ sở và thực hiện lại việc điều chỉnh hướng dẫn sau đó. Có hai quan niệm sai lầm nổi bật. Đầu tiên, tinh chỉnh không phải là cách đáng tin cậy để thêm nhiều thông tin mới; nghiên cứu như Gekhman và đồng nghiệp (2024) cho thấy các mô hình học các sự kiện mới một cách chậm rãi thông qua việc tinh chỉnh và làm như vậy có thể làm tăng ảo giác. Đối với những sự kiện thay đổi nhanh chóng, việc truy tìm thường là công cụ tốt hơn. Thứ hai, BloombergGPT đôi khi được coi là quá trình đào tạo trước liên tục, nhưng nó được đào tạo từ đầu dựa trên sự kết hợp giữa dữ liệu tài chính và dữ liệu chung. Một quy tắc sơ bộ: tiếp tục huấn luyện trước khi ngôn ngữ miền khác nhiều so với văn bản trên web và có rất nhiều dữ liệu chưa được gắn nhãn; sử dụng tinh chỉnh khi bạn cần một hành vi hoặc định dạng.
Mã Llama được xây dựng bằng cách tiếp tục huấn luyện Llama 2 trên một kho mã lớn và một số biến thể của nó sau đó được huấn luyện thêm cho Python và làm theo hướng dẫn.
Một công ty công nghệ pháp lý với hàng triệu hợp đồng và hồ sơ chưa được gắn nhãn tiếp tục đào tạo trước để cải thiện khả năng xử lý ngôn ngữ pháp lý của mô hình, sau đó tinh chỉnh vài nghìn ví dụ trích xuất mệnh đề có chú thích.
Một ngân hàng muốn một chatbot trả lời theo định dạng JSON cố định với một âm báo cố định; tinh chỉnh có giám sát hoặc thậm chí nhắc nhở cẩn thận là đủ vì mô hình đã biết nội dung chung.
Các mô hình Meditron của EPFL đã điều chỉnh Llama 2 cho phù hợp với y học thông qua việc tiếp tục đào tạo trước về các tài liệu y tế và hướng dẫn lâm sàng trước bất kỳ tinh chỉnh cụ thể nào cho nhiệm vụ.
Việc phát hành ổn định các mô hình cơ sở mở có khả năng hoạt động đã giúp việc tiếp tục đào tạo trước trở nên thiết thực cho nhiều tổ chức hơn, mặc dù nó vẫn yêu cầu dữ liệu và tính toán đáng kể. Các lĩnh vực nghiên cứu tích cực bao gồm giảm việc quên, làm cho việc thích ứng miền rẻ hơn và kết hợp trọng số từ các mô hình được đào tạo riêng biệt. Trong thực tế, nhiều nhóm sẽ tiếp tục kết hợp tinh chỉnh nhẹ với truy xuất thay vì tiếp tục đào tạo trước đầy đủ, dành tùy chọn nặng hơn cho các miền có ngôn ngữ được dữ liệu web chung bao phủ kém.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Quá trình đào tạo trước liên tục sẽ tiếp tục đào tạo một mô hình cơ sở có cùng mục tiêu mã thông báo tiếp theo trên số lượng lớn văn bản miền thô, trong khi tinh chỉnh đào tạo trên một tập hợp các ví dụ được gắn nhãn được tuyển chọn nhỏ hơn, chẳng hạn như các cặp hướng dẫn và phản hồi, để định hình hành vi. Sự lựa chọn quan trọng vì lựa chọn đầu tiên chủ yếu thay đổi những gì mô hình biết về miền và ngôn ngữ của nó, lựa chọn thứ hai chủ yếu thay đổi cách nó phản hồi, đồng thời dữ liệu và tính toán cần thiết sẽ khác nhau rất nhiều.
Quá trình đào tạo trước tiếp tục dự đoán các mã thông báo tiếp theo trên văn bản thô, đồng thời tinh chỉnh học hỏi từ các cặp lời nhắc và phản hồi.
Che giấu lời nhắc có nghĩa là mô hình tìm hiểu những gì cần tạo ra với một đầu vào nhất định chứ không phải tái tạo đầu vào.
Việc bao gồm dữ liệu chung giúp giữ cho các kỹ năng chung không bị suy giảm trong khi mô hình học miền.
Mã Llama là một ví dụ đào tạo trước tiếp tục, với một số biến thể được đào tạo thêm về Python và hướng dẫn.
Việc tinh chỉnh học các sự kiện mới một cách chậm rãi và có thể làm tăng ảo giác, vì vậy việc truy hồi thường tốt hơn cho việc thay đổi thông tin.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Tinh chỉnh vs RAG vs Nhắc nhở
Ngôn ngữ AI