HƯỚNG DẪN KỸ THUẬT

Tiếp tục đào tạo trước và tinh chỉnh

Quá trình đào tạo trước liên tục sẽ tiếp tục đào tạo một mô hình cơ sở có cùng mục tiêu mã thông báo tiếp theo trên số lượng lớn văn bản miền thô, trong khi tinh chỉnh đào tạo trên một tập hợp các ví dụ được gắn nhãn được tuyển chọn nhỏ hơn, chẳng hạn như các cặp hướng dẫn và phản hồi, để định hình hành vi.

Nghe hướng dẫn nàyAI thuật lại · ~3 min

Trên trang nàyđọc 4 phút
  1. Tổng quan
  2. Lặn sâu
  3. Triển khai trong thế giới thực
  4. Tương lai của việc tiếp tục đào tạo trước và tinh chỉnh
  5. Đưa nó vào thực tế
  6. Tiếp tục khám phá
  7. Câu hỏi thường gặp

Tổng quan

Sự lựa chọn quan trọng vì lựa chọn đầu tiên chủ yếu thay đổi những gì mô hình biết về miền và ngôn ngữ của nó, lựa chọn thứ hai chủ yếu thay đổi cách nó phản hồi, đồng thời dữ liệu và tính toán cần thiết sẽ khác nhau rất nhiều.

Lặn sâu

Tiếp tục đào tạo trước, còn được gọi là đào tạo trước thích ứng với miền, bắt đầu từ nơi quá trình đào tạo trước ban đầu đã dừng. Mô hình nhìn thấy văn bản thô từ miền mục tiêu, chẳng hạn như giấy tờ y tế, mã nguồn hoặc hồ sơ pháp lý và học cách dự đoán mọi mã thông báo tiếp theo, chính xác như trong quá trình đào tạo trước. Gururangan và các đồng nghiệp đã chỉ ra trong bài báo Don't Stop Pretraining năm 2020 rằng giai đoạn thứ hai của quá trình đào tạo trước văn bản trong miền đã cải thiện RoBERTa trong các nhiệm vụ trong lĩnh vực y sinh, khoa học máy tính, tin tức và đánh giá. Nó thường cần khối lượng lớn văn bản, thường là hàng tỷ mã thông báo và đào tạo đầy đủ thông số, do đó chi phí cao hơn nhiều so với việc tinh chỉnh. Tinh chỉnh, thường là tinh chỉnh có giám sát, sử dụng các cặp nhắc nhở và phản hồi. Sự mất mát thường chỉ được tính toán trên các mã thông báo phản hồi, do đó, mô hình sẽ tìm hiểu những gì cần tạo ra với đầu vào nhất định. Các bộ dữ liệu có phạm vi từ vài nghìn đến hàng trăm nghìn ví dụ và các phương pháp hiệu quả về tham số như LoRA giúp nó có giá cả phải chăng trên phần cứng khiêm tốn. Nó giỏi về hình thức, phong cách giảng dạy, hành vi thực hiện nhiệm vụ và hướng dẫn sau đây. Các phương pháp ưu tiên như RLHF hoặc DPO thường được áp dụng. Quy trình phổ biến là mô hình cơ sở, sau đó tiếp tục đào tạo trước, sau đó tinh chỉnh có giám sát, rồi điều chỉnh tùy chọn. Việc tiếp tục đào tạo trước có nguy cơ đã biết: sự lãng quên nghiêm trọng, khiến các kỹ năng chung bị suy giảm. Khi áp dụng cho mô hình trò chuyện, nó cũng có thể làm mất đi hướng dẫn sau, vì vậy các nhóm thường bắt đầu từ mô hình cơ sở và thực hiện lại việc điều chỉnh hướng dẫn sau đó. Có hai quan niệm sai lầm nổi bật. Đầu tiên, tinh chỉnh không phải là cách đáng tin cậy để thêm nhiều thông tin mới; nghiên cứu như Gekhman và đồng nghiệp (2024) cho thấy các mô hình học các sự kiện mới một cách chậm rãi thông qua việc tinh chỉnh và làm như vậy có thể làm tăng ảo giác. Đối với những sự kiện thay đổi nhanh chóng, việc truy tìm thường là công cụ tốt hơn. Thứ hai, BloombergGPT đôi khi được coi là quá trình đào tạo trước liên tục, nhưng nó được đào tạo từ đầu dựa trên sự kết hợp giữa dữ liệu tài chính và dữ liệu chung. Một quy tắc sơ bộ: tiếp tục huấn luyện trước khi ngôn ngữ miền khác nhiều so với văn bản trên web và có rất nhiều dữ liệu chưa được gắn nhãn; sử dụng tinh chỉnh khi bạn cần một hành vi hoặc định dạng.

Triển khai trong thế giới thực

Mã Llama được xây dựng bằng cách tiếp tục huấn luyện Llama 2 trên một kho mã lớn và một số biến thể của nó sau đó được huấn luyện thêm cho Python và làm theo hướng dẫn.

Một công ty công nghệ pháp lý với hàng triệu hợp đồng và hồ sơ chưa được gắn nhãn tiếp tục đào tạo trước để cải thiện khả năng xử lý ngôn ngữ pháp lý của mô hình, sau đó tinh chỉnh vài nghìn ví dụ trích xuất mệnh đề có chú thích.

Một ngân hàng muốn một chatbot trả lời theo định dạng JSON cố định với một âm báo cố định; tinh chỉnh có giám sát hoặc thậm chí nhắc nhở cẩn thận là đủ vì mô hình đã biết nội dung chung.

Các mô hình Meditron của EPFL đã điều chỉnh Llama 2 cho phù hợp với y học thông qua việc tiếp tục đào tạo trước về các tài liệu y tế và hướng dẫn lâm sàng trước bất kỳ tinh chỉnh cụ thể nào cho nhiệm vụ.

Tương lai của việc tiếp tục đào tạo trước và tinh chỉnh

Việc phát hành ổn định các mô hình cơ sở mở có khả năng hoạt động đã giúp việc tiếp tục đào tạo trước trở nên thiết thực cho nhiều tổ chức hơn, mặc dù nó vẫn yêu cầu dữ liệu và tính toán đáng kể. Các lĩnh vực nghiên cứu tích cực bao gồm giảm việc quên, làm cho việc thích ứng miền rẻ hơn và kết hợp trọng số từ các mô hình được đào tạo riêng biệt. Trong thực tế, nhiều nhóm sẽ tiếp tục kết hợp tinh chỉnh nhẹ với truy xuất thay vì tiếp tục đào tạo trước đầy đủ, dành tùy chọn nặng hơn cho các miền có ngôn ngữ được dữ liệu web chung bao phủ kém.

Đưa nó vào thực tế

Tại sao nó quan trọng

  • Chi phí và ngân sách. Các quyết định về kiến ​​trúc sẽ thúc đẩy hiệu suất và chi phí vận hành trong nhiều năm.
  • Quyết định rõ ràng hơn. Giáo dục kỹ thuật giúp các nhóm chọn nhóm phù hợp chứ không chỉ nhóm mới nhất.
  • Kiểm soát chất lượng. Lựa chọn kỹ thuật tốt hơn làm giảm sự cố về độ tin cậy trong sản xuất.

coi chừng

  • Tối ưu hóa một điểm chuẩn có thể che giấu những điểm yếu của hệ thống rộng hơn.
  • Chi phí cơ sở hạ tầng và bảo trì thường được đánh giá thấp.
  • Khoảng cách về bảo mật và khả năng quan sát có thể tăng lên khi hệ thống trở nên phức tạp hơn.

Các bước tiếp theo

  1. Xác định các mục tiêu về độ trễ, chất lượng và chi phí trước khi triển khai.
  2. Điểm chuẩn trong điều kiện tải và dữ liệu thực tế.
  3. Giám sát thiết bị về lỗi, độ lệch và tác động của người dùng.
  4. Chuẩn bị đường dẫn khôi phục và ứng phó sự cố trước khi mở rộng quy mô.

Tiếp tục khám phá

Bản tin miễn phí

Nhận bản tóm tắt AI hàng ngày

Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.

Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.

Tự kiểm tra

Take the Continued Pretraining vs Fine-Tuning quiz

Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.

Bắt đầu bài kiểm tra

Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp

Câu hỏi thường gặp

Đào tạo trước liên tục và tinh chỉnh là gì?

Quá trình đào tạo trước liên tục sẽ tiếp tục đào tạo một mô hình cơ sở có cùng mục tiêu mã thông báo tiếp theo trên số lượng lớn văn bản miền thô, trong khi tinh chỉnh đào tạo trên một tập hợp các ví dụ được gắn nhãn được tuyển chọn nhỏ hơn, chẳng hạn như các cặp hướng dẫn và phản hồi, để định hình hành vi. Sự lựa chọn quan trọng vì lựa chọn đầu tiên chủ yếu thay đổi những gì mô hình biết về miền và ngôn ngữ của nó, lựa chọn thứ hai chủ yếu thay đổi cách nó phản hồi, đồng thời dữ liệu và tính toán cần thiết sẽ khác nhau rất nhiều.

Sự khác biệt chính về dữ liệu giữa việc tiếp tục đào tạo trước và tinh chỉnh có giám sát là gì?

Quá trình đào tạo trước tiếp tục dự đoán các mã thông báo tiếp theo trên văn bản thô, đồng thời tinh chỉnh học hỏi từ các cặp lời nhắc và phản hồi.

Trong tinh chỉnh có giám sát, tổn thất thường được tính ở đâu?

Che giấu lời nhắc có nghĩa là mô hình tìm hiểu những gì cần tạo ra với một đầu vào nhất định chứ không phải tái tạo đầu vào.

Phát lại trong quá trình đào tạo trước liên tục là gì?

Việc bao gồm dữ liệu chung giúp giữ cho các kỹ năng chung không bị suy giảm trong khi mô hình học miền.

Code Llama được xây dựng như thế nào?

Mã Llama là một ví dụ đào tạo trước tiếp tục, với một số biến thể được đào tạo thêm về Python và hướng dẫn.

Đối với những thông tin thực tế thường xuyên thay đổi, cách tiếp cận nào mà hướng dẫn đề xuất thường tốt hơn việc tinh chỉnh?

Việc tinh chỉnh học các sự kiện mới một cách chậm rãi và có thể làm tăng ảo giác, vì vậy việc truy hồi thường tốt hơn cho việc thay đổi thông tin.