DPO (Tối ưu hóa tùy chọn trực tiếp) là gì? Sự định nghĩa | AI Understanding

Định nghĩa

Một phương pháp đào tạo giúp tinh chỉnh các mô hình trực tiếp trên các cặp ưu tiên mà không cần mô hình phần thưởng riêng.

Điều khoản liên quan

Học tăng cường từ phản hồi của con người (RLHF)

Một phương pháp đào tạo sử dụng tín hiệu ưu tiên của con người để định hình hành vi của mô hình.

Sau đào tạo

Các bước đào tạo được áp dụng sau khi đào tạo trước, chẳng hạn như điều chỉnh hướng dẫn, tối ưu hóa tùy chọn và điều chỉnh an toàn.

Học tập liên tục

Các phương pháp đào tạo cho phép mô hình tiếp tục học hỏi từ dữ liệu mới mà không quên kiến thức trước đó.

Tiếp tục đào tạo về dữ liệu theo miền cụ thể để điều chỉnh mô hình được đào tạo trước cho phù hợp với một nhiệm vụ cụ thể.

Giảm dần độ dốc

Một phương pháp tối ưu hóa cập nhật các tham số theo hướng giảm lỗi.

Điều chỉnh hướng dẫn

Tinh chỉnh mô hình trên các cặp lệnh-phản hồi để cải thiện việc thực hiện nhiệm vụ.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

AI Inference Optimization Bidirectional Recurrent Networks Second-Order Optimization and Newton Methods Odds Ratio Preference Optimization

Xem thêm

Tree of Thoughts QLoRA ReAct Flash Attention Agentic Loop Multi-Head Attention MCP (Model Context Protocol)Positional Encoding

Duyệt qua Bảng thuật ngữ AI đầy đủ Khám phá tất cả hướng dẫn AI miễn phí