Thuật ngữ thuật ngữ AI

Giảm dần độ dốc là gì?

Định nghĩa

Một phương pháp tối ưu hóa cập nhật các tham số theo hướng giảm lỗi.

Duyệt qua Bảng thuật ngữ AI đầy đủKhám phá tất cả hướng dẫn AI miễn phí

Điều khoản liên quan

DPO (Tối ưu hóa tùy chọn trực tiếp)Một phương pháp đào tạo giúp tinh chỉnh các mô hình trực tiếp trên các cặp ưu tiên mà không cần mô hình phần thưởng riêng.Độ dốcMột vectơ hiển thị mức độ thay đổi của mỗi tham số để giảm tổn thất.Lan truyền ngượcThuật toán đào tạo cốt lõi cập nhật trọng số mô hình bằng cách truyền ngược các lỗi dự đoán qua mạng.thiên vịMột dạng lỗi hoặc sự không công bằng nhất quán trong dữ liệu hoặc hành vi của mô hình.Làm mịn nhãnMột phương pháp chính quy hóa làm mềm các nhãn cứng để cải thiện tính khái quát hóa.Tỷ lệ học tậpSiêu tham số huấn luyện kiểm soát số lượng tham số thay đổi trong mỗi bước cập nhật.

Tìm hiểu thêm trong hướng dẫn miễn phí của chúng tôi

Gradient AccumulationStochastic Gradient Descent with MomentumNesterov Accelerated GradientVanishing and Exploding Gradients

Xem thêm

Ground TruthGenerative AIGuardrailsGeneralizationHallucinationGAN (Generative Adversarial Network)Human-in-the-LoopFunction Calling