cái gì là Độ dốc?

Siêu tham số huấn luyện kiểm soát số lượng tham số thay đổi trong mỗi bước cập nhật.

Một mối quan hệ thực nghiệm cho thấy hiệu suất được cải thiện như thế nào với kích thước mô hình, dữ liệu hoặc tính toán.

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Một thiết lập tổng quát trong đó người tạo và người phân biệt đối xử với nhau.

Mô hình hoạt động tốt như thế nào trên dữ liệu mới, chưa được nhìn thấy bên ngoài tập huấn luyện.

Một phương pháp tối ưu hóa cập nhật các tham số theo hướng giảm lỗi.