cái gì là Cắt tỉa?

Một mẫu chú ý trong đó mỗi mã thông báo chỉ tham gia vào một cửa sổ có kích thước cố định của các mã thông báo lân cận để giảm tính toán.

Một mối quan hệ thực nghiệm cho thấy hiệu suất được cải thiện như thế nào với kích thước mô hình, dữ liệu hoặc tính toán.

Một mô hình nhỏ hơn được đào tạo để bắt chước hành vi của mô hình lớn hơn trong khi sử dụng ít tính toán hơn khi suy luận.

Thuật toán đào tạo cốt lõi cập nhật trọng số mô hình bằng cách truyền ngược các lỗi dự đoán qua mạng.

Các tài nguyên xử lý cần thiết để đào tạo và chạy các mô hình, thường được đo bằng FLOPS hoặc số giờ GPU.

Một vectơ hiển thị mức độ thay đổi của mỗi tham số để giảm tổn thất.