Nghiên cứu tìm thấy các vectơ quy mô nhỏ có thể ảnh hưởng đáng kể đến việc đào tạo mô hình ngôn ngữ lớn
Một nghiên cứu arXiv đã sửa đổi lập luận rằng các vectơ nhỏ có thể học được bên trong các lớp chuẩn hóa LLM có tác động lớn hơn đến việc đào tạo so với số lượng tham số của chúng cho thấy. Các tác giả báo cáo tổn thất đào tạo thấp hơn nhờ một số thay đổi nhẹ trên các mô hình dày đặc và hỗn hợp các chuyên gia, nhưng bản tóm tắt không cung cấp…