Gating và định tuyến trong tính toán có điều kiện

Tính toán có điều kiện có nghĩa là mạng đưa ra quyết định phụ thuộc vào dữ liệu về việc sử dụng mô-đun phụ nào. Một mạng 'gating' hoặc 'router' nhỏ đã học sẽ xem xét từng đầu vào (thường là từng mã thông báo) và đưa ra điểm số khi chọn 'chuyên gia' nào để gửi nó đến. Trong lớp Hỗn hợp các chuyên gia (MoE), tồn tại hàng chục hoặc hàng trăm mạng con chuyên gia, nhưng bộ định tuyến chỉ chọn một hoặc hai mạng con hàng đầu cho mỗi mã thông báo, vì vậy hầu hết các chuyên gia đều không hoạt động đối với bất kỳ đầu vào nhất định nào. Kết quả là một mô hình có tổng số lượng tham số lớn nhưng số lượng hoạt động nhỏ, mang lại sức mạnh biểu diễn của một mô hình khổng lồ với chi phí thời gian chạy của một mô hình nhỏ hơn nhiều. Đây là cách các mô hình như Switch Transformer, GLaM và nhiều mô hình ngôn ngữ lớn biên giới mở rộng quy mô tới hàng nghìn tỷ tham số với chi phí hợp lý.