Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra về độ trễ của ứng dụng LLM
Lập bản đồ các kỹ thuật về độ trễ tới các giai đoạn mà chúng ảnh hưởng và kiểm tra sự cân bằng về chất lượng, độ mới, độ tin cậy, quyền riêng tư và chi phí.
Câu hỏi 1 của 8
Tính năng phát trực tuyến thường cải thiện điều gì cho người dùng?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Tính năng phát trực tuyến thường cải thiện điều gì cho người dùng?
- Độ chính xác thực tế của mô hình tự động
- Thời gian hiển thị một phần đầu ra, không nhất thiết là tổng thời gian hoàn thành
- Thời gian cần thiết để huấn luyện mô hình
- Tính mới của dữ liệu được lưu trong bộ nhớ đệm
- Khi nào thực hiện song song là thích hợp nhất?
- Khi mỗi cuộc gọi phụ thuộc vào kết quả trước đó
- Bất cứ khi nào một yêu cầu sử dụng một mô hình
- Khi thất bại phải được che giấu
- Khi các cuộc gọi độc lập và kết quả của chúng có thể được kết hợp một cách an toàn
- Bộ nhớ đệm nhắc nhở của nhà cung cấp có thể giảm được những gì?
- Xử lý lặp lại cho tiền tố lời nhắc được chia sẻ đủ điều kiện
- Thời gian tạo của mọi phản hồi của ứng dụng về 0
- Tất cả các mã thông báo đầu ra được lập hóa đơn bởi mọi nhà cung cấp
- Sự cần thiết của việc kiểm tra ủy quyền
- Rủi ro nào xảy ra với bộ nhớ đệm phản hồi ở cấp ứng dụng?
- Tự động tăng độ chính xác của mô hình
- Làm cho mọi bộ nhớ đệm bị lỗi nhanh hơn
- Trả lại nội dung cũ hoặc dành riêng cho người dùng cho yêu cầu sai
- Loại bỏ nhu cầu bảo mật mạng
- Nên làm gì trước khi định tuyến một tác vụ tới một mô hình nhỏ hơn?
- Giả sử các mô hình nhỏ hơn luôn hoạt động giống hệt nhau
- Đánh giá chất lượng của từng nhiệm vụ cụ thể cũng như độ trễ và chi phí
- Vô hiệu hóa tất cả giám sát
- Chỉ sử dụng độ chính xác đào tạo
- Tại sao các API hàng loạt thường không phù hợp để trả lời mang tính tương tác?
- Chúng được thiết kế cho các cửa sổ xử lý không đồng bộ thay vì phản hồi ngay lập tức
- Họ trả lại kết quả đầu ra trước khi nhận được yêu cầu
- Họ luôn có độ chính xác cuối cùng thấp hơn
- Họ không thể xử lý nhiều yêu cầu
- Ứng dụng nên giảm độ trễ khi gọi công cụ bằng cách nào?
- Chạy tất cả các cuộc gọi đồng thời bất kể sự phụ thuộc
- Bỏ qua việc kiểm tra quyền
- Lưu trữ tất cả các kết quả vô thời hạn
- Loại bỏ các chuyến đi khứ hồi không cần thiết và chỉ song song hóa các bước độc lập
- Thử nghiệm tối ưu hóa độ trễ nên giám sát những gì?
- Chỉ TTFT trung bình
- Chỉ số lượng tệp nguồn
- Độ trễ, lỗi, chất lượng và chi phí trên lưu lượng truy cập đại diện
- Chỉ có kích thước mô hình