Bài kiểm tra có liên kết hướng dẫn · Trung bình Cấp độ
Bài kiểm tra phát triển dựa trên đánh giá
Sử dụng các trường hợp đại diện, đường cơ sở, phân tích lỗi, kiểm tra hồi quy và lời nhắc được lập phiên bản để hướng dẫn các thay đổi đối với ứng dụng LLM.
Câu hỏi 1 của 8
Sự phát triển dựa trên đánh giá dựa trên thực tiễn phần mềm đã được thiết lập nào mượn cấu trúc của nó?
Xem trước mọi câu hỏi8 câu hỏi
Câu trả lời và giải thích xuất hiện khi bạn làm bài kiểm tra.
- Sự phát triển dựa trên đánh giá dựa trên thực tiễn phần mềm đã được thiết lập nào mượn cấu trúc của nó?
- Phát triển dựa trên thử nghiệm, trong đó bài kiểm tra được viết trước mã thỏa mãn nó
- Quản lý dự án thác nước
- Dự phòng hàng ngày linh hoạt
- Các mẫu thiết kế hướng đối tượng
- Tại sao phần tìm hiểu sâu cho biết những thay đổi nhanh chóng có thể gặp rủi ro nếu không có bộ đánh giá?
- Bởi vì những thay đổi kịp thời luôn khiến phí API cao hơn
- Bởi vì việc diễn đạt lại một lệnh để sửa một lỗi có thể âm thầm phá vỡ một lệnh khác và điều này có thể không xuất hiện cho đến khi được sản xuất.
- Vì lời nhắc không thể kiểm soát được phiên bản
- Bởi vì các mô hình bỏ qua hoàn toàn những thay đổi nhanh chóng
- Trong ví dụ về chuyển đổi mô hình, bộ eval đã tiết lộ điều gì về mô hình mới hơn, nhanh hơn?
- Nó rẻ hơn nhưng có độ trễ tệ hơn
- Nó không chạy được chút nào
- Nó đạt điểm thấp hơn về độ chính xác thực tế của các tài liệu tài chính mặc dù nhanh hơn
- Nó yêu cầu một ngôn ngữ lập trình khác
- Nhóm nên xử lý một lỗi thực tế đã được xác nhận trong bộ đánh giá của mình như thế nào?
- Giữ mọi kết quả được báo cáo mãi mãi mà không cần xem xét
- Chỉ thêm những lỗi dễ tự động hóa
- Xóa trường hợp sau một lần chạy
- Thêm trường hợp có thể tái tạo khi nó phản ánh hành vi dự kiến và sửa đổi hoặc gỡ bỏ trường hợp đó nếu yêu cầu thay đổi
- Tại sao tỷ lệ đậu tổng hợp có thể gây hiểu nhầm khi so sánh lời nhắc cơ bản và lời nhắc của ứng viên?
- Nó có thể che giấu một trường hợp cụ thể trong đó thí sinh trở nên tệ hơn ngay cả khi điểm tổng thể được cải thiện
- Các số tổng hợp luôn được tính toán không chính xác bằng các công cụ eval
- Không thể tính điểm tổng hợp cho đầu ra LLM
- Bởi vì chỉ có người mẫu đánh giá mới tạo ra điểm tổng hợp
- Sự phát triển dựa trên đánh giá có yêu cầu một bộ thử nghiệm lớn trước khi có thể đánh giá nguyên mẫu không?
- Đúng; mọi đầu vào có thể phải được liệt kê
- Không; bắt đầu với một tập hợp nhỏ các trường hợp đại diện quan trọng và phát triển nó khi bằng chứng tích lũy
- Có, nhưng chỉ dành cho những mẫu có dụng cụ
- Không; bản trình diễn thủ công thay thế tất cả các lần kiểm tra lặp lại
- Theo hiểu biết kỹ thuật, quy trình làm việc dựa trên đánh giá thường tách biệt ba điều gì?
- Nhà cung cấp mô hình, khóa API và tài khoản thanh toán
- Các lớp giao diện người dùng, phụ trợ và cơ sở dữ liệu
- Các trường hợp thử nghiệm, phương pháp tính điểm và báo cáo so sánh giữa đường cơ sở và ứng viên
- Ngôn ngữ nhắc nhở, kích thước mô hình và cài đặt nhiệt độ
- Tại sao các lời nhắc kiểm soát phiên bản và bộ đánh giá có thể cùng nhau giúp các nhóm điều tra hồi quy?
- Nó làm giảm chi phí lưu trữ đám mây
- Bởi vì hệ thống kiểm soát phiên bản yêu cầu nó cho các lời nhắc cụ thể
- Bởi vì nó làm cho lời nhắc chạy nhanh hơn vào thời điểm suy luận
- Nó có thể liên kết lời nhắc đã thay đổi với kết quả đánh giá tương ứng trong lịch sử phiên bản