Tiếp theoHướng dẫn tiếp theo
Gọi hàm song song
kỹ thuật
HƯỚNG DẪN KỸ THUẬT
Bảng xếp hạng Gọi Hàm Berkeley (Berkeley Function Calling Leaderboard) đánh giá hiệu năng mô hình trên các nhiệm vụ gọi hàm và sử dụng công cụ, với các phiên bản bổ sung các trường hợp rộng hơn như đa vòng và đánh giá có tính đại lý.
Nghe hướng dẫn nàyAI thuật lại · ~3 min
Kết quả bảng xếp hạng gắn liền với phiên bản, các nhiệm vụ, quy tắc chấm điểm và cấu hình mô hình; nó không phải là thước đo toàn diện về độ tin cậy của một đại lý trong mọi ứng dụng.
Function calling lets a model produce a structured request for an application to invoke a tool or function. A system must choose whether to call a tool, select the function, provide valid arguments, and use the returned result correctly. Errors can occur in the tool name, parameter values, format, or decisions about when a call is needed. The Berkeley Function Calling Leaderboard (BFCL) is a research benchmark and public leaderboard for this capability. The current BFCL V4 page describes evaluation spanning single-turn, multi-turn, and agentic categories, and says the leaderboard is updated periodically. Earlier versions introduced abstract-syntax-tree scoring, additional function sources, and multi-turn cases. The benchmark paper reports an initial crowd-sourced collection of 64,517 real single-turn queries gathered over a defined period; that description applies to that dataset component, not every BFCL V4 category. Scores should be read with the current version and submission setup. Model choice, prompting, function schema, supported language, scoring mode, live versus non-live execution, and cost/latency settings can affect results. A model can score well on function-call generation and still fail in an application because tools are unreliable, permissions are wrong, state is inconsistent, or the application mishandles a return value. Use BFCL as one comparison source, then build application-specific tests for your schemas, tool implementations, failure handling, security boundaries, and user goals. Treat benchmark rankings as scoped evidence rather than a universal quality label.
Một nhà phát triển kiểm tra danh mục đa vòng của BFCL V4 thay vì chỉ dựa vào điểm số hàm đơn.
Một người đánh giá xác nhận rằng các đối số được tạo ra khớp với lược đồ hàm trước khi thực thi.
Một nhóm kiểm tra cách ứng dụng của họ phản hồi khi công cụ trả về lỗi hoặc hết thời gian chờ.
Một nhà đánh giá chuẩn mực ghi lại phiên bản và ngày của BFCL cùng với điểm số của mô hình.
Các cập nhật của BFCL đang mở rộng việc đánh giá từ các cuộc gọi riêng lẻ sang hành vi nhiều lượt và hành động của tác nhân. Các phiên bản mới hơn có thể thêm các loại nhiệm vụ và chỉ số, vì vậy các điểm số lịch sử không nên được so sánh mà không kiểm tra phương pháp luận. Các chuẩn mực có thể khuyến khích tiến bộ trong việc sử dụng công cụ, nhưng việc kiểm tra ứng dụng phải bao gồm các API thực tế, quyền hạn và các chế độ lỗi. Các báo cáo tương lai nên làm cho các thiết lập mô hình, lời nhắc, công cụ và thực thi dễ so sánh hơn. Các bản phát hành có thể tái tạo của bộ dữ liệu và các công cụ đánh giá sẽ giúp các nhà nghiên cứu theo dõi sự thay đổi theo thời gian và xác minh các so sánh điểm số trong tương lai.
Bản tin miễn phí
Ba câu chuyện AI đã được xác minh vào mỗi buổi sáng các ngày trong tuần, được viết bằng tiếng Anh đơn giản. Miễn phí mãi mãi, không có quảng cáo.
Một email mỗi ngày trong tuần. Hủy đăng ký trong một cú nhấp chuột. Chúng tôi không bao giờ bán hoặc chia sẻ địa chỉ của bạn.
Tự kiểm tra
Phản hồi tức thì về mọi câu trả lời và chứng chỉ có thể chia sẻ với ID có thể xác minh sau khi bạn vượt qua khóa học.
Hỗ trợ giáo dục AI miễn phí. AI Understanding là tổ chức phi lợi nhuận 501(c)(3) — không bao giờ có quảng cáo, không có tường phí. Hãy quyên góp
Bảng xếp hạng Gọi Hàm Berkeley đánh giá hiệu suất mô hình trên các nhiệm vụ gọi hàm và sử dụng công cụ, với các phiên bản thêm các trường hợp rộng hơn như đánh giá nhiều lượt và hành động của tác nhân. Kết quả bảng xếp hạng liên kết với phiên bản, nhiệm vụ, quy tắc điểm số và cài đặt mô hình; nó không phải là một thước đo hoàn chỉnh của độ tin cậy của một tác nhân trong mọi ứng dụng.
BFCL được thiết kế đặc biệt xoay quanh việc gọi hàm và công cụ.
Bảng xếp hạng hiện tại mô tả các nhóm đánh giá này.
Bài báo báo cáo số này và phạm vi một lượt cho thành phần dữ liệu đó.
Một bộ chuẩn không thể bao phủ toàn bộ môi trường thực thi hoàn chỉnh của mọi triển khai.
So sánh cây cú pháp trừu tượng có thể đánh giá các đầu ra cuộc gọi có cấu trúc.
Tiếp tục học hỏi
Đã chọn thêm hướng dẫn cho chủ đề này
Tiếp theoHướng dẫn tiếp theo
Gọi hàm song song
kỹ thuật