แบบทดสอบที่เชื่อมโยงกับคำแนะนำ · ปานกลาง ระดับ

แบบทดสอบการเรียกลีดเดอร์บอร์ดฟังก์ชัน Berkeley

ตีความ BFCL ตามเวอร์ชันและหมวดหมู่งาน และแยกแยะความแม่นยำในการเรียกเครื่องมือเกณฑ์มาตรฐานจากความน่าเชื่อถือของแอปพลิเคชันเต็มรูปแบบ

เส้นทางแนะนำที่เกี่ยวข้องลีดเดอร์บอร์ดการเรียกฟังก์ชัน Berkeley
คำถาม 1 ของ 8

Berkeley Function Calling Leaderboard ประเมินอะไรเป็นหลัก

ดูตัวอย่างทุกคำถาม8 คำถาม

คำตอบและคำอธิบายจะปรากฏขึ้นเมื่อคุณทำแบบทดสอบ

  1. Berkeley Function Calling Leaderboard ประเมินอะไรเป็นหลัก
    • ความแม่นยำในการสร้างแบบจำลองการเรียกใช้ฟังก์ชันหรือเครื่องมือในงานการวัดประสิทธิภาพ
    • คุณภาพภาษาทั่วไปในทุกงานของผู้ใช้
    • เวลาทำงานของฐานข้อมูล
    • คุณภาพที่เป็นข้อเท็จจริงของทุกคำตอบสุดท้าย
  2. รายการหน้า BFCL V4 ปัจจุบันมีหมวดหมู่กว้างๆ อะไรบ้าง
    • การแก้ไขการสะกดคำเท่านั้น
    • การจัดหมวดหมู่ภาพเท่านั้น
    • หมวดหมู่การประเมินแบบเลี้ยวเดียว หลายเทิร์น และแบบเอเจนต์
    • แบบสำรวจการสนับสนุนลูกค้าที่เป็นมนุษย์เท่านั้น
  3. องค์ประกอบข้อมูลที่มาจากฝูงชนเริ่มต้นของเอกสาร BFCL ประกอบด้วยอะไรบ้าง
    • ตัวแทนการผลิตใช้งานจริง 64,517 ราย
    • ข้อความค้นหาของผู้ใช้แบบเทิร์นเดียวจริง 64,517 รายการรวบรวมในช่วงเวลาที่กำหนด
    • บทสนทนาหลายรอบนับล้าน
    • เฉพาะสกีมาเครื่องมือสังเคราะห์เท่านั้น
  4. เหตุใดจึงควรรายงานคะแนนแบบจำลองด้วยเวอร์ชัน BFCL
    • เวอร์ชันไม่เคยเปลี่ยนแปลง
    • คะแนนโมเดลจะเข้ารหัสทุกการตั้งค่าแอปพลิเคชัน
    • หมายเลขเวอร์ชันเป็นเพียงการตกแต่งเท่านั้น
    • หมวดหมู่เกณฑ์มาตรฐานและวิธีการสามารถเปลี่ยนแปลงได้ระหว่างเวอร์ชันต่างๆ
  5. ประสิทธิภาพ BFCL ที่แข็งแกร่งพิสูจน์ให้เห็นว่าตัวแทนมีความน่าเชื่อถือในการผลิตหรือไม่
    • เลขที่; สิทธิ์ของเครื่องมือ, API, สถานะ, ข้อผิดพลาด และตรรกะของแอปพลิเคชันจะเพิ่มโหมดความล้มเหลวอื่นๆ
    • ใช่ เนื่องจากเครื่องมือทั้งหมดใช้สคีมาเดียวกัน
    • ใช่ถ้ามันอันดับหนึ่ง
    • ไม่ได้ เนื่องจากการเรียกเครื่องมือไม่สามารถเปรียบเทียบได้
  6. การให้คะแนนแบบ AST ช่วยประเมินอะไร
    • ไม่ว่าเซิร์ฟเวอร์คลาวด์จะออนไลน์อยู่หรือไม่
    • เรียงความแบบยาวฟังดูมีประโยชน์เพียงใด
    • ไม่ว่าผู้ใช้จะชอบอินเทอร์เฟซหรือไม่
    • ไม่ว่าการเรียกใช้ฟังก์ชันที่มีโครงสร้างจะตรงกับโครงสร้างหรืออาร์กิวเมนต์ที่คาดหวังหรือไม่
  7. การทดสอบการปรับใช้ใดที่เสริม BFCL
    • ตรวจสอบเฉพาะการสูญเสียการฝึกของโมเดล
    • เปรียบเทียบโลโก้ลีดเดอร์บอร์ด
    • การทดสอบสคีมา ความล้มเหลวของเครื่องมือ การอนุญาต และผลข้างเคียงของแอปพลิเคชันเอง
    • กำลังลบการตรวจสอบทั้งหมด
  8. สิ่งที่ควรตรวจสอบเมื่อเปรียบเทียบผลลัพธ์ของกระดานผู้นำสองรายการ
    • เฉพาะเลขลำดับเท่านั้น
    • เวอร์ชัน หมวดหมู่งาน การตั้งค่าพร้อมท์ ตัวระบุโมเดล และวิธีการให้คะแนน
    • เฉพาะชื่อผู้ให้บริการเท่านั้น
    • สีของแผนภูมิลีดเดอร์บอร์ด