What is Inference? Definition | AI Understanding

คำนิยาม

ระยะรันไทม์ที่โมเดลที่ได้รับการฝึกสร้างการคาดการณ์หรือเอาต์พุต

ข้อกำหนดที่เกี่ยวข้อง

จุดสิ้นสุดการอนุมาน

อินเทอร์เฟซ API ที่ปรับใช้ซึ่งรับคำขอโมเดลและส่งคืนการคาดการณ์ในการผลิต

มนุษย์ในวง

เวิร์กโฟลว์ที่มนุษย์ตรวจสอบ แนะนำ หรือแทนที่เอาต์พุต AI

AI รัฐธรรมนูญ

แนวทางการฝึกอบรมและการกำหนดพฤติกรรมโดยที่ผลลัพธ์ของแบบจำลองได้รับการชี้นำโดยหลักการที่เป็นลายลักษณ์อักษรชุดตายตัว

โมเดลกลั่น

โมเดลขนาดเล็กได้รับการฝึกฝนให้เลียนแบบพฤติกรรมของโมเดลขนาดใหญ่ ในขณะที่ใช้การประมวลผลน้อยลงในการอนุมาน

การเรียกเก็บเงินตามการใช้งาน

ราคาที่ต้นทุนปรับขนาดด้วยการเรียก API, โทเค็น, เวลาอนุมาน หรือการประมวลผลที่ใช้ไป

การถอดรหัสเก็งกำไร

วิธีการเร่งความเร็วอนุมานที่แบบจำลองร่างขนาดเล็กเสนอโทเค็นที่แบบจำลองขนาดใหญ่ตรวจสอบพร้อมกัน

เรียนรู้เพิ่มเติมในคำแนะนำฟรีของเรา

AI Inference AI Inference Optimization LLM Inference Routing and Load Balancing Seldon Core and Inference Graphs

ดูเพิ่มเติม

In-Context Learning Inference-Time Compute Hyperparameter Instruction Tuning Intent Classification Hallucination Jailbreak Guardrails

เรียกดูอภิธานศัพท์ AI ฉบับเต็ม สำรวจคำแนะนำ AI ฟรีทั้งหมด