What is Eval Harness? Definition | AI Understanding

Definisi

Kerangka kerja evaluasi berulang yang menjalankan perintah, kumpulan data, dan logika penilaian di seluruh versi model.

Istilah terkait

Kumpulan Evaluasi

Kumpulan data yang digunakan untuk mengukur kualitas model setelah pelatihan.

AGI (Kecerdasan Umum Buatan)

Sistem AI hipotetis yang dapat melakukan sebagian besar tugas intelektual pada tingkat manusia di banyak domain.

Transparansi Algoritmik

Seberapa jelas logika, sumber data, dan batasan sistem AI didokumentasikan dan dapat dipahami.

Kumpulan data yang sangat besar dan kompleks yang memerlukan penyimpanan dan teknik pemrosesan yang dapat diskalakan.

Memori (Memori Agen)

Konteks tersimpan yang digunakan agen AI di seluruh langkah atau sesi untuk meningkatkan kontinuitas.

Prompt Engineering

Merancang petunjuk untuk meningkatkan kualitas keluaran, keandalan, dan kemampuan pengendalian.

Pelajari lebih lanjut di panduan gratis kami

AI Evaluation Basics LLM Evaluations Retrieval Quality Linear Probing and Frozen Feature Evaluation

See also

Embedding Model Feature Store Distilled Model Groundedness Differential Privacy Guarded Decoding Data Provenance Human Preference Model

Jelajahi Glosarium AI selengkapnya Jelajahi semua panduan AI gratis