What is Knowledge Distillation? Definition | AI Understanding

Definisi

Melatih model yang lebih kecil untuk meniru keluaran model yang lebih besar.

Istilah berkaitan

Memampatkan pengetahuan daripada model guru yang besar kepada model pelajar yang lebih kecil.

Model yang lebih kecil dilatih untuk meniru tingkah laku model yang lebih besar sambil menggunakan kurang pengiraan pada inferens.

Potongan Pengetahuan

Titik masa terkini ditunjukkan dalam data latihan model.

Pembelajaran Berterusan

Pendekatan latihan yang membolehkan model terus belajar daripada data baharu tanpa melupakan pengetahuan terdahulu.

Pembelajaran yang diselia

Melatih model dengan contoh berlabel yang memetakan input kepada output yang diketahui.

AI berperlembagaan

Pendekatan latihan dan pembentukan tingkah laku di mana output model dipandu oleh set tetap prinsip bertulis.

Ketahui lebih lanjut dalam panduan percuma kami

AI Knowledge Management DINO Self-Distillation GraphRAG Knowledge Graphs DreamFusion and Score Distillation Sampling

See also

Knowledge Graph Jailbreak Label Smoothing Intent Classification Latency Instruction Tuning Large Language Model (LLM)Inference-Time Compute

Semak imbas Glosari AI penuh Terokai semua panduan AI percuma