Apa itu Gradien?

Hyperparameter pelatihan yang mengontrol seberapa banyak parameter berubah setiap langkah pembaruan.

Hubungan empiris yang menunjukkan bagaimana performa meningkat seiring dengan ukuran model, data, atau komputasi.

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Pengaturan generatif di mana generator dan diskriminator berlatih satu sama lain.

Seberapa baik performa model pada data baru yang tidak terlihat di luar set pelatihan.

Metode optimasi yang memperbarui parameter ke arah yang mengurangi kesalahan.