Apa itu Hukum Penskalaan?

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Penyiapan pelatihan tempat model ditingkatkan dengan menghasilkan data melalui interaksi atau kompetisi dengan salinan dirinya sendiri.

Seberapa jelas logika, sumber data, dan batasan sistem AI didokumentasikan dan dapat dipahami.

Pergeseran data masukan dunia nyata dari waktu ke waktu yang dapat menurunkan performa model.

Seberapa baik performa model pada data baru yang tidak terlihat di luar set pelatihan.

Vektor yang menunjukkan seberapa banyak setiap parameter harus diubah untuk mengurangi kerugian.