Apa itu Penagihan Berbasis Penggunaan?

Jumlah daya pemrosesan yang dikonsumsi saat menghasilkan setiap respons.

Perhitungan inferensi tambahan yang digunakan selama pembuatan respons untuk meningkatkan kualitas atau penalaran.

Metode percepatan inferensi di mana rancangan model kecil mengusulkan token yang diverifikasi secara paralel oleh model yang lebih besar.

Pola perhatian di mana setiap token hanya memperhatikan jendela berukuran tetap dari token terdekat untuk mengurangi komputasi.

Fase runtime saat model terlatih menghasilkan prediksi atau keluaran.

Sebuah metode yang mengambil pengetahuan eksternal dan memasukkannya ke dalam generasi pada waktu inferensi.