Що є Дистильована модель?

Кількість обчислювальної потужності, спожитої під час створення кожної відповіді.

Навчання меншої моделі імітувати результати більшої моделі.

Фаза виконання, на якій навчена модель генерує прогнози або результати.

Видалення менш важливих ваг моделі або нейронів для зменшення розміру та обчислень.

Додаткове обчислення логічного висновку, яке використовується під час генерації відповіді для покращення якості чи аргументації.

Ціноутворення, де витрати масштабуються з викликами API, маркерами, часом висновку або споживаними обчисленнями.