Какво е Градиент?

Хиперпараметър за обучение, контролиращ колко параметри се променят при всяка стъпка на актуализиране.

Емпирична връзка, показваща как производителността се подобрява с размера на модела, данните или изчисленията.

Модел на внимание, при който всеки токен обръща внимание само на прозорец с фиксиран размер от близки токени, за да намали изчисленията.

Генеративна настройка, при която генератор и дискриминатор се тренират един срещу друг.

Колко добре се представя моделът върху нови, невиждани данни извън набора за обучение.

Метод за оптимизация, който актуализира параметрите в посока, която намалява грешката.