Vad är Gradient?

En träningshyperparameter som styr hur mycket parametrar ändrar varje uppdateringssteg.

Ett empiriskt samband som visar hur prestanda förbättras med modellstorlek, data eller beräkning.

Ett uppmärksamhetsmönster där varje token endast tar hand om ett fönster med fast storlek av närliggande tokens för att minska beräkningen.

Ett generativt upplägg där en generator och diskriminator tränar mot varandra.

Hur väl en modell presterar på ny, osynlig data utanför träningsuppsättningen.

En optimeringsmetod som uppdaterar parametrar i den riktning som minskar fel.