que es Modelo disperso?

Una política en la que las cargas útiles de solicitud/respuesta no se almacenan después del procesamiento más allá de ventanas operativas de corta duración.

Un patrón de atención en el que cada token atiende solo a una ventana de tamaño fijo de tokens cercanos para reducir la computación.

Un patrón de ataque en el que se insertan instrucciones maliciosas en las entradas del modelo o en el contenido recuperado.

Un enfoque de capacitación y configuración del comportamiento en el que los resultados del modelo se guían por un conjunto fijo de principios escritos.

Un espacio de representación comprimido donde conceptos similares se colocan uno cerca del otro como vectores.

Un método de aceleración de inferencia en el que un modelo borrador pequeño propone tokens que un modelo más grande verifica en paralelo.