What is Flash Attention? Definition | AI Understanding

Definicja

Zoptymalizowany algorytm uwagi, który zmniejsza zużycie pamięci i przyspiesza uczenie i wnioskowanie transformatora.

Powiązane terminy

Sklep z funkcjami

Zarządzany system do przechowywania i udostępniania zweryfikowanych funkcji ML w sposób spójny na potrzeby uczenia i wnioskowania.

Propagacja wsteczna

Podstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.

Kwantyzacja modelu

Zmniejszenie precyzji numerycznej wag modeli w celu zmniejszenia kosztów pamięci i wnioskowania.

Architektura neuronowa, która skupia uwagę na równoległym modelowaniu relacji między sekwencjami.

Strata treningowa

Wartość błędu modelu obliczona podczas uczenia i optymalizowana w dół w czasie.

Uwaga wielogłowa

Mechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head Pruning Sequence Parallelism and Ring Attention Multi-Head Latent Attention RWKV Linear Attention

Zobacz także

QLoRA DPO (Direct Preference Optimization)Positional Encoding Tree of Thoughts RoPE (Rotary Positional Embeddings)ReAct ALiBi Agentic Loop

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI