Termin ze słownika AI

Czym jest Błyskawiczna uwaga?

Definicja

Zoptymalizowany algorytm uwagi, który zmniejsza zużycie pamięci i przyspiesza uczenie i wnioskowanie transformatora.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Sklep z funkcjamiZarządzany system do przechowywania i udostępniania zweryfikowanych funkcji ML w sposób spójny na potrzeby uczenia i wnioskowania.Propagacja wstecznaPodstawowy algorytm szkoleniowy, który aktualizuje wagi modeli poprzez propagację błędów przewidywań wstecz w sieci.Kwantyzacja modeluZmniejszenie precyzji numerycznej wag modeli w celu zmniejszenia kosztów pamięci i wnioskowania.TransformatorArchitektura neuronowa, która skupia uwagę na równoległym modelowaniu relacji między sekwencjami.Strata treningowaWartość błędu modelu obliczona podczas uczenia i optymalizowana w dół w czasie.Uwaga wielogłowaMechanizm transformatorowy, który wykonuje równolegle kilka operacji uwagi w celu uchwycenia różnych typów relacji.

Dowiedz się więcej z naszych bezpłatnych przewodników

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

Zobacz także

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop