What is Scaling Law? Definition | AI Understanding

Definicja

Zależność empiryczna pokazująca, jak wydajność poprawia się wraz z rozmiarem modelu, danymi lub obliczeniami.

Powiązane terminy

Uwaga na przesuwane okno

Wzorzec uwagi, w którym każdy token obsługuje tylko okno pobliskich tokenów o stałym rozmiarze, aby zmniejszyć obliczenia.

Samodzielna gra

Konfiguracja szkoleniowa, w której model jest ulepszany poprzez generowanie danych w drodze interakcji lub konkursów z jego kopiami.

Przejrzystość algorytmiczna

Jak jasno logika, źródła danych i ograniczenia systemu AI są udokumentowane i zrozumiałe.

Zmiana rzeczywistych danych wejściowych w czasie, która może obniżyć wydajność modelu.

Jak dobrze model radzi sobie z nowymi, niewidocznymi danymi spoza zbioru szkoleniowego.

Wektor pokazujący, jak bardzo powinien zmienić się każdy parametr, aby zmniejszyć straty.

Dowiedz się więcej z naszych bezpłatnych przewodników

AI & Law AI in Law Enforcement and Policing YaRN Context Window Scaling Chinchilla Scaling Laws

Zobacz także

Safety Filter Semantic Search Robustness Self-Supervised Learning Reward Model Sentiment Analysis Retrieval Small Language Model (SLM)

Przejrzyj pełny słownik AI Przeglądaj wszystkie bezpłatne przewodniki AI