Termin ze słownika AI

Czym jest Lina (obrotowe osadzenie pozycyjne)?

Definicja

Metoda kodowania pozycyjnego, która obraca wektory zapytań i kluczy w celu zakodowania względnych pozycji tokenów.

Przejrzyj pełny słownik AIPrzeglądaj wszystkie bezpłatne przewodniki AI

Powiązane terminy

Kodowanie pozycyjneInformacje dodane do osadzania tokenów, aby transformatory mogły rozróżnić kolejność sekwencji.AlibiMetoda błędu pozycyjnego, która penalizuje wyniki uwagi na podstawie odległości symbolicznej, pomagając modelom ekstrapolować na dłuższe konteksty.RAG-FusionMetoda wyszukiwania, która generuje wiele wariantów zapytań, pobiera wyniki dla każdego z nich i łączy rankingi.ANN (przybliżony najbliższy sąsiad)Algorytmy, które znajdują wektory blisko zapytania bez wyczerpującego porównania, zamieniając dokładność na szybkość.RAG (generacja wspomagana odzyskiwaniem)Metoda, która pobiera wiedzę zewnętrzną i przekazuje ją do generowania w momencie wnioskowania.Uczenie się przez wzmocnienie na podstawie informacji zwrotnej od ludzi (RLHF)Metoda szkoleniowa wykorzystująca sygnały preferencji ludzkich do kształtowania zachowań modelu.

Dowiedz się więcej z naszych bezpłatnych przewodników

Audio Embeddings and Representation LearningSentence-BERT EmbeddingsX-Vector Speaker EmbeddingsHyDE Hypothetical Document Embeddings

Zobacz także

Multi-Head AttentionSliding Window AttentionFlash AttentionBPE (Byte Pair Encoding)QLoRASentencePieceDPO (Direct Preference Optimization)Tree of Thoughts