Il prossimoProssima guida
Modelli BERT e codificatori
Intelligenza artificiale linguistica
GUIDA ALL'AI linguistica
Bi-encoders encode queries and documents separately, while cross-encoders jointly process a query-document pair.
Ascolta questa guidaNarrato dall'IA · ~1 min
ColBERT is a separate late-interaction design that retains contextualized token vectors.
A bi-encoder maps each text to a fixed-length vector that can be indexed; Sentence Transformers documents cosine similarity and retrieval/reranking examples. A cross-encoder jointly processes a query and candidate text to produce a pair score, which is more expensive to apply to every item in a large corpus. ColBERT instead stores token-level contextual vectors and scores query-document pairs with MaxSim late interaction. These are architectural trade-offs and cited examples, not evidence that one approach is universally more accurate, dominant, or deployed at a particular scale.
Use a bi-encoder when document vectors need to be precomputed for candidate retrieval.
Use a cross-encoder to score a query and candidate together in a reranking stage.
Use ColBERT MaxSim to retain token-level matching after independent encoding.
Compare quality and latency on the target corpus and query set.
Choose and evaluate an encoder based on corpus size, latency budget, hardware, relevance labels, and update frequency. Do not infer industry prevalence or future adoption from the cited examples.
Newsletter gratuita
Tre storie verificate sull'IA ogni mattina nei giorni feriali, scritte in un inglese semplice. Gratuito per sempre, senza pubblicità.
Un'email ogni giorno feriale. Disiscriviti con un clic. Non vendiamo né condividiamo mai il tuo indirizzo.
Mettiti alla prova
Feedback immediato su ogni risposta e un certificato condivisibile con un ID verificabile una volta superato un corso.
Sostieni l'istruzione gratuita sull'IA. AI Understanding è un'organizzazione non profit 501(c)(3) — nessun annuncio, nessun paywall, mai. Fai una donazione
Bi-encoders encode queries and documents separately, while cross-encoders jointly process a query-document pair. ColBERT is a separate late-interaction design that retains contextualized token vectors.
I codificatori incrociati concatenano entrambi gli input e lasciano che l'attenzione si estenda sull'intera sequenza; i bi-codificatori codificano ciascun testo isolatamente in vettori separati.
Poiché ogni documento è codificato in modo indipendente, il relativo vettore è riutilizzabile in tutte le query e può essere indicizzato in anticipo.
Il modello standard di recupero e riclassificazione utilizza un bi-codificatore veloce per un richiamo ampio e un codificatore incrociato accurato per riordinare l'elenco ristretto.
ColBERT retains contextualized token vectors and uses late interaction, including a MaxSim-style token-matching score, to compare query and document representations.
Un bi-codificatore mappa ciascun testo su un vettore di incorporamento; la somiglianza viene quindi calcolata tra i vettori.
Continua a imparare
Altre guide selezionate per questo argomento
Il prossimoProssima guida
Modelli BERT e codificatori
Intelligenza artificiale linguistica