人工智慧術語

什麼是 句子片段?

定義

與語言無關的分詞器，可以直接從原始文本中學習子詞單元，而無需在空格上進行預分割。

相關術語

剪輯
一種學習文字和圖像之間共享表示的多模態模型架構。
持續學習
讓模型不斷從新資料中學習而不忘記先驗知識的訓練方法。
情境學習
模型遵循提示中直接提供的範例中的模式的能力。
意圖分類
根據文字查詢預測使用者的目的以正確路由。
大語言模型（LLM）
在海量文本語料庫上訓練來產生和分析文本的語言模型。
代幣
由語言模型處理的文字區塊，例如單字或符號。

在我們的免費指南中了解更多信息

SentencePiece Tokenization

參見

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
瀏覽完整的人工智慧術語表探索所有免費的人工智慧指南