AI 용어집

무엇입니까? 문장조각?

정의

공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.

관련 용어

클립
텍스트와 이미지 간의 공유 표현을 학습하는 다중 모드 모델 아키텍처입니다.
지속적인 학습
모델이 사전 지식을 잊지 않고 새로운 데이터로부터 계속 학습할 수 있도록 하는 훈련 접근 방식입니다.
상황에 맞는 학습
프롬프트에 직접 제공된 예제의 패턴을 따르는 모델의 능력입니다.
의도 분류
텍스트 쿼리에서 사용자의 목적을 예측하여 올바르게 라우팅합니다.
대형 언어 모델(LLM)
텍스트를 생성하고 분석하기 위해 대규모 텍스트 말뭉치를 학습한 언어 모델입니다.
토큰
단어 조각이나 기호와 같은 언어 모델에 의해 처리되는 텍스트 덩어리입니다.

무료 가이드에서 자세히 알아보세요

SentencePiece Tokenization

또한보십시오

BPE (Byte Pair Encoding)ANN (Approximate Nearest Neighbor)Sliding Window AttentionHNSWALiBiRerankerRoPE (Rotary Positional Embeddings)Hybrid Search
전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기