AI 용어집

KV 캐시(이)란?

정의

변환기가 과거 주의를 다시 계산하지 않고 새 토큰을 생성할 수 있도록 하는 이전 토큰의 저장된 키 및 값 텐서입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

지속적인 학습모델이 사전 지식을 잊지 않고 새로운 데이터로부터 계속 학습할 수 있도록 하는 훈련 접근 방식입니다.탑케이 샘플링가장 가능성이 높은 k개의 다음 토큰에서만 샘플링하는 디코딩 전략입니다.비지도 학습명시적인 목표 출력 없이 레이블이 지정되지 않은 데이터에서 패턴을 학습합니다.슬라이딩 윈도우 주의계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.문장조각공백을 미리 분할하지 않고 원시 텍스트에서 직접 하위 단어 단위를 학습하는 언어에 구애받지 않는 토크나이저입니다.출석 페널티토큰이 전혀 등장할 확률을 줄여 새로운 화제를 불러일으키는 디코딩 설정입니다.

무료 가이드에서 자세히 알아보세요

KV CacheKV Cache OptimizationCache-Augmented Generation (CAG)

또한보십시오

Speculative DecodingMCP (Model Context Protocol)Zero Data RetentionAgentic LoopUsage-Based BillingReActTrust CalibrationTree of Thoughts