AI 용어집

슬라이딩 윈도우 주의(이)란?

정의

계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

가지치기덜 중요한 모델 가중치나 뉴런을 제거하여 크기와 계산을 줄입니다.사용량 기반 청구API 호출, 토큰, 추론 시간 또는 소비된 컴퓨팅에 따라 비용이 조정되는 가격입니다.스케일링 법칙모델 크기, 데이터 또는 컴퓨팅에 따라 성능이 어떻게 향상되는지 보여주는 경험적 관계입니다.희소 모델계산을 줄이기 위해 많은 매개변수가 0이거나 비활성인 모델입니다.추측적 디코딩작은 초안 모델이 더 큰 모델이 병렬로 검증하는 토큰을 제안하는 추론 가속화 방법입니다.컨텍스트 창언어 모델이 한 번에 처리할 수 있는 최대 입력 토큰 양입니다.

무료 가이드에서 자세히 알아보세요

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

또한보십시오

ALiBiBPE (Byte Pair Encoding)RoPE (Rotary Positional Embeddings)SentencePiecePositional EncodingANN (Approximate Nearest Neighbor)Multi-Head AttentionHNSW