AI 용어집

플래시 주의(이)란?

정의

메모리 사용을 줄이고 변환기 훈련 및 추론 속도를 높이는 최적화된 주의 알고리즘입니다.

전체 AI 용어집 찾아보기무료 AI 가이드 모두 살펴보기

관련 용어

피처스토어훈련 및 추론을 위해 검증된 ML 기능을 일관되게 저장하고 제공하기 위한 관리형 시스템입니다.역전파예측 오류를 네트워크를 통해 역방향으로 전파하여 모델 가중치를 업데이트하는 핵심 훈련 알고리즘입니다.모델 양자화모델 가중치의 수치 정밀도를 줄여 메모리와 추론 비용을 줄입니다.변압기시퀀스 전체의 관계를 병렬로 모델링하는 데 주의를 기울이는 신경 아키텍처입니다.훈련 손실훈련 중에 계산되고 시간이 지남에 따라 하향 최적화되는 모델 오류 값입니다.다중 헤드 주의다양한 유형의 관계를 캡처하기 위해 여러 주의 작업을 병렬로 실행하는 변환기 메커니즘입니다.

무료 가이드에서 자세히 알아보세요

Attention Rollout and Head PruningSequence Parallelism and Ring AttentionMulti-Head Latent AttentionRWKV Linear Attention

또한보십시오

QLoRADPO (Direct Preference Optimization)Positional EncodingTree of ThoughtsRoPE (Rotary Positional Embeddings)ReActALiBiAgentic Loop