학습 뉴스 도구 채용 미션

AI 용어집

가지치기(이)란?

정의

덜 중요한 모델 가중치나 뉴런을 제거하여 크기와 계산을 줄입니다.

전체 AI 용어집 찾아보기 무료 AI 가이드 모두 살펴보기

슬라이딩 윈도우 주의계산을 줄이기 위해 각 토큰이 근처 토큰의 고정 크기 창에만 주의를 기울이는 주의 패턴입니다.스케일링 법칙모델 크기, 데이터 또는 컴퓨팅에 따라 성능이 어떻게 향상되는지 보여주는 경험적 관계입니다.증류된 모델추론 시 더 적은 컴퓨팅을 사용하면서 더 큰 모델의 동작을 모방하도록 훈련된 더 작은 모델입니다.역전파예측 오류를 네트워크를 통해 역방향으로 전파하여 모델 가중치를 업데이트하는 핵심 훈련 알고리즘입니다.컴퓨팅모델을 훈련하고 실행하는 데 필요한 처리 리소스는 FLOPS 또는 GPU 시간으로 측정되는 경우가 많습니다.그라데이션손실을 줄이기 위해 각 매개변수를 얼마나 변경해야 하는지 보여주는 벡터입니다.

무료 가이드에서 자세히 알아보세요

Attention Rollout and Head Pruning Structured Pruning and Layer Dropping Model Pruning

또한보십시오

Prompt Injection Quantization Prompt Engineering RAG (Retrieval-Augmented Generation)Prompt Recall Pretraining Recommendation System