친칠라 스케일링 법칙
2022년 DeepMind의 Chinchilla 확장 법칙에 따르면 대부분의 대규모 언어 모델은 심하게 훈련되지 않은 것으로 나타났습니다. 즉, 고정된 컴퓨팅 예산의 경우 모델 크기와 훈련 데이터를 대략 동일한 비율로 확장해야 합니다.
개요
이는 '최적' 모델 크기의 의미를 재정의하고 실험실에서 컴퓨팅에 소비하는 방식을 재구성했기 때문에 중요합니다.
심층 분석
Chinchilla 이전에는 상대적으로 적은 양의 데이터를 학습하면서 점점 더 큰 모델(예: 175B 매개변수 GPT-3)을 구축하는 것이 추세였습니다. DeepMind는 다양한 크기와 데이터 예산에 걸쳐 400개가 넘는 모델을 훈련한 다음 고정 컴퓨팅(FLOP) 예산에 따라 매개변수 및 토큰의 함수로 손실을 예측하는 곡선을 맞췄습니다. 연구 결과: 매개변수와 훈련 토큰은 대략 1:1 비율로 함께 확장되어야 하며, 이는 매개변수당 약 20개의 훈련 데이터 토큰을 의미합니다. 이를 증명하기 위해 그들은 1조 4천억 개의 토큰에 대한 70B 매개변수 모델인 Chinchilla를 교육했습니다. 이는 훨씬 더 많은 데이터에 대해 교육을 받았기 때문에 동일한 컴퓨팅을 사용했음에도 불구하고 훨씬 더 큰 280B 매개변수 Gopher보다 성능이 뛰어났습니다.
기술적 통찰력
법칙은 매개변수적 손실 함수 L(N, D)를 맞추는 것에서 나옵니다. 여기서 N은 매개변수이고 D는 환원 불가능한 손실, 모델 크기 및 데이터 크기 항을 포함한 토큰입니다. 컴퓨팅 제약 조건(컴퓨팅은 대략 N 곱하기 D에 비례함)에 따라 손실을 최소화하면 최적의 N과 D가 모두 유사한 지수를 사용하여 컴퓨팅 성능으로 증가하므로 컴퓨팅 최적 비율은 매개변수당 20개 토큰 근처로 유지됩니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
친칠라 비늘법의 미래
Chinchilla는 매개변수 수를 추적하는 것에서 훨씬 더 고품질의 데이터를 모델에 제공하는 것으로 분야를 전환했으며, 현대 모델은 종종 추론을 더 저렴하게 만들기 위해 '계산 최적' 지점을 훨씬 넘어서 훈련합니다. 고품질 웹 텍스트가 부족해짐에 따라 데이터 큐레이션, 합성 데이터, 다중 시대 및 다중 모드 데이터에 관심이 쏠리고 있습니다. 핵심 교훈은 지속됩니다. 데이터와 매개변수는 균형을 이루어야 하며 원시 크기만으로는 더 이상 목표가 아닙니다.
실제 구현
DeepMind의 70B 매개변수 Chinchilla는 훨씬 더 많은 데이터에 대한 교육을 통해 동일한 컴퓨팅을 사용하는 벤치마크에서 280B Gopher를 능가했습니다.
처음부터 모델을 계획할 때 팀이 매개변수당 약 20개의 훈련 토큰 예산을 책정하도록 안내합니다.
추론 시 실행 비용이 더 저렴하고 LLaMA와 같은 더 작고 데이터가 풍부한 모델을 정당화합니다.
계획된 모델이 '과소 학습'되어 추가 매개변수보다 추가 데이터에서 더 많은 이점을 얻을 수 있는지 추정
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Chinchilla Scaling Laws quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
신경망의 확장 법칙
자주 묻는 질문
친칠라 스케일링 법칙이란 무엇입니까?
2022년 DeepMind의 Chinchilla 확장 법칙에 따르면 대부분의 대규모 언어 모델은 심하게 훈련되지 않은 것으로 나타났습니다. 즉, 고정된 컴퓨팅 예산의 경우 모델 크기와 훈련 데이터를 대략 같은 비율로 확장해야 합니다. 이는 '최적' 모델 크기의 의미를 재정의하고 실험실에서 컴퓨팅에 소비하는 방식을 재구성했기 때문에 중요합니다.
친칠라 스케일링 법칙의 핵심 발견은 무엇이었습니까?
Chinchilla는 고정된 컴퓨팅 예산의 경우 매개변수와 훈련 토큰이 대략 1:1로 함께 증가해야 함을 보여주었습니다.
Chinchilla가 계산에 최적이라고 제안한 매개변수당 훈련 토큰은 대략 몇 개입니까?
컴퓨팅 최적 비율은 모든 모델 매개변수에 대해 대략 20개의 훈련 토큰으로 계산됩니다.
친칠라가 훨씬 작았음에도 불구하고 어떤 모델이 더 뛰어난 성능을 발휘했나요?
70B 매개변수 Chinchilla는 훨씬 더 많은 데이터를 학습했기 때문에 동일한 컴퓨팅을 사용하여 DeepMind의 자체 280B 매개변수 Gopher를 능가했습니다.
당시 Chinchilla는 GPT-3과 같은 모델에 대해 무엇을 암시했습니까?
그 시대의 많은 대형 모델은 훈련이 부족했습니다. 즉, 매개변수 수에 대해 훨씬 더 많은 데이터를 사용하면 더 나은 성능을 발휘할 수 있었을 것입니다.
친칠라 분석에서 대략적인 계산은 어떻게 이루어졌습니까?
학습 계산(FLOP)은 대략 매개변수 수에 학습 토큰 수를 곱한 값에 비례합니다.