GPT 기록

초기 GPT 연구 시퀀스는 언어-모델 사전 학습, 더 넓은 작업 이전, 그리고 맥락 내에서 제공된 예제를 통한 학습을 탐구했습니다. 이 가이드는 포괄적이거나 최신 제품 버전 목록을 제시하는 것이 아니라 이러한 연구 이정표들을 다룹니다.

주요 시사점

• 역사적 배경에서 이정표를 읽어보세요.
• 맥락 내 예시와 무게 업데이트는 구분하세요.
• 연구 모델과 그 주위에 구축된 제품을 분리하세요.

2018년 연구는 비지도 언어 모델 사전 학습과 언어 이해 작업에 대한 감독 적응을 결합했습니다. 이 연구의 기여는 광범위한 사전 학습된 변환기가 작업별 미세 조정을 통해 여러 하위 작업을 어떻게 지원할 수 있는지에 관한 것이었습니다. 2019년 GPT-2 보고서는 언어 모델을 비지도 다중 작업 학습자로 분석했습니다. 다음 토큰 언어 모델이 각 작업에 별도의 훈련 절차 없이 텍스트로 설명된 작업을 수행할 수 있는지 연구했습니다. 연구 프레임워크가 중요합니다: 특정 평가 결과가 모든 과제가 해결된다는 의미는 아닙니다. 2020년 GPT-3 연구는 소수 샷 평가를 강조했습니다. 예제가 입력 맥락에 포함되어, 보고된 평가 중 해당 개별 작업에 대한 구배 업데이트 없이 작업을 시도할 수 있었습니다. 이는 라벨이 붙은 데이터셋에서 모델 매개변수를 미세 조정하는 것과는 다릅니다. 연구 명칭, 모델 버전, 제품을 구분하세요. 채팅 인터페이스, 검색, 도구, 그리고 이후의 적응은 시스템이 기본 언어 모델을 넘어 작동하는 방식을 바꿀 수 있습니다. 과거 결과는 데이터셋, 프롬프트, 평가 설정, 한계 사항과 함께 읽어야 합니다. 이는 현재 제품에 대한 영원한 측정이 아니라 특정 실험의 증거입니다.

1. 분류기가 세 개의 라벨이 붙은 예시를 입력한 후 네 번째 메시지 전에 실행된다고 상상해 보세요. 응답은 바뀌지만 학습 작업 실행은 없습니다.
2. 이것을 새로 학습된 모델이 아니라 맥락 내 예시로 설명하세요.
3. 별도의 작업이 여러 라벨 메시지를 사용해 가중치를 업데이트한다면, 데이터와 새 모델 버전을 미세 조정으로 문서화하세요.

이 구성된 비교는 GPT 역사에서 두 가지 중요한 아이디어를 혼동하는 것을 방지하는 데 도움을 줍니다.