자기 지도 학습
자기 지도 학습은 데이터 자체 내부에 답이 숨겨져 있는 작업을 고안하여 레이블이 없는 데이터에 대한 모델을 교육합니다.
개요
It is how modern language and vision foundation models learn from the raw internet without armies of human labelers.
심층 분석
데이터에 직접 레이블을 지정하는 것은 느리고 비용이 많이 들지만 세상은 레이블이 지정되지 않은 텍스트, 이미지, 오디오 및 비디오로 가득 차 있습니다. 자기 지도 학습은 데이터가 자체 답변을 제공하는 '구실 작업'을 생성하여 이를 잠금 해제합니다. 전형적인 예는 BERT에서 사용하는 마스크된 언어 모델링입니다. 문장에서 일부 단어를 숨기고 컨텍스트에서 예측하도록 모델을 훈련시킵니다. GPT 스타일 모델은 다음 단어를 예측합니다. 비전에서 SimCLR과 같은 대조 방법은 모델에 동일한 이미지의 두 가지 확대된 작물을 보여주고 서로 다른 이미지를 분리하면서 서로 속해 있음을 가르칩니다. 이러한 스스로 만든 퍼즐을 풀면 모델은 의미와 구조에 대한 풍부한 내부 표현을 구축하게 됩니다. 그런 다음 이러한 표현은 레이블이 지정된 데이터가 거의 또는 전혀 없는 실제 다운스트림 작업으로 강력하게 전송됩니다.
기술적 통찰력
비결은 무료로 감독 신호를 생성하는 것입니다. 마스크된 모델링에서는 숨겨진 토큰이 레이블이므로 사람이 주석을 달지 않고도 손실을 계산할 수 있습니다. 대조 학습에서는 한 이미지의 두 확대가 임베딩 공간에 가까이 있어야 하는 '양성 쌍'을 형성하는 반면, 다른 이미지는 밀려난 '음성'입니다. 어느 쪽이든 모델은 순수하게 데이터 자체 구조에서 파생된 레이블에 최적화되어 나중에 가벼운 미세 조정만 필요한 일반적인 기능을 학습합니다.
전략적 영향
더 명확한 결정들
이는 명확한 기술적 주장과 마케팅 언어를 구분하는 데 도움이 됩니다.
비용 및 예산
돈이나 시간을 들이기 전에 더 나은 구현 질문을 할 수 있습니다.
팀과 워크플로우
이해를 공유한 팀은 더 나은 제품, 정책 및 학습 결정을 내립니다.
자기 지도 학습의 미래
자기 지도 학습은 오늘날의 기초 모델을 뒷받침하는 엔진이며, 그 역할은 점점 더 커질 것입니다. 분명한 추세는 단일 모델이 자체 감독 목표를 사용하여 텍스트, 이미지, 오디오 및 비디오를 공동으로 학습하는 다중 모드 사전 학습을 지향하는 것입니다. 연구자들은 부정적인 예가 필요하지 않은 비전 및 자기 증류 기술의 가면 예측 접근 방식을 향해 대조 방법을 추진하고 있습니다. 고품질의 레이블이 지정된 데이터가 병목 현상을 일으키므로 레이블이 지정되지 않은 방대한 스트림에서 직접 유용한 구조를 학습하는 것이 AI 확장의 핵심 전략으로 남을 것입니다.
실제 구현
BERT는 가려진 단어를 예측한 후 검색, 감정 또는 질문 답변을 위해 미세 조정하여 언어를 학습합니다.
나중에 아주 적은 수의 레이블로 분류할 수 있도록 레이블이 지정되지 않은 사진에 대해 이미지 인코더를 사전 교육하는 SimCLR
거대한 텍스트 말뭉치 전체에 걸쳐 다음 토큰을 반복적으로 예측하여 작성 방법을 학습하는 GPT 스타일 모델
전사에 적용되기 전에 레이블이 지정되지 않은 원시 오디오(마스킹된 사운드 세그먼트 예측)를 사전 학습한 음성 모델
위험 및 가드레일
팀마다 동일한 용어를 다르게 사용할 수 있으므로 범위를 조기에 정의하세요.
벤치마크는 강력해 보이지만 실제 성능은 고르지 않을 수 있습니다.
데이터 품질 및 평가 계획을 무시하면 취약한 결과가 발생하는 경우가 많습니다.
구현 로드맵
필요한 결과에 대한 일반 언어 정의부터 시작하세요.
테스트하기 전에 하나의 성공 지표와 하나의 실패 조건을 선택하세요.
세련된 데모 세트가 아닌 대표 데이터를 사용하여 소규모 파일럿을 실행하세요.
자기 지도 학습이 도움이 되는 부분과 더 간단한 방법이 더 나은 부분을 문서화하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Supervised Learning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
지도 학습
자주 묻는 질문
What is Self-Supervised Learning?
자기 지도 학습은 데이터 자체 내부에 답이 숨겨져 있는 작업을 고안하여 레이블이 없는 데이터에 대한 모델을 교육합니다. 이는 인간 라벨러 군대 없이 원시 인터넷에서 현대 언어 및 비전 기반 모델을 학습하는 방법입니다.
무엇이 학습을 '자기 지도'하게 만드는가?
자기 지도 학습은 데이터에 답이 숨겨져 있는 구실 작업을 고안하므로 사람이 라벨을 붙일 필요가 없습니다.
자기 지도 학습이 기초 모델에 그토록 중요한 이유는 무엇입니까?
감독 신호는 데이터 자체에서 나오므로 모델은 웹의 레이블이 지정되지 않은 거대한 말뭉치에서 사전 훈련될 수 있습니다.
자기 감독 사전 학습 후 일반적으로 다음 단계는 어떻게 되나요?
사전 훈련은 잘 전달되는 일반 표현을 구축하므로 특정 작업에는 레이블이 지정된 데이터에 대한 가벼운 미세 조정만 필요합니다.
GPT 스타일 모델의 자체 감독 작업은 BERT와 어떻게 다릅니까?
GPT 스타일 모델은 시퀀스에서 다음 토큰을 예측하도록 훈련되는 반면, BERT는 왼쪽 및 오른쪽 컨텍스트를 모두 사용하여 마스크된 토큰을 예측합니다.