프롬프트 튜닝
프롬프트 조정은 단어를 직접 작성하는 대신 입력 앞에 추가된 소수의 연속 '소프트 프롬프트' 벡터를 학습하여 고정된 언어 모델을 적용합니다.
개요
It is one of the leanest ways to specialize a giant model, and it gets better as models get bigger.
심층 분석
Google 연구원 Lester, Al-Rfou 및 Constant가 2021년에 도입한 프롬프트 튜닝은 접두사 튜닝의 가장 간단한 사촌입니다. 텍스트 프롬프트를 수동으로 작성하는 대신 전체 모델을 고정하고 입력 레이어에만 추가되는 연속 임베딩('소프트 프롬프트')의 작은 매트릭스를 학습합니다. 경사하강법은 이러한 벡터를 조정하여 작업에 적합한 동작을 유도합니다. 놀라운 발견은 기본 모델이 수십억 개의 매개변수로 확장됨에 따라 신속한 조정이 완전한 미세 조정으로 격차를 줄여 결국 SuperGLUE와 같은 벤치마크와 일치시킨다는 것입니다. 각 작업에는 고유한 작은 소프트 프롬프트(종종 수천 개의 매개변수)만 필요하므로 단일 고정 모델은 한 번에 많은 작업을 처리할 수 있습니다. 저자는 이를 '매개변수 효율적인 프롬프트 조정을 위한 규모의 힘'이라고 표현했습니다.
기술적 통찰력
소프트 프롬프트는 실제 단어가 아닙니다. 즉, 어휘의 토큰과 일치할 필요가 없는 임베딩 공간의 자유 부동 벡터입니다. 이는 입력 임베딩 레이어에만 추가되므로(모든 레이어에 주입되는 접두사 조정과 달리) 신속한 조정이 더욱 쉬워집니다. 모델이 고정되어 있으므로 그라데이션은 소프트 프롬프트 임베딩으로만 다시 흐릅니다. 초기화, 프롬프트 길이 및 모델 규모는 모두 품질에 큰 영향을 미칩니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
프롬프트 튜닝의 미래
신속한 튜닝은 작은 학습된 신호로 고정된 기초 모델을 조종할 수 있다는 아이디어를 대중화했으며 이는 오늘날의 PEFT 툴킷의 대부분을 뒷받침합니다. 모델이 계속 확장됨에 따라 격차 해소 효과로 인해 저렴한 다중 작업 배포에 소프트 프롬프트가 매력적으로 보입니다. 연구에서는 학습 가능한 프롬프트를 작업과 모델 전반에 걸쳐 전송하고 검색과 결합하여 제어 가능하고 안전한 생성을 위해 사용하는 아이디어를 확장하고 있습니다. LoRA 및 어댑터와 함께 저렴한 비용으로 유지되는 소프트 프롬프트를 기대하세요.
실제 구현
많은 SuperGLUE 작업을 위해 하나의 고정된 T5 모델을 전문화하고 작업별로 별도의 소프트 프롬프트를 저장합니다.
각각 학습된 프롬프트가 있는 여러 고객에게 단일 대형 모델을 저렴하게 배포
문구를 수동으로 엔지니어링하지 않고도 감정 또는 분류 동작 조정
소프트 프롬프트 전송: 하나의 작업에 대한 프롬프트를 사전 훈련하여 관련 작업에 대한 학습을 시작합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Prompt Tuning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
Prompt Engineering
자주 묻는 질문
What is Prompt Tuning?
프롬프트 조정은 단어를 직접 작성하는 대신 입력 앞에 추가된 소수의 연속 '소프트 프롬프트' 벡터를 학습하여 고정된 언어 모델을 적용합니다. 이는 거대한 모델을 전문화하는 가장 간결한 방법 중 하나이며, 모델이 커질수록 더 좋아집니다.
프롬프트 튜닝에서 '소프트 프롬프트'란 무엇입니까?
소프트 프롬프트는 사람이 읽을 수 있는 단어가 아닌 임베딩 공간에서 훈련 가능한 연속 벡터입니다.
프롬프트 조정은 훈련 가능한 벡터를 어디에 추가합니까?
프롬프트 조정은 입력에서만 소프트 프롬프트를 앞에 추가하므로 접두사 조정보다 가볍습니다.
원본 논문에서는 모델 규모에 대해 어떤 놀라운 효과를 강조했습니까?
논문 제목은 '규모의 힘'을 강조했습니다. 더 큰 모델은 신속한 조정이 완전한 미세 조정에 맞설 수 있게 해줍니다.
프롬프트 튜닝을 도입한 사람은 누구입니까?
Google의 Brian Lester, Rami Al-Rfou 및 Noah Constant는 2021년에 프롬프트 튜닝 문서를 게시했습니다.
프롬프트 튜닝을 통해 어떻게 하나의 모델에서 많은 작업을 처리할 수 있나요?
작은 소프트 프롬프트만이 작업별로 다르므로 하나의 고정 모델이 프롬프트를 교환하여 많은 작업을 호스팅할 수 있습니다.