미세 조정

학습된 매개변수를 변경하여 행동에 적응합니다. 프롬프트에 예시를 추가하거나 답변 시간에 문서를 가져오는 것과는 다르며, 사실 정보를 자동으로 최신 상태로 유지하지는 않습니다.

주요 시사점

• 적응할 행동을 정의하세요.
• 더 단순한 대안들을 비교해 보세요.
• 미루고 있는 과제의 성과와 퇴보를 평가하세요.

변경이 필요한 동작을 정의하세요. 일관된 출력 스타일, 전문 분류 작업, 최근 사실 사용은 서로 다른 요구사항입니다. 프롬프트나 검색 기능은 훈련 작업 없이도 일부 문제를 해결할 수 있습니다. 모델 유지보수 작업을 추가하기 전에 이러한 대안들을 비교하세요. 의도된 동작을 반영하고 어려운 사례를 포함하는 예제를 작성하세요. 보류 평가 세트는 훈련 및 튜닝 결정과 분리하여 유지하세요. 데이터셋을 사용하기 전에 라벨, 중복 기록, 권한 및 기밀 정보를 검토하세요. 적응은 방법에 따라 모든 매개변수 또는 선택된 하위 집합을 업데이트할 수 있습니다. 메모리가 적거나 훈련 가능한 매개변수가 적다고 해서 결과 모델을 평가할 필요가 없어지지는 않습니다. 목표 작업과 유지되어야 할 기능을 모두 확인하세요. 기본 모델, 데이터 버전, 훈련 설정, 결과 체크포인트를 기록하세요. 배포 비용, 응답 시간, 롤백을 릴리스 전에 평가합니다. 출처 지식이 변경되면 검색 기능을 업데이트하거나, 데이터셋을 수정하거나, 재교육하거나, 증거 워크플로우를 변경할지 결정하세요.

1. 명확하게 답변할 줄 알지만 매주 정책을 업데이트해야 하는 지원 보조원을 상상해 보세요.
2. 최신 문구를 삽입하기 위해 재교육하는 대신, 현재 정책을 검색하는 테스트부터 시작하세요.
3. 실제 문제가 안정적인 응답 형식을 지속적으로 따르지 않는 경우, 프롬프트 변경 사항과 신중하게 평가된 미세 조정 데이터셋을 비교하세요.

이 구성된 결정은 변화하는 증거와 학습된 행동의 변화를 구분합니다.