개요
표준 공식에서는 tau가 비트 단위의 목표 교차 엔트로피를 지정하며, 이는 퍼플렉시티 2^tau에 해당합니다. 이 값은 잘라내기(트렁케이션) 임계값을 조정하지만, 모든 구절의 퍼플렉시티나 사실 정확성을 보장하지는 않습니다.
심층 분석
표준 top-k 및 top-p 디코딩은 고정 컷오프를 적용하지만, 생성되는 텍스트의 예측 가능성은 구절마다 달라질 수 있습니다. Mirostat은 2020년 Basu와 동료들이 제안한 것으로, 디코딩을 피드백-제어 문제로 다룹니다. 표준 공식에서 tau는 비트 단위의 목표 평균 놀라움 또는 교차 엔트로피이며, 해당 퍼플렉시티는 2^tau입니다. 샘플러는 토큰 놀라움을 측정하고 목표와의 차이에 따라 트렁케이션 임계값을 조정합니다. 생성된 토큰이 목표보다 덜 놀라울 경우 임계값을 완화하고, 더 놀라울 경우 강화합니다. 이는 평균 놀라움을 조절하는 것이며, 각 토큰이나 구절이 목표와 정확히 일치할 필요는 없습니다. 사실 정확성을 측정하지도 않습니다.
실제 구현
KoboldAI와 같은 로컬 LLM 앱에서 긴 이야기나 역할극 세대가 반복적인 루프로 붕괴되는 것을 방지합니다.
취미로 출력 품질을 조정하는 사람들을 위한 mirostat 설정(모드 1 또는 2, tau, eta)으로 llama.cpp 및 Ollama에 노출됩니다.
챗봇 응답을 안정화하여 긴 세션 동안 구문을 반복하거나 일관되지 않은 접선으로 방향을 바꾸지 않습니다.
품질 변동이 아닌 생성된 전체 구절에서 일관된 수준의 창의성을 원하는 작가가 사용합니다.
Mirostat Perplexity 제어의 미래
Mirostat 옵션은 일부 로컬 추론 도구에서 노출됩니다. 예를 들어 llama.cpp는 모드, tau 및 eta 매개변수를 문서화합니다. 사용 가능 여부와 동작은 런타임과 버전에 따라 다릅니다. 그 제어 이론적 프레임은 사실성이나 다양성과 같은 다른 신호를 조절하는 적응형 디코더를 영감을 줍니다. 장기 생성이 증가함에 따라 피드백 기반 샘플링은 검색 및 반복 패널티와 결합되고, 장르에 맞게 자동 조정되는 tau 값이 도입될 것으로 예상됩니다.
실천에 옮기기
왜 중요한가요?
- 속도와 규모. 일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
- 접근 및 도달. 언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
- 더 명확한 결정들. 자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
조심하세요
- 환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
- 신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
- 액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
다음 단계
- 출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
- 정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
- 고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
- 실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
무료 뉴스레터
일일 AI 브리핑 받기
매주 평일 아침마다 3개의 검증된 AI 스토리를 일반 영어로 작성합니다. 무료이며, 광고 없음.
매주 평일마다 한 번 이메일을 받습니다. 한 번 클릭으로 구독 해지. 주소를 판매하거나 공유하지 않습니다.
자신을 테스트해 보세요
Mirostat Perplexity Control 퀴즈를 풀어보세요
모든 답변에 즉각적인 피드백과, 과정을 통과하면 검증 가능한 ID가 있는 공유 가능한 인증서를 제공합니다.
무료 AI 교육을 지원합니다. AI Understanding는 501(c)(3) 비영리 단체입니다 — 광고 없음, 유료 장벽 없음, 영원히. 기부하기
자주 묻는 질문
Mirostat Perplexity Control이란 무엇인가요?
Mirostat은 생성된 토큰의 평균 놀라움을 목표값으로 조절하려는 피드백 기반 디코딩 알고리즘입니다. 표준 공식에서는 tau가 비트 단위의 목표 교차 엔트로피를 지정하며, 이는 퍼플렉시티 2^tau에 해당합니다. 이 값은 트렁케이션 임계값을 조정하지만, 모든 구절의 퍼플렉시티나 사실 정확성을 보장하지는 않습니다.
Mirostat은 생성 과정에서 무엇을 제어하려고 하나요?
Mirostat은 피드백을 사용해 목표 놀라움 또는 퍼플렉시티 수준에 맞게 샘플링 임계값을 조정합니다.
Mirostat는 표준 top-k 또는 top-p 샘플링과 근본적으로 어떻게 다릅니까?
Top-k와 top-p는 고정된 임계값을 적용하는 반면 Mirostat는 제어 시스템처럼 관찰된 놀라움을 기반으로 잘림을 지속적으로 조정합니다.
Mirostat에서 eta 매개변수는 어떤 역할을 합니까?
에타(Eta)는 학습률입니다. 이는 관찰된 놀라움과 목표 놀라움 사이의 오류에 대한 응답으로 제어 변수 mu가 얼마나 강력하게 업데이트되는지를 조정합니다.
버전 1에 비해 Mirostat 버전 2의 주요 개선 사항은 무엇입니까?
Mirostat 2는 버전 1에서 사용된 Zipf의 법칙 가정에 대한 의존성을 제거하여 알고리즘을 모델 전체에서 더 간단하고 더 광범위하게 신뢰할 수 있게 만듭니다.
현재 llama.cpp가 노출하는 Mirostat 설정은 무엇인가요?
llama.cpp는 샘플링 구현을 위해 Mirostat 모드와 tau, eta 매개변수를 문서화합니다.