자체 일관성 디코딩
자기 일관성은 언어 모델에서 다양한 추론 경로를 샘플링한 다음 대부분이 동의하는 답을 선택하는 디코딩 전략입니다.
개요
It matters because a single greedy answer can be wrong, while the consensus across diverse attempts is far more often correct.
심층 분석
2022년 Google 연구원이 도입한 자체 일관성은 모델이 각 단계에서 가장 가능성이 높은 단일 토큰에 커밋하는 일반적인 '탐욕스러운' 디코딩을 샘플 및 투표 접근 방식으로 대체합니다. 이 아이디어는 일련의 사고 유도를 기반으로 합니다. 모델은 단계별로 추론하도록 요청 받지만 하나의 체인을 생성하는 대신 0이 아닌 온도를 사용하여 다양한 체인을 샘플링합니다. 각 체인은 서로 다른 경로를 택할 수 있지만 올바른 추론은 동일한 최종 답으로 수렴되는 반면 오류는 서로 다른 방향으로 흩어지는 경향이 있습니다. 그런 다음 시스템은 최종 답변에 대해 과반수 투표를 실시합니다. 이 간단한 변화는 GSM8K와 같은 산술 및 상식 추론 벤치마크에서 큰 이득을 가져왔고 종종 재교육 없이 두 자릿수 정확도 향상을 추가했습니다.
기술적 통찰력
이 방법은 정답에 도달하는 유효한 방법은 많지만, 틀릴 수 있는 방법은 셀 수 없이 많다는 직관을 활용합니다. 예를 들어 온도가 0보다 높은 40개의 체인을 샘플링함으로써 모델은 다양한 추론을 생성합니다. 최종 답변만 소외 방식의 다수 투표로 집계됩니다. 추론 텍스트는 삭제됩니다. 일반적으로 정확도는 샘플이 많을수록 증가하지만 수익이 감소하면 안정성을 위해 추가 추론 컴퓨팅을 교환합니다. 레이블이 지정된 데이터나 미세 조정이 필요하지 않습니다.
전략적 영향
속도와 규모
일관성을 유지하면서 언어 워크플로를 더 빠르게 진행할 수 있습니다.
접근 및 도달
언어와 의사소통 스타일 전반에 걸쳐 접근성을 확장합니다.
더 명확한 결정들
자동화가 반복을 처리하는 동안 팀은 판단에 더 많은 시간을 할애할 수 있습니다.
자기 일관성 디코딩의 미래
자체 일관성은 추론 시간 확장의 기본 예이며, 이제 그 후손은 더 열심히 생각하기 위해 추가 컴퓨팅을 소비하는 추론 모델을 지원합니다. 향후 방향에는 균등하게 계산하는 대신 학습된 검증자 또는 신뢰도 점수를 사용하여 투표에 가중치를 부여하고, 질문 난이도에 따라 추출할 샘플 수를 적응적으로 선택하고, Tree of Thoughts와 같은 검색 프레임워크와 투표를 결합하는 것이 포함됩니다. 지연 시간보다 정확성이 더 중요한 경우 모든 시스템에 레이어할 수 있는 저렴하고 교육이 필요 없는 기준으로 유지될 것으로 기대합니다.
실제 구현
다양한 해결 경로를 샘플링하고 최종 숫자에 투표하여 초등학교 수학 단어 문제(GSM8K)의 정확도를 높입니다.
하나의 추론에서 단일 체인이 미끄러질 수 있는 경우 다단계 상식 질문 답변의 신뢰성을 향상합니다.
샘플 전체에서 가장 일관되게 나타나는 출력을 확인하여 코드 생성 답변에 대한 신뢰도를 높입니다.
다양한 파생이 하나의 올바른 결론으로 수렴되어야 하는 상징적 또는 논리적 추론 작업을 강화합니다.
위험 및 가드레일
환각 사실은 보고서, 지원 흐름 또는 연구 결과에 조용히 포함될 수 있습니다.
신속한 민감도는 유사한 요청 간에 일관되지 않은 결과를 초래할 수 있습니다.
액세스 제어가 약한 경우 민감한 텍스트 데이터가 노출될 수 있습니다.
구현 로드맵
출시 전에 출력 형식, 톤, 품질 표준을 정의하세요.
정확성이 중요할 때마다 신뢰할 수 있는 출처를 통해 대응하세요.
고위험 결과물에 대한 인적 검토 체크포인트를 유지합니다.
실패 패턴을 추적하고 프롬프트나 워크플로를 정기적으로 재교육하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Self-Consistency Decoding quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
메두사 디코딩 헤드
자주 묻는 질문
What is Self-Consistency Decoding?
자기 일관성은 언어 모델에서 다양한 추론 경로를 샘플링한 다음 대부분이 동의하는 답을 선택하는 디코딩 전략입니다. 하나의 탐욕스러운 대답은 틀릴 수 있는 반면, 다양한 시도에 대한 합의는 훨씬 더 정확하기 때문에 중요합니다.
How does self-consistency decoding pick a final answer from a language model?
자체 일관성은 여러 가지 다양한 추론 체인을 샘플링하고 대부분의 체인이 동의하는 최종 답을 선택합니다.
다양한 추론 경로를 샘플링하는 것이 정확성에 도움이 되는 이유는 무엇입니까?
정답으로 가는 유효한 경로는 많지만 오류를 범하는 방법은 셀 수 없이 많습니다. 따라서 실수가 분산되는 동안 정답이 클러스터되어 대다수를 더욱 신뢰할 수 있게 만듭니다.
자기 일관성은 어떤 디코딩 방법을 대체합니까?
가장 가능성이 높은 하나의 경로에 탐욕스럽게 커밋하는 대신, 자체 일관성은 여러 경로에서 샘플링하고 집계합니다.
샘플링된 각 체인의 어느 부분이 실제로 최종 투표에 사용됩니까?
중간 추론은 폐기됩니다. 최종 답변만 다수결로 집계됩니다.
Self Consistency를 사용하는 데 드는 주요 비용은 얼마입니까?
수십 개의 추론 체인을 생성하면 추론 비용이 배가됩니다. 샘플이 많을수록 정확도는 높아지지만 수익은 감소합니다.