생각의 나무 추론
생각의 나무를 사용하면 모델이 하나의 생각에 전념하는 대신 나무 가지처럼 여러 추론 경로를 병렬로 탐색할 수 있습니다.
개요
It can look ahead, evaluate partial solutions, and backtrack from dead ends.
심층 분석
Yao 등이 소개했습니다. 2023년에는 생각의 나무(ToT)가 생각의 사슬 프롬프트를 일반화합니다. 사고 사슬이 추론 단계의 단일 선형 시퀀스를 생성하는 경우 ToT는 문제를 트리로 구조화합니다. 각 노드는 부분 솔루션('생각')이고 모델은 각 노드에서 여러 후보 다음 생각을 생성합니다. 별도의 평가 단계에서는 각 분기가 얼마나 유망한지 점수를 매기고, 너비 우선 또는 깊이 우선 검색과 같은 검색 알고리즘은 확장할 분기와 정리할 분기를 결정합니다. 이를 통해 모델은 의도적으로 탐색하고, 몇 단계 앞을 내다보고, 경로가 좋지 않아 보일 때 되돌아갈 수 있습니다. ToT는 탐욕스러운 단일 경로 추론을 물리치는 작업에서 빛을 발했습니다. 가장 유명한 게임은 24인 게임입니다. 여기서 생각의 연쇄를 갖춘 GPT-4는 퍼즐의 약 4%를 해결했지만 ToT는 성공률을 약 74%로 끌어올렸습니다.
기술적 통찰력
ToT에는 세 가지 부분이 있습니다. 후보의 다음 단계를 제안하는 사고 생성기, 상태 평가기(종종 동일한 LLM이 부분 솔루션에 대해 '확실함/어쩌면/불가능'으로 평가하거나 투표하도록 유도함), 트리를 탐색하는 검색 절차(BFS, DFS 또는 빔 검색)입니다. 모델은 부분 상태를 평가하고 약한 분기를 잘라내기 때문에 솔루션 공간의 유망한 영역에 컴퓨팅을 할당하고 추가 추론을 거래하면 어려운 문제에 대해 훨씬 더 높은 정확도가 필요합니다.
전략적 영향
비용 및 예산
아키텍처 결정은 수년 동안 성능과 운영 비용을 결정합니다.
더 명확한 결정들
기술 교육은 팀이 최신 스택뿐만 아니라 올바른 스택을 선택하는 데 도움이 됩니다.
품질 관리
더 나은 엔지니어링 선택은 생산 시 신뢰성 사고를 줄입니다.
생각의 나무 추론의 미래
Tree-of-Thoughts는 추론 시간 컴퓨팅이 소비되는 방식에 영향을 미칩니다. 하나의 큰 정방향 전달이 아닌 시스템이 점점 더 추론 경로를 검색하고 최선의 것을 선택합니다. 향후 작업은 분기가 높은 토큰 비용을 지불할 가치가 있는 경우를 학습하고, 프롬프트 기반 자체 평가 대신 훈련된 가치 함수를 사용하고, 트리 검색을 추론 모델로 접어서 심의가 더 효율적이도록 하는 것을 목표로 합니다. 모델의 추측이 아닌 실제 피드백에 따라 분기 평가가 이루어질 수 있도록 도구 및 검증기와 더욱 긴밀하게 통합될 것으로 예상됩니다.
실제 구현
먼저 결합할 두 숫자를 분기하고 24에 도달할 수 없는 산술 경로를 잘라내어 24 게임을 해결합니다.
모델이 여러 줄거리 개요를 작성하고 이를 평가하며 산문을 쓰기 전에 가장 강력한 내용을 확장하는 일관된 계획을 갖춘 창의적인 글쓰기입니다.
채워진 각 단어가 생각이고 호환되지 않는 가지가 버려지는 미니 십자말풀이와 같은 제약 퍼즐입니다.
모델이 대체 중간 단계를 탐색하고 제약 조건을 위반하는 단계에서 역추적하는 다단계 수학 또는 계획 문제입니다.
위험 및 가드레일
하나의 벤치마크를 최적화하면 더 광범위한 시스템 약점을 숨길 수 있습니다.
인프라 및 유지 관리 비용은 종종 과소평가됩니다.
시스템이 더욱 복잡해짐에 따라 보안 및 관찰 가능성의 격차가 커질 수 있습니다.
구현 로드맵
구현하기 전에 지연 시간, 품질, 비용 목표를 정의하세요.
현실적인 로드 및 데이터 조건에서 벤치마킹합니다.
오류, 드리프트 및 사용자 영향에 대한 계측기 모니터링.
확장하기 전에 롤백 및 사고 대응 경로를 준비하세요.
계속 탐색하세요
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the Tree-of-Thoughts Reasoning quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
다음 가이드
생각의 나무
자주 묻는 질문
What is Tree-of-Thoughts Reasoning?
생각의 나무를 사용하면 모델이 하나의 생각에 전념하는 대신 나무 가지처럼 여러 추론 경로를 병렬로 탐색할 수 있습니다. 앞을 내다보고, 부분적인 솔루션을 평가하고, 막다른 골목에서 되돌아갈 수 있습니다.
생각의 나무는 생각의 연쇄 유도와 어떻게 다릅니까?
생각의 사슬은 단일 선형 시퀀스를 생성하는 반면, 생각의 나무는 평가하고 정리할 수 있는 여러 후보 경로로 분기됩니다.
생각의 나무에서 단일 노드는 일반적으로 무엇을 나타냅니까?
각 노드는 부분적인 솔루션(생각)이며, 모델은 각 노드에서 여러 후보 다음 생각을 확장합니다.
Tree-of-Thoughts에서 상태 평가자는 어떤 역할을 합니까?
종종 동일한 LLM인 평가자는 부분 상태(예: 확실함/아마도/불가능)에 대해 평가하거나 투표하므로 검색이 유망한 분야에 집중할 수 있습니다.
Game of 24 벤치마크에서 ToT는 대략 어느 정도의 도약으로 생각의 사슬을 크게 앞섰습니까?
생각의 사슬을 갖춘 GPT-4는 24개 퍼즐의 약 4%를 해결한 반면, 생각의 나무는 약 74%에 도달했습니다.
사고 트리를 탐색하는 데 일반적으로 사용되는 검색 전략은 무엇입니까?
ToT는 사고 생성 및 평가를 BFS, DFS 또는 빔 검색과 같은 기존 검색 절차와 결합하여 확장할 분기를 결정합니다.