Preprint navrhuje průběžné odhady obtížnosti, aby se snížily náklady na samokonzistenci LLM
Nový předtisk arXiv navrhuje flexibilní vlastní konzistenci, metodu, která odhaduje, jak nejistý je jazykový model ohledně otázky, a upravuje počet vzorkovaných cest uvažování. Autoři uvádějí úsporu tokenů až 76 % při zachování přesnosti srovnatelné se standardní vlastní konzistencí napříč různými…