Цепочка мыслей

Подсказки по цепочке мыслей вызывают рассуждения в больших языковых моделях. Исследуются подсказки, содержащие проработанные примеры с промежуточными шагами. Эти примеры показывают, как связать вопрос и окончательный ответ через выраженное решение, не меняя веса модели во время самой подсказки. Сообщаемые выгоды зависят от тестируемых задач, моделей и масштабов и не доказывают, что каждая небольшая модель или каждая проблема приносит пользу. Большие языковые модели — это бесперспективные исследования рассуждения, выявляющие шаги с помощью коротких инструкций без отработанных демонстраций. Это скорее стимулирующее различие, чем новая контролируемая процедура обучения. Самосогласованность улучшает цепочку мыслей. При рассуждении выбираются различные пути рассуждения и объединяются их окончательные ответы вместо выбора одного жадного пути. Соглашение может помочь в тестируемых настройках, но в нескольких образцах может возникнуть одна и та же ошибка. Промежуточный сгенерированный текст может стать контекстом для последующих токенов в авторегрессионной настройке, что позволяет выразить решение в несколько этапов. Этот механизм не гарантирует правильное разложение и не объясняет каждый наблюдаемый выигрыш. В исходном отчете DeepSeek-R1 изучается обучение с подкреплением и поэтапное обучение рассуждению, включая эксперимент RL R1-Zero и дополнительные этапы R1. Поэтому следует различать обучение модели рассуждения и подсказку фиксированной модели с помощью примеров. Наконец, книга «Языковые модели не всегда говорят то, что думают» демонстрирует объяснения, которые исключают искажающие влияния и рационализируют затронутые ответы в конкретных модельных тестах. Свободное решение должно быть проверено на соответствие поставленной задаче, а верность базовому процессу принятия решения модели является отдельным вопросом оценки.