История GPT

Работа 2018 года сочетала предварительное обучение языковой модели без присмотра с контролируемой адаптацией к задачам понимания языка. Его вклад касался того, как широко предварительно обученный преобразователь может поддерживать несколько последующих задач с точной настройкой для конкретной задачи. В отчете GPT-2 2019 года языковые модели рассматривались как многозадачные ученики без присмотра. Было изучено, может ли языковая модель следующего токена выполнять задачи, описанные в тексте, без отдельной процедуры обучения для каждой задачи. Формат исследования имеет значение: результат конкретной оценки не означает, что каждая задача решена. В работе GPT-3 2020 года особое внимание уделялось оценке с небольшим количеством попыток. Примеры были включены во входной контекст, что позволило модели попытаться выполнить задачу без обновления градиента для этой отдельной задачи во время отчетной оценки. Это отличается от точной настройки параметров модели в помеченном наборе данных. Сохраняйте названия исследований, версии моделей и продуктов разными. Интерфейсы чата, поиск, инструменты и последующая адаптация могут изменить поведение системы за пределами ее базовой языковой модели. Исторические результаты следует читать вместе с их наборами данных, подсказками, настройками оценки и ограничениями. Они являются свидетельством конкретного эксперимента, а не вечными измерениями текущих продуктов.