История на GPT

Работата през 2018 г. комбинира неконтролирано предварително обучение по езиков модел с контролирана адаптация към задачи за разбиране на езика. Неговият принос се отнася до това как широко обучен трансформатор може да поддържа множество задачи надолу по веригата с фина настройка, специфична за задачата. Докладът GPT-2 за 2019 г. изследва езиковите модели като неконтролирани многозадачни обучаеми. Той проучи дали езиков модел със следващ токен може да изпълнява задачи, описани чрез текст, без отделна процедура за обучение за всяка задача. Рамката на изследването има значение: резултат от конкретна оценка не означава, че всяка задача е решена. Работата на GPT-3 за 2020 г. наблегна на оценката с няколко изстрела. Примерите бяха включени в контекста на въвеждане, позволявайки на модела да опита задача без актуализация на градиента за тази отделна задача по време на отчетената оценка. Това е различно от фината настройка на параметрите на модела върху етикетиран набор от данни. Поддържайте различни имена на проучвания, версии на модели и продукти. Интерфейсите за чат, извличането, инструментите и по-късната адаптация могат да променят начина, по който системата се държи отвъд основния си езиков модел. Историческите резултати трябва да се четат с техните набори от данни, подкани, настройки за оценка и ограничения. Те са доказателство за конкретен експеримент, а не вечни измервания на текущи продукти.