ГПТ-4 и ГПТ-4о
GPT-4 (2023 г.) была революционной большой мультимодальной моделью OpenAI, которая могла принимать как изображения, так и текст, а GPT-4o (2024 г.) сделал ее быстрее, дешевле и изначально способной обрабатывать звук, изображение и текст в одной модели.
Обзор
Together they defined the modern era of ChatGPT.
Глубокое погружение
GPT-4, выпущенный в марте 2023 года, стал большим шагом вперед по сравнению с GPT-3.5: он набрал высшие процентили на таких экзаменах, как плановый и AP-тесты, обрабатывал гораздо более длинные запросы и мог рассуждать об изображениях. Позже в GPT-4 Turbo было добавлено контекстное окно на 128 тысяч токенов и снижена цена. В мае 2024 года OpenAI представила GPT-4o, где «o» означает «omni», единую модель, комплексно обучаемую по тексту, звуку и изображению. Ранее голосовой режим объединял три отдельные модели (преобразование речи в текст, затем GPT, затем преобразование текста в речь), увеличивая задержку; GPT-4o обрабатывает звук напрямую, обеспечивая разговорный разговор практически в реальном времени с эмоциональным тоном и возможностью прерывания. Кроме того, он примерно в два раза быстрее и вдвое дешевле GPT-4 Turbo через API, а OpenAI сделал его доступным для бесплатных пользователей ChatGPT, что значительно расширило доступ.
Техническая информация
Обе модели Transformer предназначены только для декодеров, обучены прогнозировать следующий токен, а затем усовершенствованы с помощью обучения с подкреплением на основе обратной связи от человека (RLHF), чтобы следовать инструкциям и вести себя безопасно. Важнейшим достижением GPT-4o является сквозная мультимодальность: вместо маршрутизации речи через отдельные модели транскрипции и синтеза одна сеть принимает и излучает аудиотокены напрямую, сохраняя тон, синхронизацию и невербальные сигналы, одновременно сокращая задержку примерно до разговорной скорости (несколько сотен миллисекунд).
Стратегическое воздействие
Стратегия поставщика
Дорожные карты поставщиков влияют на то, какие функции ваша команда может создать дальше.
Стоимость и бюджет
Коммерческие условия и варианты развертывания влияют на долгосрочные затраты и риски.
Риски и безопасность
Стимулы компании влияют на невыполнение обязательств по продукту, безопасность и открытость.
Будущее GPT-4 и GPT-4o
GPT-4o задал шаблон для гибких мультимодальных помощников в реальном времени, а преемники OpenAI продвигаются дальше в рассуждениях (модели «мышления» серии o, которые обдумывают перед ответом), более длинном контексте и использовании агентных инструментов. Ожидайте снижения затрат, более широкого голосового и видео взаимодействия в реальном времени, более тесной интеграции приложений и устройств, а также моделей, которые плавно переключаются между быстрыми ответами и медленными, осторожными рассуждениями в зависимости от сложности задачи. Мультимодальное поколение, производящее изображения и аудио, будет продолжать расширяться.
Реальная реализация
Разговор практически в реальном времени с помощью расширенного голосового режима ChatGPT, включая прерывание разговора на полуслове.
Загрузите фотографию содержимого холодильника и попросите GPT-4o предложить рецепты.
Вставка длинного юридического контракта в контекстное окно из 128 тыс. токенов для обобщения и выявления рисков.
Использование возможностей зрения для чтения и объяснения диаграммы, рукописной заметки или снимка экрана с сообщением об ошибке.
Риски и ограничения
Объявления о запуске могут опережать стабильность реальных производственных процессов.
Цены на API или изменения в политике могут в одночасье разрушить предположения.
Зависимость от одного поставщика увеличивает затраты на привязку и миграцию.
Дорожная карта реализации
Оценивайте поставщиков, используя собственные задачи и наборы данных.
Перед интеграцией ознакомьтесь с условиями конфиденциальности, безопасности и юридическими условиями.
Поддерживайте резервный план для разных моделей или поставщиков.
Отслеживайте примечания к выпуску, чтобы изменения в дорожной карте не удивили команды.
Продолжайте исследовать
Free newsletter
Get the daily AI briefing
Three verified AI stories every weekday morning, written in plain English. Free forever, no ads.
One email each weekday. Unsubscribe in one click. We never sell or share your address.
Test yourself
Take the GPT-4 and GPT-4o quiz
Instant feedback on every answer, and a shareable certificate with a verifiable ID once you pass a course.
Support free AI education. AI Understanding is a 501(c)(3) nonprofit — no ads, no paywall, ever. Make a donation
Следующее руководство
OpenAI GPT-4.5 и GPT-5
Часто задаваемые вопросы
What is GPT-4 and GPT-4o?
GPT-4 (2023 г.) была революционной большой мультимодальной моделью OpenAI, которая могла принимать как изображения, так и текст, а GPT-4o (2024 г.) сделал ее быстрее, дешевле и изначально способной обрабатывать звук, изображение и текст в одной модели. Вместе они определили современную эпоху ChatGPT.
Что означает «о» в GPT-4o?
Буква «o» означает «omni», что указывает на то, что GPT-4o — это единая модель, которая одновременно обрабатывает текст, звук и изображение.
Почему голосовой режим GPT-4o работает быстрее, чем более ранняя голосовая функция GPT-4?
Раньше голосовой режим объединял три отдельные модели, добавляя задержку. GPT-4o обеспечивает сквозную обработку звука в единой сети, сокращая задержку почти до скорости разговора.
Какой основной новый тип ввода был представлен GPT-4 по сравнению с GPT-3.5 при запуске?
GPT-4 представлял собой большую мультимодальную модель, которая могла принимать не только текст, но и изображения, чего не хватало GPT-3.5.
Какой размер контекстного окна предлагал GPT-4 Turbo?
GPT-4 Turbo расширил контекстное окно до 128 тыс. токенов, что позволяет работать с гораздо более длинными документами и разговорами.
Какая методика обучения используется, чтобы заставить GPT-4 и GPT-4o следовать инструкциям и вести себя безопасно?
После предварительного обучения следующему токену модели уточняются с помощью RLHF, используя человеческие предпочтения для формирования полезного и безопасного поведения при выполнении инструкций.