ДалееСледующее руководство
Карьера инженера инфраструктуры искусственного интеллекта
Общество
РУКОВОДСТВО ПО ОБЩЕСТВУ
В карьере оперативное проектирование означает проектирование, тестирование и поддержку инструкций, примеров и контекста, которые обеспечивают надежное поведение моделей ИИ внутри продуктов и рабочих процессов.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Отдельные должности «оперативного инженера» привлекли много внимания примерно в 2023 году, и их все чаще объединяют с должностями инженера по искусственному интеллекту, прикладного искусственного интеллекта, проектирования диалогов и специалиста по предметной области. Навык более долговечен, чем название, поэтому имеет смысл развивать его вместе с оценкой, написанием и экспертизой предметной области.
На практике работа по оперативному проектированию включает в себя написание системных подсказок и примеров из нескольких примеров, определение выходных форматов, создание оценочных наборов, стресс-тестирование на предмет сбоев и неправильного использования, документирование того, что работает, и мониторинг результатов, когда они появятся в работе. Это сотрудничество. Этот человек работает с менеджерами по продукту, которые определяют цели, с инженерами, которые встраивают подсказки в приложения, и с профильными экспертами, которые оценивают качество. Название стало известным в 2023 году, когда компании и стартапы, занимающиеся искусственным интеллектом, опубликовали хорошо оплачиваемые списки инженеров, которые широко освещались в прессе. С тех пор изменились три вещи. Модели гораздо лучше следуют инструкциям, поэтому требуется меньше трюков. Инструменты для автоматической оптимизации подсказок, такие как платформа DSPy с открытым исходным кодом, могут искать более подходящие подсказки программным способом. И эта работа расширилась до того, что многие практики называют контекстной инженерией: принятие решения о том, какие документы, результаты работы инструментов, воспоминания и история разговоров попадают в контекстное окно модели и в какой форме. В результате специальные должности инженера по оперативному реагированию встречаются относительно редко, в то время как эти навыки появляются в других должностях: инженер по искусственному интеллекту, специалист по прикладному искусственному интеллекту, дизайнер диалогов, стратег по контенту искусственного интеллекта, специалист по оценке LLM, инженер по решениям и эксперты в области права, медицины или образования, которые формируют инструменты искусственного интеллекта для своей области. Два заблуждения заслуживают исправления. Оперативное проектирование – это не секретные магические фразы. Это систематические эксперименты с измеренными результатами. Это также не та работа, которая не требует никаких навыков. Сильные специалисты сочетают в себе точное написание, знание предметной области и, по крайней мере, базовое программирование в Python и вызовах API, поэтому они могут запускать тесты в большом масштабе. Хорошие проекты портфолио демонстрируют процесс, а не просто умную подсказку: определённая задача, набор тестов, базовые результаты, итерации с обоснованием и окончательные показатели. Примеры включают конвейер извлечения документов, запрос службы поддержки клиентов с тестами на крайних случаях или сравнение эффективности одного запроса в нескольких моделях.
В компании-разработчике программного обеспечения один человек владеет системной подсказкой для чат-бота поддержки. Они держат его под контролем версий и перед отправкой каждое изменение проверяют на 200 реальных вопросов клиентов.
Стартап в сфере юридических технологий нанимает бывшего помощника юриста для написания подсказок и критериев оценки для проверки контракта, поскольку знание предметной области решает, как будет выглядеть правильный ответ.
Руководитель отдела контента маркетингового агентства создает многоразовые шаблоны подсказок и руководство по стилю, чтобы команда авторов получала единообразный голос бренда с помощью инструментов искусственного интеллекта.
Соискатель публикует портфолио проекта: приглашение, извлекающее поля из счетов, случаи сбоев, три документированных исправления и точность, измеренную на 50 образцах счетов.
Работа, скорее всего, будет продолжать отходить от формулировок и переходить к проектированию системы: управлению контекстом, оркестровке инструментов и оценке поведения на многих этапах. Автоматизированная оптимизация может взять на себя большую часть построчной настройки, что делает человеческое суждение о целях, стандартах качества и крайних случаях более важным. Названия должностей трудно предсказать, и роль специального инженера по оперативному реагированию может остаться нишевой. Базовые способности становятся базовыми ожиданиями во многих должностях: четкое определение задач, создание наборов тестов и критическая оценка результатов ИИ. Люди, которые сочетают эти способности с глубокими знаниями предметной области или инженерными навыками, находятся в наиболее сильном положении.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
В карьере оперативное проектирование означает проектирование, тестирование и поддержку инструкций, примеров и контекста, которые обеспечивают надежное поведение моделей ИИ внутри продуктов и рабочих процессов. Отдельные должности «оперативного инженера» привлекли много внимания примерно в 2023 году, и их все чаще объединяют с должностями инженера по искусственному интеллекту, прикладного искусственного интеллекта, проектирования диалогов и специалиста по предметной области. Навык более долговечен, чем название, поэтому имеет смысл развивать его вместе с оценкой, написанием и экспертизой предметной области.
Работа включает в себя написание подсказок, создание наборов оценок, стресс-тестирование и мониторинг результатов. Обучение моделей с нуля — это другая специальность.
Контекстная инженерия расширяет оперативную работу, охватывая всю информацию, подаваемую в модель, а не только формулировку инструкций.
Лучшее следование инструкциям, инструменты автоматической оптимизации и более широкий контекст работы позволили использовать этот навык во многих ролях, а не сохранять его как отдельную работу.
DSPy упоминается как инструмент, который может программно искать лучшие подсказки, и это одна из причин, по которой трюки с ручным составлением формулировок имеют меньшее значение, чем раньше.
В руководстве говорится, что профессиональная оперативная работа — это систематические эксперименты с измеряемыми результатами, а не поиск волшебных фраз.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
Карьера инженера инфраструктуры искусственного интеллекта
Общество