ДалееСледующее руководство
How to Become a Machine Learning Engineer
Общество
Техническое РУКОВОДСТВО
Чтобы стать инженером по искусственному интеллекту, изучите Python (а в идеале TypeScript), научитесь вызывать API-интерфейсы больших языковых моделей, затем создавайте все более сложные приложения с генерацией с расширенным поиском, вызовом инструментов и систематическими оценками и публикуйте их как проекты портфолио.
Прослушайте это руководствоОзвучено ИИ · ~3 min
Инжиниринг ИИ — это создание продуктов на основе существующих базовых моделей, а не обучение моделей с нуля. Это делает его одним из наиболее доступных путей к работе с искусственным интеллектом для разработчиков программного обеспечения.
Термин «инженер ИИ» был популяризирован в эссе Шона Ванга (известного как swyx) в 2023 году «Восстание инженера ИИ». В нем описываются разработчики, которые создают приложения на основе базовых моделей. Эта роль отличается от роли инженера по машинному обучению, который обучает и развертывает модели, и от специалиста по данным, который занимается анализом и статистикой. Практическая дорожная карта состоит из семи этапов. 1. Основы программирования. Изучите Python, git, HTTP и JSON, переменные среды и базовый SQL. TypeScript помогает создавать веб-интерфейсы. 2. Основы LLM. Изучите токены, контекстные окна, температуру, цены и почему модели все выдумывают. Вызовите API-интерфейсы таких поставщиков, как OpenAI, Anthropic и Google, и запускайте модели открытого веса локально с помощью такого инструмента, как Ollama. Изучите потоковую передачу и структурированный вывод. 3. Подсказка. Пишите четкие инструкции, используйте примеры и обеспечивайте формат вывода с помощью схем. 4. Генерация с расширенным поиском (RAG). Изучите фрагментирование, встраивание и векторный поиск, а также гибридный поиск, который добавляет сопоставление ключевых слов, изменение рейтинга и цитирование. 5. Инструменты и агенты. Изучите вызов функций, многошаговые циклы и протокол контекста модели — открытый стандарт Anthropic, представленный в конце 2024 года для подключения моделей к инструментам и данным. Добавьте ограждения и ограничения. 6. Оценки и наблюдаемость. Создавайте наборы тестов, используйте автоматические оценщики, отслеживайте каждый запрос и выявляйте регрессии перед развертыванием. 7. Производство. Создавайте API (например, с помощью FastAPI), а затем управляйте кэшированием, ограничениями скорости, контролем затрат и безопасностью, особенно быстрым внедрением. Точная настройка, PyTorch и теория машинного обучения пригодятся позже, но для запуска они не обязательны. Распространены два заблуждения. Чтобы начать, вам не нужна докторская степень или высшая математика. Вам действительно нужна надежная разработка программного обеспечения, потому что большинство сбоев — это обычные ошибки, проблемы с данными или отсутствие тестов. Такие платформы, как LangChain, являются необязательными. Изучение необработанных API-интерфейсов значительно упрощает последующую отладку любой платформы.
Стартовый проект: скрипт, который отправляет вставленную статью в LLM API и возвращает JSON с заголовком, кратким описанием и тремя ключевыми моментами, проверяемыми по схеме перед сохранением.
Поисковый проект: чат-бот, который отвечает на вопросы о городских постановлениях. Он разбивает PDF-файлы на фрагменты, сохраняет вложения в Postgres с помощью pgvector и цитирует раздел каждого ответа.
Помощник по вызову инструментов, который читает запрос, вызывает API погоды и API календаря, а также предлагает расписание с тестами, охватывающими то, что происходит, когда время ожидания любого API истекает.
Инструмент оценки: 100 помеченных вопросов для чат-бота по уставу, которые оценивают, был ли получен правильный раздел и соответствует ли ответ ему, запускаются автоматически при каждом изменении кода.
Инжиниринг искусственного интеллекта по-прежнему быстро меняется. Возможности моделей, цены и инструменты часто меняются, поэтому основные принципы служат дольше, чем любая конкретная структура: чистый дизайн программного обеспечения, тщательная обработка данных, дисциплина оценки и осведомленность о безопасности. Агентам, которые выполняют множество действий и управляют программным обеспечением, уделяется больше внимания, что повышает важность тестирования, мониторинга и разработки разрешений. Некоторые задачи, для которых сегодня требуются специальные конвейеры, могут быть включены в модельные платформы. Инженеры, которые могут определить качество, измерить его и создать надежные системы, скорее всего, останутся ценными, какими бы инструментами они ни стали. Рассматривайте любую дорожную карту как отправную точку для ее пересмотра каждые несколько месяцев.
Бесплатная рассылка
Три проверенных AI-истории каждое утро буднего дня, написанные простым английским. Бесплатно навсегда, без рекламы.
Одно электронное письмо каждый будний день. Отписаться в один клик. Мы никогда не продаем и не передаем ваш адрес.
Проверьте себя
Мгновенная обратная связь по каждому ответу и общий сертификат с проверяемым идентификатором после прохождения курса.
Поддержите бесплатное образование в области искусственного интеллекта. AI Understanding — это некоммерческая организация 501(c)(3). Никакой рекламы и платного доступа. Сделать пожертвование
Чтобы стать инженером по искусственному интеллекту, изучите Python (а в идеале TypeScript), научитесь вызывать API-интерфейсы больших языковых моделей, затем создавайте все более сложные приложения с генерацией с расширенным поиском, вызовом инструментов и систематическими оценками и публикуйте их как проекты портфолио. Инжиниринг ИИ — это создание продуктов на основе существующих базовых моделей, а не обучение моделей с нуля. Это делает его одним из наиболее доступных путей к работе с искусственным интеллектом для разработчиков программного обеспечения.
Разработка искусственного интеллекта сосредоточена на создании продуктов на основе существующих моделей с помощью API, поиска, инструментов и оценок. Модели обучения обычно являются областью деятельности инженера ML.
Понимание того, что происходит под абстракциями, позволяет диагностировать проблемы, когда платформа ведет себя неожиданно.
В руководстве MCP описывается как открытый стандарт, представленный Anthropic в конце 2024 года для подключения моделей к внешним инструментам и источникам данных.
Прием подготавливает базу знаний путем разделения документов на фрагменты, преобразования их во вложения и сохранения их с метаданными для последующего извлечения.
Гибридный поиск сочетает в себе семантическое сходство вложений с точным соответствием терминов, что помогает при поиске имен, кодов и конкретных терминов.
Продолжайте учиться
Другие руководства, выбранные по этой теме
ДалееСледующее руководство
How to Become a Machine Learning Engineer
Общество