GitHub Действия для конвейеров машинного обучения

GitHub Рабочие процессы действий — это определения YAML, которые определяют триггеры, задания, исполнителей и шаги. Они могут работать по push-уведомлениям, запросам на включение, по расписанию или по отправке вручную. Задания выполняются на исполнителях и могут зависеть от более ранних заданий, обеспечивая такой конвейер, как проверки кода, проверка данных, обучение, оценка и закрытая публикация. Команды ML должны отделять быстрые детерминированные проверки от дорогостоящих или специфичных для оборудования этапов, чтобы ежедневная проверка кода оставалась оперативной. Типичное задание pull-request может устанавливать зависимости, запускать модульные тесты и проверять схемы функций на небольшом устройстве. Более поздняя работа может проводить обучение на контролируемом наборе данных, создавать артефакт модели и отчет об оценке. Продвижение должно зависеть от четких критериев и сохранять точный дайджест оцениваемого артефакта. Для обучения графического процессора может потребоваться автономный или специализированный исполнитель, который включает в себя обязанности по обеспечению емкости, исправлению и изоляции. Контейнер может обеспечить согласованность программных зависимостей, но не обеспечивает автоматический доступ к оборудованию или данным. Рабочие процессы часто используют кэши для уменьшения установки зависимостей и артефактов для передачи результатов между заданиями или сохранения отчетов. Кэши не следует рассматривать как доверенные артефакты, а их ключи должны включать соответствующие входные данные зависимостей. Секреты должны иметь узкий охват; запросы на включение из форков могут иметь ограниченный секретный доступ. Там, где это поддерживается, OIDC может обменивать удостоверения рабочего процесса на кратковременные облачные учетные данные, уменьшая зависимость от долгосрочных ключей. Ограничьте разрешения для токенов и прикрепите сторонние действия к проверенным версиям или неизменяемым ссылкам в соответствии с политикой организации. Надежный рабочий процесс машинного обучения записывает фиксацию кода, среду, версию данных, конфигурацию обучения и дайджест модели. Лицензирование данных, конфиденциальность и контроль затрат также имеют значение, когда рабочие места загружают наборы данных или обучаются на них. Избегайте автоматической публикации каждой обученной модели; требуют проверки и одобрения там, где оправдан риск. Журналы рабочих процессов и артефакты нуждаются в настройках хранения, которые обеспечивают баланс между проверяемостью, затратами и уязвимостью конфиденциальных данных. Действия обеспечивают оркестровку, а не гарантию того, что обучение воспроизводимо, проверка надежна или выпуск безопасен. Эти свойства зависят от входов и вентилей конвейера.