Викторина по отслеживанию экспериментов

Ответы и пояснения появляются по мере прохождения теста.

1. Какова основная цель отслеживания экспериментов в машинном обучении?
   • Сделать прогоны воспроизводимыми и сопоставимыми, записывая их полный контекст.
   • Чтобы модели быстрее обучались на графическом процессоре.
   • Для автоматического развертывания моделей в производстве
   • Сжатие веса модели для хранения
2. Какая комбинация необходима для того, чтобы сделать одну тренировку действительно воспроизводимой?
   • Только окончательный показатель точности
   • Версия кода, набор данных и гиперпараметры
   • Температура графического процессора и скорость вращения вентилятора
   • Имя специалиста по данным
3. Какой из этих инструментов является популярным инструментом отслеживания экспериментов?
   • Фотошоп
   • Кубернетес
   • Млфлов
   • PostgreSQL
4. Как большинство трекеров экспериментов обычно фиксируют показатели во время обучения?
   • Путем последующего копирования чисел в электронную таблицу вручную
   • Делая скриншоты терминала
   • Прочитав исходный код модели
   • Посредством регистрации вызовов API, вставленных в цикл обучения, которые передаются на серверную часть.
5. Где обычно хранятся большие артефакты, такие как сохраненные веса моделей, в системе отслеживания?
   • В хранилище объектов/артефактов, со ссылками, хранящимися в хранилище метаданных.
   • Внутри строки базы данных метрик
   • В памяти графического процессора постоянно
   • Они вообще не сохраняются
6. Как развивается отслеживание экспериментов в эпоху больших языковых моделей?
   • От него отказываются, потому что LLM не нуждаются в отслеживании.
   • Теперь он также фиксирует быстрые версии, трассировки оценок и качественные результаты.
   • Теперь он отслеживает только затраты на графический процессор
   • Он полностью слился с программным обеспечением для редактирования видео.
7. Why record a dataset version or content hash with an ML run?
   • To prove the model is unbiased
   • To guarantee identical GPU arithmetic
   • So the run can be linked to the exact data snapshot used
   • To replace the code version
8. In MLflow Tracking, where are large model files typically stored relative to parameters and metrics?
   • Only inside the metric names
   • Always embedded in the database row for each parameter
   • They are not recorded by a tracking system
   • In an artifact store, while run metadata is kept in a backend store