Викторина, связанная с руководством · Средний Уровень

Форматы паркета и столбцов для теста по данным ML

Изучите фрагменты столбцов, группы строк, сжатие и сокращение Parquet, а затем протестируйте производительность в соответствии с реальной рабочей нагрузкой машинного обучения.

Связанные направляющие путиФорматы паркета и колонн для ML
Вопрос 1 из 8

Как организованы данные в файле Parquet?

Предварительный просмотр каждого вопроса8 вопросы

Ответы и пояснения появляются по мере прохождения теста.

  1. Как организованы данные в файле Parquet?
    • Только в виде текстовых строк, разделенных запятыми.
    • Как один неструктурированный двоичный объект
    • По одной строке базы данных на файл
    • В группы строк, содержащие фрагменты столбцов, содержащие страницы.
  2. Почему столбчатое хранилище может помочь в запросе, считывающем лишь несколько полей?
    • Каждая строка сохраняется как отдельный файл.
    • Читатель может получить выбранные столбцы, не читая данные каждого столбца.
    • Он автоматически удаляет все нулевые значения.
    • Это гарантирует более быструю модель
  3. Какую роль может играть статистика Parquet или индексы страниц?
    • Они предоставляют полный индекс базы данных для каждого запроса.
    • Они гарантируют нулевой ввод-вывод
    • Они могут помочь совместимым читателям пропускать страницы или группы строк, которые не соответствуют фильтру.
    • Они хранят вес моделей
  4. Что содержит группа строк?
    • Фрагмент столбца для каждого столбца в этом разделе логических строк.
    • Только метаданные без данных
    • Только одна строка
    • Отдельная КПП модели
  5. Когда паркет может быть менее подходящим, чем другой дизайн хранилища?
    • Для любой рабочей нагрузки машинного обучения
    • Когда данные содержат числовые значения
    • Когда данные больше электронной таблицы
    • Для рабочих нагрузок, в которых преобладают небольшие случайные поиски строк или частые обновления одной строки.
  6. Зачем проводить тестирование целевого движка и системы хранения данных?
    • Все считыватели Parquet ведут себя одинаково.
    • Сжатие никогда не влияет на производительность
    • Поддержка функций и производительность зависят от устройства чтения, макета и рабочей нагрузки.
    • Тесты не связаны с форматом данных
  7. Что может улучшить обрезку на основе статистики?
    • Рандомизация каждой строки во всех файлах
    • Организация данных таким образом, чтобы общие столбцы фильтров имели полезные диапазоны значений.
    • Удаление метаданных столбца
    • Увеличение цитирования CSV
  8. Предоставляет ли только Parquet транзакции с таблицами и историю версий набора данных?
    • Нет; для них требуются дополнительные функции управления таблицами или каталогами.
    • Да, в каждом файле Parquet есть транзакции ACID.
    • Да, он хранит каждую предыдущую версию набора данных навсегда.
    • Нет, потому что Parquet не может хранить схемы.