Что случилось
Newswise сообщает, что исследователи SLAC разработали метод сжатия на основе искусственного интеллекта для больших наборов научных данных. Этот подход разделяет информацию по масштабу, сжимает эти компоненты с помощью нейронных сетей и позволяет пользователям извлекать выбранные регионы с различным разрешением. Исследователи сообщили об уменьшении размера файлов в 10–100 раз для нескольких типов данных, но эти результаты не получили независимого подтверждения в предоставленном источнике.
Newswise сообщает, что исследователи из Национальной ускорительной лаборатории SLAC Министерства энергетики США разработали метод нейронной сети для сжатия необработанных данных из крупномасштабных научных экспериментов. Согласно отчету, работа была опубликована в журнале Nature Machine Intelligence. Его основная цель — уменьшить размеры файлов, не отбрасывая при этом тонкие закономерности, которые впоследствии могут оказаться важными для научного анализа. В отчете этот метод рассматривается как ответ на ожидаемый рост экспериментальных данных, а не как универсальный потребительский продукт для сжатия данных.
По словам Newswise, этот метод сначала использует вейвлет-анализ для разделения объектов в наборе данных по масштабу. Затем нейронная сеть сжимает компоненты разного масштаба по отдельности, создавая компактное представление, предназначенное для сохранения как общих структур, так и более мелких деталей. Во время декодирования исследователи могут выбрать интересующую область и восстановить ее в разных масштабах и разрешениях. Такое выборочное извлечение является центральной особенностью подхода: пользователям не обязательно нужно распаковывать весь файл, чтобы проверить небольшую часть измерения.
Newswise сообщает, что исследователи протестировали метод на нескольких категориях данных, включая измерения молекул и материалов, измерения солнечного магнитного поля и фотографии. В отчете говорится, что нейронная сеть адаптировалась к различным типам данных, изучая, какие функции важны для каждого измерения. Исследователи сообщили, что в зависимости от данных и желаемого качества или точности этот метод обычно может уменьшить размер файлов в 10–100 раз. В предоставленном источнике не представлены базовые контрольные таблицы, показатели ошибок, методы сравнения или размеры наборов данных, необходимые для независимой оценки этого диапазона.
В отчете в качестве потенциального применения указывается источник когерентного света Linac, или LCLS. Newswise сообщает, что в конечном итоге установка будет генерировать до одного миллиона рентгеновских импульсов в секунду, создавая объемы данных, которые могут достигать терабайт в секунду для инструментов, использующих все свои возможности. В нем особо упоминается прибор рентгеновской фотонной флуктуационной спектроскопии, который будет изучать движения частиц в экзотических топологических и квантовых материалах. Источник описывает метод сжатия как потенциально полезный для этого параметра, а не как подтвержденное производственное развертывание.
Newswise также сообщает, что этот подход предназначен для работы вместе с более широкими методами сокращения данных, которые сохраняют только избранные события или функции. Исследователи описывают его как дополнительный вариант сжатия на основе искусственного интеллекта, а не замену существующих методов. Согласно отчету, при обучении использовалась вычислительная система Perlmutter в Национальном научно-вычислительном центре энергетических исследований. В число участников входили исследователи, связанные с SLAC, Стэнфордом, Техасским университетом в Остине, Калифорнийским университетом в Дэвисе и Университетом Карнеги-Меллона.
Подробности об источнике: newswise.com ↗
Почему это важно
Научные инструменты производят наборы данных, достаточно большие, чтобы перегружать системы хранения, передачи и анализа. Сохранение тонких особенностей при возможности извлечения данных по конкретному региону может сократить стоимость и время работы с экспериментальными данными, особенно на таких объектах, как источник когерентного света SLAC Linac. Практическая ценность будет зависеть от независимых испытаний, точности восстановленных измерений и от того, надежно ли метод работает в действующих трубопроводах.
Практическая проблема приобретает все большее значение для экспериментальной науки. Newswise сообщает, что инструменты следующего поколения будут производить больше данных, чем могут с легкостью обработать нынешние системы хранения и анализа. Большие наборы необработанных данных создают несколько взаимосвязанных затрат: они требуют емкости хранилища, пропускной способности сети для перемещения, вычислительного времени для обработки и времени персонала для поиска и проверки соответствующих измерений. Метод сжатия, сохраняющий полезную информацию, может повлиять на все четыре части этого рабочего процесса.
Научное обоснование сохранения мелких деталей носит скорее конкретный, чем косметический характер. Newswise сообщает, что небольшие точки на рентгеновских изображениях могут содержать информацию о расположении, беспорядке или динамике материалов. Если сжатие удалит эти закономерности, исследователи могут потерять данные, необходимые для понимания того, как структурирован материал или как он меняется с течением времени. Предлагаемое разделение объектов по масштабу предназначено для того, чтобы сделать такие детали доступными, когда они имеют значение, при этом уменьшая размер общего набора данных.
Выборочное декодирование также может изменить то, как исследователи повторно обращаются к архивным данным. В отчете говорится, что обычное сжатие может потребовать распаковки всего файла, прежде чем можно будет изучить небольшую область, и этот процесс может занять минуты, часы или дни в зависимости от набора данных. Newswise сообщает, что метод SLAC вместо этого может распаковывать только запрошенный регион. Если такое поведение будет подтверждено в реальных рабочих нагрузках, это может сделать исследовательский анализ более отзывчивым и сократить вычислительные ресурсы, необходимые для повторных исследований.
Этот подход может быть применим за пределами одного объекта, поскольку источник утверждает, что он был протестирован на различных научных и фотографических данных. Такая широта предполагает возможную общую структуру сжатия для исследований с большим объемом данных, но она не обеспечивает универсальную производительность. Для разных инструментов и научных задач могут использоваться разные функции, а настройки сжатия, подходящие для одной задачи, могут стереть информацию, необходимую для другой. Поэтому этот метод имеет наибольшее значение как способ сделать сжатие более управляемым и учитывающим задачи, а не как доказательство того, что все научные данные можно безопасно сжимать с одинаковой скоростью.
Важные ограничения остаются. Предоставленный отчет Newswise не проверяет независимо результаты исследователей, не идентифицирует все наборы тестовых данных, не дает количественной оценки ошибок реконструкции и не сравнивает метод с названными современными компрессорами. Также не сообщается, использовался ли этот метод в реальном рабочем процессе LCLS, включают ли сообщаемые сокращения все накладные расходы на метаданные и модели или сколько вычислений требуется для обучения и декодирования. Эти неизвестные определяют, является ли исследование результатом лабораторных исследований или инструментом широкого применения.
Интерактивный механизм: как он на самом деле работает
Изучите технологию, лежащую в основе этой разработки, в интерактивном режиме.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Что посмотреть дальше
Ключевые вопросы заключаются в том, сохраняется ли заявленный диапазон сжатия для независимых наборов данных, сколько научной информации теряется на каждом уровне сжатия и может ли метод работать достаточно быстро для реальных инструментов. В дальнейших отчетах также должно быть установлено, общедоступны ли программное обеспечение, обученные модели, данные оценки и детали реализации, а также развертывает ли SLAC систему в производственном эксперименте.
Независимая оценка должна стать первым испытанием. В будущих отчетах должны быть представлены измерения искажений скорости, показывающие, какая числовая или визуальная ошибка вносится на каждом уровне сжатия и остаются ли важные научные выводы неизменными после декомпрессии. Сравнение с традиционными методами без потерь и с потерями прояснит, являются ли заявленные 10-100-кратные сокращения практическим достижением для конкретных рабочих нагрузок или результатом благоприятных условий тестирования. Сам по себе источник не устанавливает, что заявленный диапазон применим в широком смысле.
Наличие также будет иметь значение. Newswise не сообщает, опубликовал ли SLAC исходный код, обученные модели, файлы конфигурации или наборы данных, используемые для оценки. Без этих материалов сторонним исследователям может быть трудно воспроизвести результаты или определить, применим ли метод к их собственным инструментам. Стоимость обучения, оборудование, необходимое для декодирования, и обслуживание, необходимое в случае изменения распределения данных, также не сообщаются.
Оперативное развертывание на базе LCLS или на другом объекте с высокой пропускной способностью станет более значимым испытанием. Следователям необходимо будет оценить, соответствует ли сжатие и выборочное извлечение входящим данным, не создает ли система неприемлемую задержку и можно ли обнаружить и восстановить сбои без ущерба для необработанных записей. Newswise описывает будущее или потенциальное использование в LCLS, но предоставленный отчет не подтверждает, что инструмент работает в производственном конвейере.
Исследователи также должны изучить научный риск на уровне объектов. Метод может сохранить общее качество изображения, ослабив при этом небольшой сигнал, важный для конкретного эксперимента. Поэтому оценка должна включать в себя тесты, основанные на задачах, например, могут ли ученые восстановить те же свойства материала или физические выводы из сжатых данных, что и из исходных измерений. В отчете не уточняется, какие такие испытания проводились.
Наконец, в этой области потребуются более четкие рекомендации относительно того, когда сжатие ИИ уместно, а когда необходимо сохранять необработанные данные. Newswise представляет этот метод как дополнение к выбору событий и другим методам сокращения данных, что поднимает вопросы о том, как взаимодействуют множественные сокращения и не усугубляются ли ошибки. Следующим наиболее значимым развитием могут стать доказательства независимых групп или документальное внедрение, показывающее, что метод сохраняет научно важные детали в условиях реальных ограничений хранения и анализа.