Какво стана
Newswise съобщава, че изследователите на SLAC са разработили базиран на изкуствен интелект метод за компресиране за големи научни набори от данни. Подходът разделя информацията по мащаб, компресира тези компоненти с невронни мрежи и позволява на потребителите да извличат избрани региони с различни разделителни способности. Изследователите съобщават за намаляване на размера на файла от 10 до 100 пъти в няколко типа данни, но тези резултати не са независимо потвърдени в предоставения източник.
Newswise съобщава, че изследователи от Националната ускорителна лаборатория SLAC на Министерството на енергетиката на САЩ са разработили метод на невронна мрежа за компресиране на необработени данни от широкомащабни научни експерименти. Работата е публикувана в Nature Machine Intelligence, според доклада. Основната му цел е да намали размерите на файловете, без да изхвърля фините модели, които по-късно могат да се окажат важни за научния анализ. Докладът очертава метода като отговор на очакваното нарастване на експерименталните данни, а не като потребителски продукт за компресиране с общо предназначение.
Според Newswise, методът първо използва вълнов анализ, за да раздели характеристиките в набор от данни по мащаб. След това невронна мрежа компресира различните мащабирани компоненти поотделно, създавайки компактно представяне, което е предназначено да запази както широки структури, така и по-фини детайли. По време на декодирането изследователите могат да изберат област от интерес и да я възстановят в различни мащаби и разделителни способности. Това селективно извличане е централна характеристика на подхода: потребителите не е задължително да декомпресират цял файл, за да инспектират малка част от измерване.
Newswise съобщава, че изследователите са тествали метода върху няколко категории данни, включително измервания, включващи молекули и материали, измервания на слънчевото магнитно поле и снимки. В доклада се казва, че невронната мрежа се адаптира към различни типове данни, като научи кои функции са важни за всяко измерване. Изследователите съобщават, че в зависимост от данните и желаното качество или прецизност, методът обикновено може да намали размера на файла от 10 до 100 пъти. Предоставеният източник не предоставя основните таблици за сравнение, показатели за грешки, методи за сравнение или размери на набори от данни, необходими за независима оценка на този диапазон.
Докладът идентифицира кохерентния светлинен източник Linac или LCLS като потенциално приложение. Newswise казва, че се очаква съоръжението в крайна сметка да генерира до един милион рентгенови импулси в секунда, създавайки обеми от данни, които могат да достигнат терабайти в секунда за инструменти, използващи пълните му възможности. Той специално споменава инструмента за флуктуационна спектроскопия на рентгенови фотони, който ще изучава движенията на частиците в екзотични топологични и квантови материали. Източникът описва метода на компресия като потенциално полезен за тази настройка, а не като потвърдено производствено внедряване.
Newswise също съобщава, че подходът е проектиран да работи заедно с по-широки техники за намаляване на данни, които запазват само избрани събития или функции. Изследователите го описват като допълнителна опция за компресиране, базирана на изкуствен интелект, а не като заместител на съществуващите методи. Обучението използва изчислителната система Perlmutter в Националния научен изчислителен център за енергийни изследвания, според доклада. Сътрудниците включват изследователи, свързани със SLAC, Станфорд, Тексаския университет в Остин, Калифорнийския университет, Дейвис и Университета Карнеги Мелън.
Детайли за източника: newswise.com ↗
Защо има значение
Научните инструменти произвеждат масиви от данни, достатъчно големи, за да натоварят системите за съхранение, трансфер и анализ. Запазването на фините характеристики, като същевременно се позволява извличане на специфични за региона, може да намали разходите и времето за работа с експериментални данни, особено в съоръжения като кохерентния светлинен източник Linac на SLAC. Практическата стойност ще зависи от независими тестове, верността на възстановените измервания и дали методът работи надеждно в работещи тръбопроводи.
Практическият проблем става все по-важен за експерименталната наука. Newswise съобщава, че инструментите от следващо поколение ще произвеждат повече данни, отколкото настоящите системи за съхранение и анализ могат удобно да обработват. Големите необработени набори от данни създават няколко свързани разходи: те изискват капацитет за съхранение, честотна лента на мрежата за движение, изчислително време за обработка и време на персонала за локализиране и проверка на съответните измервания. Метод на компресиране, който запазва полезна информация, може да засегне и четирите части на този работен процес.
Научната обосновка за запазване на фините детайли е по-скоро специфична, отколкото козметична. Newswise съобщава, че малки петна в рентгеновите изображения могат да съдържат информация за подредбата, разстройството или динамиката на материалите. Ако компресията премахне тези модели, изследователите може да загубят доказателства, необходими, за да разберат как е структуриран даден материал или как се променя с времето. Предложеното разделяне на характеристиките по мащаб има за цел да направи такива подробности достъпни, когато имат значение, като същевременно намалява размера на общия набор от данни.
Селективното декодиране може също да промени начина, по който изследователите преразглеждат архивираните данни. В доклада се казва, че конвенционалното компресиране може да изисква декомпресиране на цял файл, преди да може да бъде изследван малък регион, процес, който може да отнеме минути, часове или дни в зависимост от набора от данни. Newswise съобщава, че методът SLAC може вместо това да декомпресира само заявен регион. Ако това поведение се валидира при реални работни натоварвания, то може да направи проучвателния анализ по-отзивчив и да намали изчислителните ресурси, необходими за повтарящи се разследвания.
Подходът може да бъде уместен извън едно съоръжение, тъй като източникът казва, че е тестван върху различни научни и фотографски данни. Тази широчина предполага възможна обща рамка за компресиране за богати на данни изследвания, но не установява универсална производителност. Различни инструменти и научни въпроси могат да ценят различни функции и настройката за компресия, която е подходяща за една задача, може да изтрие информацията, необходима за друга. Следователно методът има най-голямо значение като начин да се направи компресията по-контролируема и ориентирана към задачите, а не като доказателство, че всички научни данни могат да бъдат компресирани безопасно с еднаква скорост.
Остават важни ограничения. Предоставеният отчет на Newswise не проверява независимо резултатите на изследователите, не идентифицира всички набори от тестови данни, не определя количествено грешките при реконструкцията или не сравнява метода с посочени най-съвременни компресори. Също така не се казва дали методът е бил използван в работен процес на живо LCLS, дали докладваните намаления включват всички метаданни и режийни разходи на модела или колко изчисления са необходими за обучение и декодиране. Тези неизвестни определят дали изследването е лабораторен резултат или инструмент за широко приложение.
Интерактивен механизъм: как всъщност работи
Разгледайте интерактивно основната технология зад тази разработка.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Какво да гледате след това
Ключовите въпроси са дали отчетеният обхват на компресия се поддържа в независими набори от данни, колко научна информация се губи при всяко ниво на компресия и дали методът може да работи достатъчно бързо за реални инструменти. По-нататъшното докладване трябва също да установи дали софтуерът, обучените модели, данните за оценка и подробностите за внедряването са публично достъпни и дали SLAC внедрява системата в производствен експеримент.
Независимата оценка трябва да бъде първият тест. Бъдещите доклади трябва да предоставят измервания на скорост-изкривяване, показващи колко числова или визуална грешка се въвежда при всяко ниво на компресия и дали важни научни заключения остават непроменени след декомпресията. Сравненията с конвенционалните методи без загуби и със загуби биха изяснили дали докладваните 10- до 100-кратни намаления са практически напредък за определени работни натоварвания или резултат от благоприятни условия на тестване. Източникът сам по себе си не установява, че заявеният диапазон се прилага широко.
Наличността също ще има значение. Newswise не казва дали SLAC е пуснал изходен код, обучени модели, конфигурационни файлове или наборите от данни, използвани за оценка. Без тези материали външните изследователи може да имат затруднения при възпроизвеждането на резултатите или определянето дали методът се прехвърля към техните собствени инструменти. Разходите за обучение, хардуерът, необходим за декодиране, и поддръжката, необходима при промяна на разпространението на данни, също не се съобщават.
Оперативното внедряване в LCLS или друго съоръжение с висока производителност би осигурило по-последователен тест. Изследователите ще трябва да измерят дали компресията и селективното извличане са в крак с входящите данни, дали системата въвежда неприемливо забавяне и дали повреди могат да бъдат открити и възстановени без компрометиране на необработените записи. Newswise описва бъдеща или потенциална употреба в LCLS, но предоставеният отчет не потвърждава, че инструментът работи в производствена линия.
Изследователите също трябва да изследват научния риск на ниво характеристики. Един метод може да запази цялостното качество на изображението, като същевременно отслаби малък сигнал, който е важен за конкретен експеримент. Следователно оценката трябва да включва тестове, базирани на задачи, като например дали учените могат да възстановят същите свойства на материала или физически заключения от компресирани данни, както от оригиналните измервания. В доклада не се посочва какви изследвания са направени.
И накрая, полето ще се нуждае от по-ясни насоки за това кога AI компресията е подходяща и кога трябва да се запазят необработените данни. Newswise представя метода като допълнение към избора на събития и други техники за редуциране на данни, което повдига въпроси за това как си взаимодействат множество редукции и дали грешките се комбинират. Най-смисленото следващо развитие би било доказателства от независими групи или документирано внедряване, показващо, че методът запазва важни от научна гледна точка подробности при реални ограничения за съхранение и анализ.