Audyt podstawowego modelu astronomii wykazał, że metadane ankiety mogą zastąpić piksele obrazu

Co się stało

Artykuł przesłany do arXiv 23 sierpnia donosi, że kanał detekcji przeglądu może wywierać większy wpływ na dane wyjściowe AION-1 niż dane obrazu astronomicznego, które ma interpretować. Autorzy twierdzą, że edytowanie jedynie mapy segmentacji ankiety zmieniło raportowany strumień, rozmiar, eliptyczność i przesunięcie ku czerwieni, pomimo zachowania identyczności bajtów tokenów obrazu.

W artykule zbadano AION-1, opisany przez autora jako transformator 39-modalny wytrenowany na ponad 200 milionach obiektów astronomicznych. Jego główny eksperyment wykorzystuje interwencje przyczynowe na wejściach modelu: tokeny obrazów są utrzymywane w identyczności bajtowej, podczas gdy edytowana jest tylko mapa segmentacji ankiety. W artykule podano, że zmiana ta zmienia każdą badaną wielkość – strumień, rozmiar, eliptyczność i przesunięcie ku czerwieni – od 110 do 4400 razy w porównaniu z dopasowanym placebo. Są to wyniki przedstawione w artykule, a nie niezależnie zweryfikowane ustalenia.

Zgłoszonym mechanizmem jest bramkowanie detekcji. W artykule stwierdzono, że zachowanie modelu śledzi obecność detekcji w środku pola, a korelacja wynosi r = 0,47, czyli jest silniejsza niż światło zamknięte przez maskę, które ma r = 0,30. W zestawie 322 rzeczywistych mieszanin autorzy podają, że model w dużej mierze zignorował sposób, w jaki rurociąg podzielił światło, przy R = -0,006. W artykule napisano również, że sprzeczna fotometria katalogowa spowodowała, że ​​model był dziewięć razy gorszy niż brak metadanych.

Artykuł łączy zachowanie modelu z brakującymi wykryciami w danych ankietowych. Z raportu wynika, że ​​w ramach badania Legacy Survey 3,68% celów nie posiada segmentu obejmującego ich pozycję. Kiedy współczynnik ten został rozpropagowany przez 40 przydziałów, autorzy podają medianę przesunięcia średnich tomograficznych przesunięć ku czerwieni równą 0,71-krotności wymagania LSST DESC, przy czym przesunięcie przekracza to wymaganie w 12 przydziałach. Użycie zmierzonej zależności wielkości chybień zamiast ich jednolitego rysowania nie zmieniło zgłoszonego wyniku.

Opisano także kilka ograniczeń technicznych. W artykule stwierdzono, że spektroskopia usuwa ten efekt, natomiast wstrzymanie kanału detekcyjnego usuwa go bez mierzalnych kosztów, a efekt rośnie wraz ze skalą modelu. Podaje, że kodek obrazu rozpoznaje 28 efektywnych stanów na poprawkach źródłowych w porównaniu z 934 w przypadku kodeka widma, a odczyt przesunięcia ku czerwieni jest ograniczony przez kwantyzację. Ostrzega również, że słowniki rzadkie nie są wiarygodnymi uchwytami przyczynowymi: odzysk wahał się od 26% do 75% i zmieniał się aż o 18 punktów procentowych, w zależności od losowego materiału siewnego.

Szczegóły źródła: arxiv.org ↗

Dlaczego to ma znaczenie

Odkrycie wskazuje na potencjalnie poważny tryb awarii naukowej sztucznej inteligencji: model może dziedziczyć błędy systematyczne z katalogów i procesów wykrywania, zamiast polegać głównie na obserwacjach leżących u ich podstaw. W artykule doniesiono, że symulowana propagacja zmierzonego poziomu błędów może w istotny sposób przesunąć średnie tomograficzne przesunięcia ku czerwieni stosowane w analizie badań ankietowych.

Szersze znaczenie artykułu polega na tym, że system sztucznej inteligencji wykorzystywany do pomiarów naukowych może traktować decyzję dotyczącą przetwarzania danych jako dowód dotyczący samego obiektu. Mapa segmentacji jest produktem pochodnym wskazującym wykryte lub wyodrębnione źródła; zgłoszone eksperymenty sugerują, że AION-1 może wykorzystać ten sygnał jako bramkę określającą, czy i w jaki sposób analizuje piksele. Jeśli zostanie powtórzone, rurociąg badawczy stanie się częścią efektywnego systemu pomiarowego modelu, nawet jeśli badacze uważają, że proszą model o interpretację obserwacji.

Średnie tomograficzne przesunięcia ku czerwieni to zbiorcze szacunki rozkładu obiektów w przedziałach przesunięcia ku czerwieni. W artykule podano, że współczynnik brakujących segmentów wynoszący 3,68% w połączeniu z zachowaniem modelu może przesunąć te agregaty o znaczną część podanego wymogu LSST DESC, a czasami nawet poza niego. Praktycznym problemem jest nie tylko to, że indywidualne przewidywania mogą być błędne, ale także to, że powtarzający się błąd powiązany z rurociągiem może przełożyć się na wnioski naukowe na poziomie populacji.

Wynik podważa również powszechne założenie dotyczące multimodalnych modeli podstawowych: dodanie większej liczby kanałów nie powoduje automatycznie, że system jest solidniejszy i lepiej poinformowany. W artykule podano, że sprzeczna fotometria katalogowa może być bardziej szkodliwa niż całkowite usunięcie metadanych. Ustalenie, że w zgłoszonych testach wstrzymanie kanału wykrywania nie wiąże się z żadnymi mierzalnymi wynikami, wskazuje na potencjalnie proste rozwiązanie łagodzące, chociaż źródło nie ustala, czy ten kompromis dotyczy każdego zadania lub warunku operacyjnego.

Dowody zawarte w artykule są szczególnie istotne, ponieważ wykorzystują kontrolowane interwencje, a nie tylko porównywanie przewidywań z etykietami. Zmieniając jeden kanał wejściowy, zachowując tokeny obrazu, autorzy próbują wyizolować wpływ przyczynowy. Podejście to samo w sobie nie gwarantuje, że AION-1 zawiedzie w każdym procesie astronomicznym, ale oferuje konkretny sposób sprawdzenia, czy dane wejściowe modelu odzwierciedlają informacje fizyczne, artefakty pomiarowe lub założenia wbudowane w oprogramowanie źródłowe.

Co obejrzeć dalej

Wynik pochodzi z pojedynczego artykułu arXiv v1 i wymaga niezależnej replikacji w modelach, ankietach i potokach przetwarzania danych. W dalszych pracach należy sprawdzić, czy wstrzymanie metadanych dotyczących wykrywania pozwala zachować wyniki naukowe, czy zgłoszony efekt pojawia się w systemach operacyjnych oraz w jakim stopniu ograniczenia kwantyzacji przesunięcia ku czerwieni i tokenizacji wpływają na wnioski.

Natychmiastowym pytaniem jest replikacja. Źródło opisuje audyt jednego modelu jednego autora i nie podaje recenzji, niezależnych ponownych analiz ani wyników innych podstawowych modeli astronomicznych. Naukowcy powinni testować te same interwencje w różnych ankietach, procesach segmentacji i architekturach modeli, w tym w systemach szkolonych bez produktów katalogowych lub z wyraźnym pochodzeniem i wskaźnikami brakujących danych.

Zgłoszone środki łagodzące należy również dokładnie ocenić. Wstrzymanie kanału detekcji usunęło zmierzony efekt bez wymiernych kosztów w testach artykułu, ale źródło nie określa pełnego zestawu zadań, próby ewaluacyjnej ani niepewności związanej z tym porównaniem. Badania uzupełniające powinny ustalić, czy usunięcie kanału ma wpływ na rzadkie obiekty, zatłoczone pola, słabe źródła lub zadania nieobjęte audytem.

Wynik przesunięcia ku czerwieni wymaga walidacji operacyjnej. W artykule propagowano zgłoszony współczynnik brakujących segmentów przez 40 przypisań i porównywano powstałe przesunięcia z wymaganiami LSST DESC, ale źródło nie podaje, że przesunięcia te zaobserwowano w analizie wdrożonego badania. Niezależne zespoły powinny odtworzyć procedurę przypisywania, określić ilościowo przedziały ufności i sprawdzić, czy rzeczywiste obserwacje ankietowe wykazują to samo obciążenie na poziomie populacji.

Dalsze prace powinny oddzielić zależność modelu od metadanych dotyczących wykrywania od ograniczeń w jego tokenizacji i reprezentacji wyników. W artykule podano, że poprawki obrazu mają znacznie mniej efektywnych stanów kodeków niż plamy widma, a odczyt przesunięcia ku czerwieni jest ograniczony przez kwantyzację. Nie jest jasne, w jakim stopniu każde ograniczenie przyczynia się do efektu nagłówka, czy skalowanie stale pogarsza wydajność i czy alternatywne tokenizatory lub odczyty zmieniają wnioski.

Powiązane przewodniki i quizy