Ne oldu?
23 Ağustos'ta arXiv'ye gönderilen bir makale, bir anket tespit kanalının, AION-1'in çıktıları üzerinde, yorumlaması amaçlanan astronomik görüntü verilerinden daha fazla etki yaratabileceğini bildiriyor. Yazarlar, görüntü belirteçlerinin bayt-aynı tutulmasına rağmen, yalnızca bir anket segmentasyon haritasının düzenlenmesinin, bildirilen akışı, boyutu, eliptikliği ve kırmızıya kaymayı değiştirdiğini söylüyor.
Makale, yazarı tarafından 200 milyondan fazla astronomik nesne üzerinde eğitilmiş 39 modlu bir transformatör olarak tanımlanan AION-1'i inceliyor. Merkezi deneyi, modelin girdileri üzerinde nedensel müdahaleler kullanıyor: görüntü belirteçleri baytla aynı tutulurken yalnızca anket segmentasyon haritası düzenlenir. Makale, bu değişikliğin test edilen her miktarı (akı, boyut, eliptiklik ve kırmızıya kayma) eşleşen plaseboya göre 110 ila 4.400 kat değiştirdiğini bildiriyor. Bunlar, bağımsız olarak doğrulanmış bulgular değil, makale tarafından bildirilen sonuçlardır.
Bildirilen mekanizma algılama geçitidir. Makale, modelin davranışının, r = 0,47 olarak bildirilen bir korelasyonla, saha merkezinde bir algılamanın mevcut olup olmadığını takip ettiğini ve bu korelasyonun, r = 0,30 olan maske tarafından çevrelenen ışıktan daha güçlü olduğunu söylüyor. 322 gerçek karışımdan oluşan bir sette yazarlar, modelin boru hattının ışığı R = -0,006 ile nasıl bölüştürdüğünü büyük ölçüde göz ardı ettiğini bildirdi. Makale ayrıca çelişkili katalog fotometrisinin, modeli hiçbir meta veri sağlamamasından dokuz kat daha kötü hale getirdiğini söylüyor.
Makale, model davranışını anket verilerindeki eksik tespitlere bağlamaktadır. Legacy Survey hattının hedeflerin %3,68'ini konumlarını kapsayan bir segment olmadan bıraktığını bildiriyor. Bu oran 40 atamaya yayıldığında, yazarlar tomografik ortalama kırmızıya kaymalarda LSST DESC gereksiniminin 0,71 katına eşit bir medyan kayma olduğunu ve 12 atamada bu gereksinimi aşan bir kayma rapor etmişlerdir. Kaçırılanların eşit şekilde çizilmesi yerine ölçülen büyüklük bağımlılığının kullanılması rapor edilen sonucu değiştirmedi.
Çeşitli teknik sınırlamalar da açıklanmıştır. Makale, spektroskopinin etkiyi ortadan kaldırdığını, tespit kanalının durdurulmasının ise ölçülebilir bir maliyet olmaksızın etkiyi ortadan kaldırdığını ve etkinin model ölçeğiyle birlikte büyüdüğünü söylüyor. Görüntü codec bileşeninin, spektrum codec bileşeni için 934 ile karşılaştırıldığında, kaynak yamalarında 28 etkili durumu çözdüğünü ve kırmızıya kayma okumasının nicemlemeyle sınırlı olduğunu rapor eder. Aynı zamanda seyrek sözlüklerin güvenilmez nedensel işlemler olduğu konusunda da uyarıyor: iyileşme %26 ila %75 arasında değişiyordu ve rastgele tohumlamaya bağlı olarak yüzde 18'e kadar hareket ediyordu.
Kaynak ayrıntıları: arxiv.org ↗
Neden önemli?
Bulgu, bilimsel yapay zeka için potansiyel olarak sonuç doğuran bir hata modunu tanımlar: Bir model, öncelikle temeldeki gözlemlere dayanmak yerine, katalog ve tespit hatlarından sistematik hataları devralabilir. Makale, ölçülen hata oranının simüle edilmiş yayılımının, anket analizinde kullanılan tomografik ortalama kırmızıya kaymaları önemli ölçüde değiştirebileceğini bildirmektedir.
Makalenin daha geniş önemi, bilimsel ölçüm için kullanılan bir yapay zeka sisteminin, veri işleme kararını nesnenin kendisi hakkında kanıt olarak ele alabilmesidir. Segmentasyon haritası, tespit edilen veya ayrılan kaynakları gösteren türetilmiş bir üründür; bildirilen deneyler, AION-1'in bu sinyali pikselleri analiz edip etmeyeceği ve nasıl analiz edeceği konusunda bir kapı olarak kullanabileceğini gösteriyor. Tekrarlanırsa, araştırmacılar modelden gözlemleri yorumlamasını istediklerine inansalar bile bu, anket hattını modelin etkili ölçüm sisteminin bir parçası haline getirecektir.
Tomografik ortalama kırmızıya kaymalar, nesnelerin kırmızıya kayma kutuları boyunca nasıl dağıtıldığına ilişkin toplu tahminlerdir. Makale, modelin davranışıyla birlikte %3,68'lik bir eksik segment oranının, bu toplamları, belirtilen LSST DESC gereksiniminin önemli bir kısmı kadar ve bazen bunun ötesine kaydırabileceğini bildirmektedir. Pratik kaygı, yalnızca bireysel tahminlerin yanlış olabileceği değil, aynı zamanda tekrarlanan, boru hattına bağlı bir hatanın nüfus düzeyindeki bilimsel sonuçlara yayılabileceğidir.
Sonuç aynı zamanda çok modlu temel modelleriyle ilgili ortak bir varsayıma da meydan okuyor: Daha fazla kanalın eklenmesi, sistemi otomatik olarak daha sağlam veya daha bilgili hale getirmez. Burada makale, çelişkili katalog fotometrisinin meta verileri tamamen kaldırmaktan daha zarar verici olabileceğini bildiriyor. Raporlanan testlerde tespit kanalının durdurulmasının ölçülebilir bir performansa mal olmadığı bulgusu, potansiyel olarak basit bir hafifletmeye işaret ediyor; ancak kaynak, bu ödünleşimin her görev veya çalışma koşulu için geçerli olup olmadığını belirlemiyor.
Makalenin kanıtları özellikle önemlidir çünkü tahminleri yalnızca etiketlerle karşılaştırmak yerine kontrollü müdahaleler kullanır. Yazarlar, görüntü belirteçlerini korurken bir giriş kanalını değiştirerek nedensel etkiyi izole etmeye çalışırlar. Bu yaklaşım tek başına AION-1'in her astronomik iş akışında başarısız olacağını belirlemez, ancak model girdilerinin fiziksel bilgileri, ölçüm yapaylıklarını veya yukarı akış yazılımına gömülü varsayımları yansıtıp yansıtmadığını denetlemek için somut bir yol sunar.
İnteraktif Mekanizma: Aslında Nasıl Çalışıyor?
Bu gelişmenin arkasında yatan teknolojiyi etkileşimli olarak keşfedin.
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
Bundan sonra ne izlenecek?
Sonuç, tek bir arXiv v1 kağıdından elde edilir ve modeller, anketler ve veri işleme hatları genelinde bağımsız çoğaltma gerektirir. Takip çalışması, stopaj tespiti meta verilerinin bilimsel performansı koruyup korumadığını, bildirilen etkinin operasyonel sistemlerde görünüp görünmediğini ve kırmızıya kayma nicemleme ve tokenizasyon limitlerinin sonuçları ne kadar etkilediğini test etmelidir.
Acil soru kopyalamadır. Kaynak, bir yazarın bir modele ilişkin denetimini açıklamaktadır ve emsal değerlendirmesini, bağımsız yeniden analizi veya diğer astronomik temel modellerinin sonuçlarını bildirmemektedir. Araştırmacılar aynı müdahaleleri, katalog ürünleri olmadan veya açık kaynak ve eksik veri göstergeleri ile eğitilen sistemler de dahil olmak üzere farklı araştırmalar, segmentasyon hatları ve model mimarileri üzerinde test etmelidir.
Bildirilen azaltım da dikkatle değerlendirilmelidir. Tespit kanalının durdurulması, makalenin testlerinde ölçülebilir bir maliyet olmadan ölçülen etkiyi ortadan kaldırdı, ancak kaynak, bu karşılaştırmanın etrafındaki tam görev paketini, değerlendirme örneğini veya belirsizliği belirtmiyor. Takip çalışmaları, kanalın kaldırılmasının nadir nesneleri, kalabalık alanları, soluk kaynakları veya denetim kapsamına girmeyen görevleri etkileyip etkilemediğini belirlemelidir.
Kırmızıya kayma sonucunun operasyonel doğrulamaya ihtiyacı var. Makale, bildirilen bir eksik segment oranını 40 atama aracılığıyla yayıyor ve ortaya çıkan değişimleri bir LSST DESC gerekliliğiyle karşılaştırıyor, ancak kaynak, bu değişimlerin konuşlandırılmış bir anket analizinde gözlemlendiğini söylemiyor. Bağımsız ekipler atama prosedürünü yeniden oluşturmalı, güven aralıklarını ölçmeli ve gerçek anket gözlemlerinin popülasyon düzeyinde aynı önyargıyı gösterip göstermediğini test etmelidir.
Daha fazla çalışma, modelin algılama meta verilerine olan bağımlılığını, tokenizasyon ve çıktı temsilindeki sınırlamalardan ayırmalıdır. Makale, görüntü yamalarının spektrum yamalarından çok daha az etkili codec durumuna sahip olduğunu ve kırmızıya kayma okumasının kuantizasyonla sınırlı olduğunu bildiriyor. Her bir sınırlamanın manşet etkisine ne kadar katkıda bulunduğu, ölçeklendirmenin performansı tutarlı bir şekilde kötüleştirip kötüleştirmediği ve alternatif tokenizer'ların veya okumaların sonuçları değiştirip değiştirmediği hala belirsizliğini koruyor.