কি হয়েছে
23 অগাস্ট arXiv-এ জমা দেওয়া একটি পেপার রিপোর্ট করে যে একটি জরিপ সনাক্তকরণ চ্যানেল AION-1 এর আউটপুটগুলির উপর আরও বেশি প্রভাব ফেলতে পারে জ্যোতির্বিজ্ঞানের চিত্র ডেটা যা ব্যাখ্যা করার জন্য। লেখকরা বলেছেন যে শুধুমাত্র একটি সমীক্ষা বিভাজন মানচিত্র সম্পাদনা করলে ইমেজ টোকেন বাইট-অভিন্ন রাখা সত্ত্বেও রিপোর্ট করা ফ্লাক্স, আকার, উপবৃত্তাকার এবং রেডশিফ্ট পরিবর্তিত হয়।
কাগজটি AION-1 পরীক্ষা করে, এটির লেখক 200 মিলিয়নেরও বেশি জ্যোতির্বিদ্যাগত বস্তুর উপর প্রশিক্ষিত একটি 39-মোডালিটি ট্রান্সফরমার হিসাবে বর্ণনা করেছেন। এর কেন্দ্রীয় পরীক্ষা মডেলের ইনপুটগুলিতে কার্যকারণ হস্তক্ষেপ ব্যবহার করে: চিত্র টোকেনগুলি বাইট-অভিন্ন রাখা হয় যখন শুধুমাত্র জরিপ বিভাজন মানচিত্রটি সম্পাদনা করা হয়। কাগজটি রিপোর্ট করে যে এই পরিবর্তনটি পরীক্ষিত প্রতিটি পরিমাণে পরিবর্তন করে-প্রবাহ, আকার, উপবৃত্তাকার এবং রেডশিফ্ট-কে 110 থেকে 4,400 বার মিলে যাওয়া প্লাসিবোতে। এগুলি কাগজ দ্বারা রিপোর্ট করা ফলাফল, স্বাধীনভাবে যাচাইকৃত ফলাফল নয়।
রিপোর্ট করা ব্যবস্থা হল সনাক্তকরণ গেটিং। কাগজটি বলেছে যে মডেলটির আচরণ ট্র্যাক করে যে ফিল্ড সেন্টারে একটি সনাক্তকরণ উপস্থিত রয়েছে কিনা, r = 0.47 এর রিপোর্ট করা পারস্পরিক সম্পর্ক সহ, মুখোশ দ্বারা ঘেরা আলোর চেয়ে বেশি শক্তিশালী, যার r = 0.30 রয়েছে। 322টি বাস্তব মিশ্রণের একটি সেটে, লেখকরা রিপোর্ট করেছেন যে মডেলটি মূলত উপেক্ষা করেছে কিভাবে পাইপলাইন আলোকে বিভাজন করেছে, R = -0.006 এর সাথে। কাগজটি আরও বলেছে যে বিরোধিত ক্যাটালগ ফটোমেট্রি মডেলটিকে মোটেও কোনও মেটাডেটা সরবরাহ না করার চেয়ে নয় গুণ খারাপ ছেড়ে দিয়েছে।
কাগজটি মডেল আচরণকে জরিপ ডেটাতে অনুপস্থিত সনাক্তকরণের সাথে সংযুক্ত করে। এটি রিপোর্ট করে যে লিগ্যাসি সার্ভে পাইপলাইন তাদের অবস্থান কভার করে একটি অংশ ছাড়াই লক্ষ্যমাত্রার 3.68% ছেড়ে দেয়। যখন সেই হারটি 40টি অ্যাসাইনমেন্টের মাধ্যমে প্রচার করা হয়েছিল, তখন লেখকরা 12টি অ্যাসাইনমেন্টে সেই প্রয়োজনীয়তা অতিক্রম করার সাথে LSST DESC প্রয়োজনীয়তার 0.71 গুণের সমান টমোগ্রাফিক গড় রেডশিফ্টের একটি মিডিয়ান শিফ্ট রিপোর্ট করেছেন। মিসগুলিকে অভিন্নভাবে আঁকার পরিবর্তে পরিমাপকৃত মাত্রার নির্ভরতা ব্যবহার করে রিপোর্ট করা ফলাফল পরিবর্তন হয়নি।
বেশ কিছু প্রযুক্তিগত সীমাবদ্ধতাও বর্ণনা করা হয়েছে। কাগজে বলা হয়েছে যে স্পেকট্রোস্কোপি প্রভাবটি সরিয়ে দেয়, যখন সনাক্তকরণ চ্যানেলটি আটকে রাখলে এটি কোনও পরিমাপযোগ্য খরচ ছাড়াই সরিয়ে দেয় এবং প্রভাবটি মডেল স্কেলের সাথে বৃদ্ধি পায়। এটি রিপোর্ট করে যে ইমেজ কোডেক সোর্স প্যাচগুলিতে 28টি কার্যকর অবস্থার সমাধান করে, স্পেকট্রাম কোডেকের জন্য 934টির তুলনায়, এবং রেডশিফ্ট রিডআউট পরিমাণ-সীমিত। এটি আরও সতর্ক করে যে স্পার্স অভিধানগুলি অবিশ্বস্ত কার্যকারণ হ্যান্ডেলগুলি: পুনরুদ্ধার 26% থেকে 75% পর্যন্ত এবং র্যান্ডম বীজের উপর নির্ভর করে 18 শতাংশ পয়েন্টের মতো স্থানান্তরিত হয়েছে।
কেন এটা গুরুত্বপূর্ণ
অনুসন্ধানটি বৈজ্ঞানিক এআই-এর জন্য একটি সম্ভাব্য পরিণতিমূলক ব্যর্থতার মোড চিহ্নিত করে: একটি মডেল প্রাথমিকভাবে অন্তর্নিহিত পর্যবেক্ষণের উপর নির্ভর না করে ক্যাটালগ এবং সনাক্তকরণ পাইপলাইন থেকে পদ্ধতিগত ত্রুটিগুলি উত্তরাধিকার সূত্রে পেতে পারে। গবেষণাপত্রটি রিপোর্ট করে যে পরিমাপ করা ত্রুটির হারের সিমুলেটেড প্রচার জরিপ বিশ্লেষণে ব্যবহৃত টমোগ্রাফিক গড় রেডশিফ্টকে বস্তুগতভাবে পরিবর্তন করতে পারে।
কাগজটির বিস্তৃত তাত্পর্য হল যে বৈজ্ঞানিক পরিমাপের জন্য ব্যবহৃত একটি AI সিস্টেম বস্তুর সম্পর্কে প্রমাণ হিসাবে ডেটা-প্রসেসিং সিদ্ধান্তকে বিবেচনা করতে পারে। একটি বিভাজন মানচিত্র একটি উদ্ভূত পণ্য যা সনাক্ত করা বা পৃথক উৎস নির্দেশ করে; রিপোর্ট করা পরীক্ষাগুলি পরামর্শ দেয় যে AION-1 সেই সংকেতটিকে একটি গেট হিসাবে ব্যবহার করতে পারে কিনা এবং কীভাবে এটি পিক্সেলগুলিকে বিশ্লেষণ করে। যদি প্রতিলিপি করা হয়, এটি জরিপ পাইপলাইনটিকে মডেলের কার্যকরী পরিমাপ ব্যবস্থার অংশ করে তুলবে, এমনকি যখন গবেষকরা বিশ্বাস করেন যে তারা মডেলটিকে পর্যবেক্ষণের ব্যাখ্যা করতে বলছেন।
টমোগ্রাফিক গড় রেডশিফ্ট হল রেডশিফ্ট বিন জুড়ে বস্তুগুলি কীভাবে বিতরণ করা হয় তার সমষ্টিগত অনুমান। কাগজটি রিপোর্ট করেছে যে মডেলের আচরণের সাথে মিলিত একটি 3.68% অনুপস্থিত-সেগমেন্ট রেট, উল্লেখিত LSST DESC প্রয়োজনীয়তার একটি উল্লেখযোগ্য ভগ্নাংশ দ্বারা এবং কখনও কখনও এর বাইরেও এই সমষ্টিগুলিকে স্থানান্তর করতে পারে। ব্যবহারিক উদ্বেগের বিষয় হল যে ব্যক্তিগত ভবিষ্যদ্বাণীগুলি ভুল হতে পারে তা নয়, তবে একটি বারবার পাইপলাইন-সংযুক্ত ত্রুটি জনসংখ্যা-স্তরের বৈজ্ঞানিক সিদ্ধান্তে প্রচার করতে পারে।
ফলাফলটি মাল্টিমডাল ফাউন্ডেশন মডেল সম্পর্কে একটি সাধারণ ধারণাকেও চ্যালেঞ্জ করে: আরও চ্যানেল যুক্ত করা স্বয়ংক্রিয়ভাবে সিস্টেমকে আরও শক্তিশালী বা আরও বেশি জ্ঞাত করে না। এখানে, কাগজটি রিপোর্ট করে যে পরস্পরবিরোধী ক্যাটালগ ফটোমেট্রি সম্পূর্ণরূপে মেটাডেটা অপসারণের চেয়ে বেশি ক্ষতিকর হতে পারে। রিপোর্ট করা পরীক্ষায় সনাক্তকরণ চ্যানেল আটকে রাখার ফলে কোনো পরিমাপযোগ্য কর্মক্ষমতা নেই তা সম্ভাব্য সহজ প্রশমনের দিকে ইঙ্গিত করে, যদিও উৎসটি প্রতিটি কাজ বা অপারেটিং অবস্থার জন্য ট্রেডঅফ ধারণ করে কিনা তা প্রতিষ্ঠিত করে না।
কাগজের প্রমাণ বিশেষভাবে প্রাসঙ্গিক কারণ এটি শুধুমাত্র লেবেলের বিরুদ্ধে পূর্বাভাস তুলনা করার পরিবর্তে নিয়ন্ত্রিত হস্তক্ষেপ ব্যবহার করে। ইমেজ টোকেন সংরক্ষণ করার সময় একটি ইনপুট চ্যানেল পরিবর্তন করে, লেখক কার্যকারণ প্রভাবকে বিচ্ছিন্ন করার চেষ্টা করেন। এই পদ্ধতিটি নিজেই প্রতিষ্ঠিত করে না যে AION-1 প্রতিটি জ্যোতির্বিজ্ঞানের কর্মপ্রবাহে ব্যর্থ হবে, তবে এটি মডেল ইনপুটগুলি শারীরিক তথ্য, পরিমাপ শিল্পকর্ম বা আপস্ট্রিম সফ্টওয়্যারে এমবেড করা অনুমানগুলিকে প্রতিফলিত করে কিনা তা নিরীক্ষা করার একটি নির্দিষ্ট উপায় সরবরাহ করে।
ইন্টারেক্টিভ মেকানিজম: এটা আসলে কিভাবে কাজ করে
এই বিকাশের পিছনে অন্তর্নিহিত প্রযুক্তিটি ইন্টারেক্টিভভাবে অন্বেষণ করুন।
crm_get_transaction(id='4092').Which component of an AI application is the machine-learning model itself?
পরবর্তী কি দেখতে
ফলাফল একটি একক arXiv v1 কাগজ থেকে আসে এবং মডেল, সমীক্ষা এবং ডেটা-প্রসেসিং পাইপলাইন জুড়ে স্বাধীন প্রতিলিপি প্রয়োজন। ফলো-আপ কাজের পরীক্ষা করা উচিত যে আটকানো সনাক্তকরণ মেটাডেটা বৈজ্ঞানিক কর্মক্ষমতা সংরক্ষণ করে কিনা, রিপোর্ট করা প্রভাব অপারেশনাল সিস্টেমগুলিতে প্রদর্শিত হয় কিনা এবং রেডশিফ্ট কোয়ান্টাইজেশন এবং টোকেনাইজেশন সীমা সিদ্ধান্তগুলিকে কতটা প্রভাবিত করে।
অবিলম্বে প্রশ্ন প্রতিলিপি হয়. উৎসটি একজন লেখকের একটি মডেলের অডিট বর্ণনা করে এবং পিয়ার রিভিউ, স্বাধীন পুনর্বিশ্লেষণ বা অন্যান্য জ্যোতির্বিজ্ঞানের ভিত্তি মডেলের ফলাফলের প্রতিবেদন করে না। গবেষকদের বিভিন্ন সমীক্ষা, সেগমেন্টেশন পাইপলাইন এবং মডেল আর্কিটেকচারে একই হস্তক্ষেপ পরীক্ষা করা উচিত, যার মধ্যে ক্যাটালগ পণ্য ছাড়া প্রশিক্ষিত সিস্টেম বা সুস্পষ্ট উত্স এবং অনুপস্থিত-ডেটা সূচক সহ।
রিপোর্ট করা প্রশমনকেও সাবধানে মূল্যায়ন করা উচিত। সনাক্তকরণ চ্যানেল আটকে রাখা কাগজের পরীক্ষায় পরিমাপযোগ্য খরচ ছাড়াই পরিমাপ করা প্রভাবকে সরিয়ে দেয়, তবে উত্সটি সম্পূর্ণ টাস্ক স্যুট, মূল্যায়নের নমুনা বা সেই তুলনার আশেপাশে অনিশ্চয়তা নির্দিষ্ট করে না। ফলো-আপ অধ্যয়নগুলি নির্ধারণ করা উচিত যে চ্যানেল অপসারণ করা বিরল বস্তু, জনাকীর্ণ ক্ষেত্র, অস্পষ্ট উত্স বা অডিট দ্বারা আচ্ছাদিত নয় এমন কাজগুলিকে প্রভাবিত করে কিনা।
রেডশিফ্ট ফলাফলের অপারেশনাল বৈধতা প্রয়োজন। কাগজটি 40টি অ্যাসাইনমেন্টের মাধ্যমে একটি রিপোর্ট করা অনুপস্থিত-সেগমেন্টের হার প্রচার করে এবং ফলস্বরূপ পরিবর্তনগুলিকে একটি LSST DESC প্রয়োজনীয়তার সাথে তুলনা করে, কিন্তু উত্সটি বলে না যে এই পরিবর্তনগুলি একটি নিয়োজিত সমীক্ষা বিশ্লেষণে পরিলক্ষিত হয়েছে৷ স্বাধীন দলগুলিকে অ্যাসাইনমেন্ট পদ্ধতি পুনরুত্পাদন করা উচিত, আত্মবিশ্বাসের ব্যবধানের পরিমাণ নির্ধারণ করা উচিত এবং প্রকৃত জরিপ পর্যবেক্ষণগুলি একই জনসংখ্যা-স্তরের পক্ষপাত দেখায় কিনা তা পরীক্ষা করা উচিত।
আরও কাজটি সনাক্তকরণ মেটাডেটার উপর মডেলের নির্ভরতাকে এর টোকেনাইজেশন এবং আউটপুট উপস্থাপনার সীমাবদ্ধতা থেকে আলাদা করা উচিত। কাগজটি রিপোর্ট করে যে চিত্র প্যাচগুলিতে স্পেকট্রাম প্যাচগুলির তুলনায় অনেক কম কার্যকর কোডেক স্টেট রয়েছে এবং সেই রেডশিফ্ট রিডআউট পরিমাণ-সীমাবদ্ধ। প্রতিটি সীমাবদ্ধতা শিরোনাম প্রভাবে কতটা অবদান রাখে, স্কেলিং ক্রমাগত কর্মক্ষমতা খারাপ করে কিনা এবং বিকল্প টোকেনিজার বা রিডআউট সিদ্ধান্তগুলিকে পরিবর্তন করে কিনা তা স্পষ্ট নয়।