পরবর্তী আপপরবর্তী গাইড
Blue-Green Deployment for ML Models
টেকনিক্যাল
প্রযুক্তিগত গাইড
মডেল যাচাইকরণ গেটগুলি হল সুস্পষ্ট চেক যা একজন প্রার্থীকে উচ্চ-ঝুঁকিপূর্ণ স্থাপনার পর্যায়ে যাওয়ার আগে অবশ্যই পাস করতে হবে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
দরকারী গেট প্রতিনিধি মানের মেট্রিক্স, স্লাইস, ক্রমাঙ্কন, লেটেন্সি, নিরাপত্তা এবং কর্মক্ষম প্রস্তুতি, অভিপ্রেত ব্যবহারের জন্য নির্বাচিত থ্রেশহোল্ড সহ এবং পর্যাপ্ত ডেটা দ্বারা সমর্থিত।
একটি বৈধতা গেট স্থাপনার প্রত্যাশাকে একটি পুনরাবৃত্তিযোগ্য সিদ্ধান্তে পরিণত করে। এটি কোনও প্রার্থীর মডেলকে প্রচার করার আগে প্রয়োজনীয় প্রমাণগুলিকে সংজ্ঞায়িত করে, যেমন ডেটা অখণ্ডতা, একটি বেসলাইনের বিরুদ্ধে কার্যকারিতা, স্লাইস আচরণ, ক্রমাঙ্কন, লেটেন্সি, রিসোর্স ব্যবহার, নিরাপত্তা পরীক্ষা এবং রোলব্যাক প্রস্তুতি। একটি জেনেরিক চেকলিস্ট থেকে অনুলিপি না করে গেটটিকে মডেলের ব্যবহার এবং ফলাফলের সাথে আবদ্ধ করা উচিত। থ্রেশহোল্ড প্রসঙ্গ প্রয়োজন. একটি ন্যূনতম মেট্রিক তখনই অর্থবহ হতে পারে যখন মূল্যায়নের নমুনাটি প্রতিনিধিত্বশীল হয় এবং সিদ্ধান্ত নেওয়ার জন্য আত্মবিশ্বাসের ব্যবধান যথেষ্ট সংকুচিত হয়। স্লাইস-স্তরের ফলাফল সামগ্রিক গড় দ্বারা লুকানো ক্ষতি প্রকাশ করতে পারে, কিন্তু ক্ষুদ্র স্লাইসগুলি অনিশ্চিত অনুমান তৈরি করে। ন্যূনতম নমুনার প্রয়োজনীয়তা সংজ্ঞায়িত করুন বা ফলাফলগুলিকে অনিশ্চিত হিসাবে বিবেচনা করুন। প্রার্থী যে থ্রেশহোল্ড পাস করতে পারে তা নির্বাচন করার প্রলোভন কমাতে ফলাফল পরীক্ষা করার আগে মেট্রিক্স চয়ন করুন। বর্তমানে স্থাপন করা মডেল এবং প্রাসঙ্গিক সাধারণ বেসলাইনের সাথে তুলনা করুন। একটি গেটে প্রযুক্তিগত পরীক্ষা যেমন স্কিমা সামঞ্জস্য, মডেল আর্টিফ্যাক্ট স্বাক্ষর, সফল লোডিং, প্রত্যাশিত লোডের মধ্যে বিলম্ব, ত্রুটির হার এবং সংস্থান সীমা অন্তর্ভুক্ত থাকতে পারে। এতে উচ্চ-প্রভাব আউটপুট এবং পর্যবেক্ষণের জন্য নথিভুক্ত মালিকানার জন্য মানব পর্যালোচনা অন্তর্ভুক্ত থাকতে পারে। অফলাইন মেট্রিক্স পাস করে এমন একটি মডেল ডিস্ট্রিবিউশন শিফট, ব্যবহারকারীর অভিযোজন বা ইন্টিগ্রেশন বাগগুলির কারণে লাইভ ট্রাফিকের অধীনে এখনও ব্যর্থ হতে পারে। স্টেজড রোলআউট, ক্যানারি বিশ্লেষণ এবং রোলব্যাক মানদণ্ড অবশিষ্ট অনিশ্চয়তা পরিচালনা করে। স্বয়ংক্রিয় চেকগুলি ডেটা সংস্করণ, মডেল ডাইজেস্ট, মেট্রিক সংজ্ঞা, স্লাইস গণনা এবং পাস/ফেল কারণ সহ একটি পর্যালোচনাযোগ্য প্রতিবেদন তৈরি করা উচিত। কিছু সিদ্ধান্তের জন্য একটি সুস্পষ্ট, নথিভুক্ত ব্যতিক্রম পথকে অনির্ধারিত প্রমাণ বা একটি ন্যায্য ট্রেডঅফের জন্য অনুমতি দেওয়া উচিত, নীরবে থ্রেশহোল্ডগুলিকে দুর্বল করার পরিবর্তে। বৈধকরণ গেট একটি মডেলকে সার্বজনীনভাবে নিরাপদ বা ন্যায্য হিসাবে প্রত্যয়িত করে না। তারা একটি সংজ্ঞায়িত প্রেক্ষাপট এবং মুক্তির সিদ্ধান্তের জন্য প্রমাণ প্রদান করে। উদ্দেশ্যমূলক ব্যবহার, জনসংখ্যা, মডেল আর্কিটেকচার বা নিয়ন্ত্রক বাধ্যবাধকতা পরিবর্তিত হলে সেগুলিকে পুনরায় দেখুন এবং লঞ্চের পরে নিরীক্ষণ করুন কারণ পূর্ব-নিয়োগ প্রমাণের একটি সীমিত সময়ের দিগন্ত রয়েছে।
একটি অনুমানমূলক রিলিজের জন্য একটি নিরাপত্তা-সমালোচনামূলক স্লাইসে ন্যূনতম প্রত্যাহার প্রয়োজন, একটি সর্বোচ্চ p95 লেটেন্সি এবং প্রাথমিক ফলাফলে পূর্বঘোষিত মার্জিনের বাইরে কোনো রিগ্রেশন প্রয়োজন নেই।
একটি স্থাপনা পাইপলাইন প্রচারকে ব্লক করে যখন একটি বৈধতা প্রতিবেদন অনুপস্থিত থাকে বা প্রার্থীর প্রশিক্ষণ সেট ওভারল্যাপ করা ডেটাতে মূল্যায়ন করা হয়।
একজন পর্যালোচক খুব কম উদাহরণের উপর ভিত্তি করে একটি উপগোষ্ঠীর অনুমান দেখেন এবং একটি পাসিং পয়েন্ট অনুমানকে যথেষ্ট প্রমাণ হিসাবে বিবেচনা করার পরিবর্তে ফলাফলটিকে অনির্ধারিত চিহ্নিত করে৷
একজন মডেল প্রার্থী অফলাইন মানের গেট পাস করে কিন্তু তারপরও মনিটরিং এবং রোলব্যাক মানদণ্ড সহ একটি সীমিত ক্যানারিতে প্রবেশ করে, যেহেতু অফলাইন চেক প্রতিটি লাইভ-সিস্টেম ব্যর্থতা প্রকাশ করে না।
প্রতিটি চেক বাস্তব ঘটনা ধরা পড়ে কিনা তা পরিমাপ করে এবং শব্দ তৈরি করে এমন অপ্রয়োজনীয় মেট্রিকগুলি সরিয়ে দিয়ে দলগুলি স্থাপনার গেটগুলি উন্নত করতে পারে। পূর্বঘোষিত থ্রেশহোল্ড, নমুনা-আকারের নিয়ম এবং ব্যতিক্রম রেকর্ডগুলি পর্যালোচনাগুলিকে সামঞ্জস্যপূর্ণ করে তোলে। গেটসকে মডেল আচরণ এবং সফ্টওয়্যার পাথ উভয়ই কভার করা উচিত যা এটি পরিবেশন করে, তারপর পর্যায়ক্রমে রোলআউট পর্যবেক্ষণে চালিয়ে যান। জনসংখ্যা এবং উদ্দিষ্ট ব্যবহার বিকশিত হওয়ার সাথে সাথে, প্রভাবিত স্টেকহোল্ডারদের সাথে মানদণ্ড আপডেট করুন। একটি পরিষ্কার গেট রিপোর্ট পর্যালোচকদের বুঝতে সাহায্য করে যে কী পাস হয়েছে, কী অনিশ্চিত রয়ে গেছে এবং কোন অপারেশনাল কন্ট্রোল অ্যাড্রেসের ঝুঁকি যা অফলাইন ডেটা সমাধান করতে পারে না।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
মডেল যাচাইকরণ গেটগুলি হল সুস্পষ্ট চেক যা একজন প্রার্থীকে উচ্চ-ঝুঁকিপূর্ণ স্থাপনার পর্যায়ে যাওয়ার আগে অবশ্যই পাস করতে হবে। দরকারী গেট প্রতিনিধি মানের মেট্রিক্স, স্লাইস, ক্রমাঙ্কন, লেটেন্সি, নিরাপত্তা এবং কর্মক্ষম প্রস্তুতি, অভিপ্রেত ব্যবহারের জন্য নির্বাচিত থ্রেশহোল্ড সহ এবং পর্যাপ্ত ডেটা দ্বারা সমর্থিত।
পূর্বঘোষিত মানদণ্ড ফলাফল-চালিত থ্রেশহোল্ড নির্বাচনকে হ্রাস করে এবং প্রার্থীর তুলনা আরও সামঞ্জস্যপূর্ণ করে তোলে।
ছোট নমুনাগুলি অনিশ্চিত অনুমান দেয় এবং উপযুক্ত নিয়ম ছাড়া একটি নির্দিষ্ট পাস হিসাবে ব্যাখ্যা করা উচিত নয়।
একটি ক্যানারি পর্যবেক্ষণ এবং পুনরুদ্ধারের বিকল্পগুলি বজায় রাখার সময় সীমিত লাইভ ট্র্যাফিকের অপারেশনাল আচরণ পরীক্ষা করে।
একটি অবৈধ আর্টিফ্যাক্ট পরিচয় একটি কংক্রিট অখণ্ডতা ব্যর্থতা যা স্থাপনা ব্লক করা উচিত।
তুলনাগুলি দেখায় কিভাবে প্রার্থী প্রাসঙ্গিক রেফারেন্স পয়েন্টের তুলনায় ফলাফল পরিবর্তন করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
Blue-Green Deployment for ML Models
টেকনিক্যাল