পরবর্তী আপপরবর্তী গাইড
Autoscaling Model Inference on Kubernetes
টেকনিক্যাল
প্রযুক্তিগত গাইড
ভবিষ্যদ্বাণী লগিং টাইমস্ট্যাম্প, মডেল সংস্করণ, ইনপুট বা গোপনীয়তা-নিরাপদ রেফারেন্স, আউটপুট এবং ফলাফল-যোগদান কী সহ অডিট, ডিবাগ এবং পরে মডেল সিদ্ধান্তগুলি মূল্যায়ন করার জন্য যথেষ্ট প্রসঙ্গ রেকর্ড করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
লগিংকে অবশ্যই ডেটা মিনিমাইজেশন, অ্যাক্সেস কন্ট্রোল, স্যাম্পলিং এবং ধরে রাখার সাথে পর্যবেক্ষণযোগ্যতার ভারসাম্য রাখতে হবে যাতে ক্যাপচার করা ইনফারেন্স ডেটা অপ্রয়োজনীয় গোপনীয়তা বা নিরাপত্তা ঝুঁকি তৈরি করে না।
অনুমান লগগুলি একটি স্থাপন করা মডেল কী পেয়েছে এবং ফিরে এসেছে তার একটি রেকর্ড সরবরাহ করে। তারা ব্যর্থতাগুলি তদন্ত করতে, সংস্করণগুলির তুলনা করতে, পরবর্তী ফলাফলের সাথে ভবিষ্যদ্বাণীতে যোগদান করতে এবং মডেলটি সময় জুড়ে কীভাবে আচরণ করে তা বুঝতে সহায়তা করে। দরকারী ক্ষেত্রগুলির মধ্যে অনুরোধ বা ট্রেস আইডি, টাইমস্ট্যাম্প, মডেল এবং প্রিপ্রসেসিং সংস্করণ, ভবিষ্যদ্বাণী, আত্মবিশ্বাস বা স্কোর, প্রাসঙ্গিক বৈশিষ্ট্যের মান বা একটি সুরক্ষিত ডেটা রেফারেন্স, সিদ্ধান্তের থ্রেশহোল্ড এবং ফলব্যাক স্থিতি অন্তর্ভুক্ত থাকতে পারে। প্রয়োজনীয় ক্ষেত্রগুলি ব্যবহারের ক্ষেত্রে নির্ভর করে এবং সংগ্রহের আগে নির্দিষ্ট করা উচিত। কাঁচা ইনপুট লগ করা গোপনীয়তা, গোপনীয়তা এবং নিরাপত্তা ঝুঁকি তৈরি করতে পারে। প্রম্পট, নথি, ছবি এবং বৈশিষ্ট্য রেকর্ড ব্যক্তিগত ডেটা, শংসাপত্র বা মালিকানাধীন বিষয়বস্তু থাকতে পারে। ডেটা মিনিমাইজেশন প্রয়োগ করুন: সংজ্ঞায়িত অপারেশনাল বা মূল্যায়নের উদ্দেশ্যকে সমর্থন করে তা সংগ্রহ করুন, যেখানে সম্ভব সংশোধন করুন বা টোকেনাইজ করুন, অ্যাক্সেস সীমাবদ্ধ করুন এবং ধরে রাখার সময়কাল সেট করুন। বিস্তৃতভাবে অ্যাক্সেসযোগ্য মেট্রিক্স লেবেলে গোপনীয়তা বা অপ্রচলিত সংবেদনশীল সামগ্রী রাখা এড়িয়ে চলুন। লগ স্টোরেজ এবং অডিট অ্যাক্সেস রক্ষা করুন। স্যাম্পলিং খরচ এবং এক্সপোজার হ্রাস করে কিন্তু অনুমান করা যেতে পারে তা প্রভাবিত করে। যদি ত্রুটি বা নির্দিষ্ট ব্যবহারকারী গোষ্ঠীর নমুনা নেওয়ার সম্ভাবনা বেশি থাকে, তাহলে নিরীহ সারাংশগুলি পক্ষপাতদুষ্ট হয়ে ওঠে। নমুনা নেওয়ার সম্ভাবনা রেকর্ড করুন এবং প্রতিনিধি নমুনা থেকে ইভেন্ট-ট্রিগার করা লগগুলিকে আলাদা করুন। পরবর্তী কর্মক্ষমতা মূল্যায়নের জন্য, স্থিতিশীল শনাক্তকারী ব্যবহার করুন এবং লেবেল পরিপক্কতা উইন্ডোগুলি সংরক্ষণ করুন যাতে ফলাফলগুলি সঠিক ভবিষ্যদ্বাণীতে যুক্ত হয়। যখন একটি মডেল পুনরায় প্রশিক্ষণ দেওয়া হয় তখন পুরানো ভবিষ্যদ্বাণীগুলি ওভাররাইট করবেন না৷ স্ট্রাকচার্ড লগ, মেট্রিক্স এবং ট্রেস বিভিন্ন উদ্দেশ্যে কাজ করে। লগগুলি পৃথক ইভেন্ট রেকর্ড করে, মেট্রিক্স একত্রিত সাংখ্যিক আচরণ এবং ট্রেসগুলি পরিষেবা জুড়ে ক্রিয়াকলাপগুলিকে সংযুক্ত করে। একটি ট্রেস আইডি প্রতিটি পেলোডের নকল না করে একটি অনুরোধের পুনরুদ্ধার, প্রিপ্রসেসিং, মডেল কল এবং প্রতিক্রিয়া লিঙ্ক করতে পারে। অ্যাক্সেস নিয়ন্ত্রণ, এনক্রিপশন, ধারণ, মুছে ফেলার বাধ্যবাধকতা এবং ঘটনার প্রতিক্রিয়া পর্যালোচনা করুন। লগিং জবাবদিহিতা এবং ডিবাগিং সমর্থন করে কিন্তু স্বয়ংক্রিয়ভাবে বৈধ গ্রাউন্ড ট্রুথ তৈরি করে না, প্রতিনিধি মূল্যায়ন নিশ্চিত করে বা অনির্দিষ্টকালের জন্য সমস্ত অনুমান ডেটা ধরে রাখার ন্যায্যতা দেয় না।
একটি পরিষেবা রেকর্ড অনুরোধ আইডি, মডেল ডাইজেস্ট, বৈশিষ্ট্য-স্কিমা সংস্করণ, ভবিষ্যদ্বাণী টাইমস্ট্যাম্প এবং স্কোর, তারপর একটি স্থিতিশীল ছদ্মনাম কী মাধ্যমে পরবর্তী যাচাইকৃত ফলাফল লিঙ্ক করে।
একটি দল রুটিন কম-ঝুঁকির অনুরোধের নমুনা দেয় কিন্তু সমস্ত ত্রুটি এবং ফলব্যাক ইভেন্ট রেকর্ড করে, নমুনার হার নথিভুক্ত করে যাতে বিশ্লেষকরা সম্পূর্ণ জনসংখ্যার জন্য লগ করা নমুনা ভুল না করেন।
একটি উচ্চ-সংবেদনশীলতা অ্যাপ্লিকেশন সাধারণ লগগুলিতে কাঁচা প্রম্পট এবং ব্যক্তিগত বিবরণ অনুলিপি করার পরিবর্তে সমষ্টিগত বৈশিষ্ট্যের সারাংশ এবং উত্স ডেটার একটি সুরক্ষিত রেফারেন্স সঞ্চয় করে।
একটি ট্রেসিং সিস্টেম API লেটেন্সি, পুনরুদ্ধার ফলাফল এবং একটি ট্রেস আইডির সাথে মডেল কলগুলির সাথে সম্পর্কযুক্ত করে, যখন লগগুলি গোপনীয়তা বাদ দেয় এবং সংবেদনশীল পেলোডগুলির জন্য একটি সংক্ষিপ্ত ধরে রাখার সময় আরোপ করে৷
ভবিষ্যদ্বাণী ক্যাপচার একটি ন্যূনতম কাঠামোগত স্কিমাকে মানক করে আরও কার্যকর হতে পারে যা প্রতিটি আউটপুটকে তার সঠিক মডেল এবং বৈশিষ্ট্য সংস্করণের সাথে লিঙ্ক করে। মূল্যায়নের জন্য লগের উপর নির্ভর করার আগে দলগুলির বিলম্বিত ফলাফল যোগদান, স্যাম্পলিং পক্ষপাত এবং মুছে ফেলার কার্যপ্রবাহ পরীক্ষা করা উচিত। গোপনীয়তা পর্যালোচনাগুলি এমন ক্ষেত্রগুলি সনাক্ত করতে পারে যা একত্রিত, সংশোধন বা বাদ দেওয়া উচিত৷ ট্রেস পারস্পরিক সম্পর্ক ডিবাগিং প্রসঙ্গ সংরক্ষণ করার সময় ডুপ্লিকেটেড পেলোড স্টোরেজ কমাতে পারে। যখন মডেলের ব্যবহার পরিবর্তন হয় তখন লগিং প্ল্যানগুলি পুনর্বিবেচনা করা উচিত, যেহেতু একটি উদ্দেশ্যের জন্য সংগ্রহ করা একটি ক্ষেত্র পরে অপ্রয়োজনীয় বা উচ্চ ঝুঁকিতে পরিণত হতে পারে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
ভবিষ্যদ্বাণী লগিং টাইমস্ট্যাম্প, মডেল সংস্করণ, ইনপুট বা গোপনীয়তা-নিরাপদ রেফারেন্স, আউটপুট এবং ফলাফল-যোগদান কী সহ অডিট, ডিবাগ এবং পরে মডেল সিদ্ধান্তগুলি মূল্যায়ন করার জন্য যথেষ্ট প্রসঙ্গ রেকর্ড করে। লগিংকে অবশ্যই ডেটা মিনিমাইজেশন, অ্যাক্সেস কন্ট্রোল, স্যাম্পলিং এবং ধরে রাখার সাথে পর্যবেক্ষণযোগ্যতার ভারসাম্য রাখতে হবে যাতে ক্যাপচার করা ইনফারেন্স ডেটা অপ্রয়োজনীয় গোপনীয়তা বা নিরাপত্তা ঝুঁকি তৈরি করে না।
একটি স্থিতিশীল যোগদান কী এবং মডেল পরিচয় বিলম্বিত লেবেলকে ঐতিহাসিক ভবিষ্যদ্বাণী রেকর্ডে সংযুক্ত করে।
দুটি টাইমস্ট্যাম্প প্রকাশ করে যে কখন একটি ইভেন্ট ঘটেছে এবং কখন সিস্টেম এটি পেয়েছে।
সংক্ষিপ্তকরণ বিবৃত অপারেশনাল বা মূল্যায়নের প্রয়োজনকে সমর্থন করে তা সংগ্রহকে সীমাবদ্ধ করে।
নমুনা পরিবর্তন যা পর্যবেক্ষণ প্রদর্শিত হয়, তাই বিশ্লেষণ অন্তর্ভুক্তির সম্ভাব্যতা এবং নির্বাচনের জন্য অ্যাকাউন্ট করা প্রয়োজন।
মেট্রিক্স সাংখ্যিক মানগুলিকে সংক্ষিপ্ত করে যেমন অনুরোধের লেটেন্সি, যখন লগগুলি পৃথক ইভেন্টগুলি ক্যাপচার করে এবং কানেক্ট অপারেশনগুলিকে ট্রেস করে৷
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
Autoscaling Model Inference on Kubernetes
টেকনিক্যাল