পরবর্তী আপপরবর্তী গাইড
টেনসরআরটি এবং ইনফারেন্স ইঞ্জিন
টেকনিক্যাল
প্রযুক্তিগত গাইড
সেলডন কোর এবং ইনফারেন্স গ্রাফ
সেলডন কোর হল কুবারনেটে মেশিন লার্নিং মডেল স্থাপনের জন্য একটি ওপেন-সোর্স প্ল্যাটফর্ম, একটি স্ট্যান্ডআউট বৈশিষ্ট্য সহ: অনুমান গ্রাফ।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
একটি বিচ্ছিন্ন মডেল পরিবেশন করার পরিবর্তে, এটি আপনাকে মডেল, রাউটার, কম্বাইনার এবং ট্রান্সফরমারকে একটি একক নির্দেশিত গ্রাফে চেইন করতে দেয় যা একটি স্থাপনযোগ্য পরিষেবা হিসাবে চলে।
গভীর ডুব
অনেক বাস্তব উত্পাদন ব্যবহারের ক্ষেত্রে একটি একক মডেল কলের বেশি জড়িত। আপনি ইনপুট প্রিপ্রসেস করতে পারেন, বেশ কয়েকটি মডেলের একটিতে একটি অনুরোধ রুট করতে পারেন, একটি এনসেম্বল চালাতে পারেন এবং তারপর ফলাফলটি পোস্ট-প্রসেস করতে পারেন। সেলডন কোর এটিকে সেলডন ডিপ্লয়মেন্টে সংজ্ঞায়িত একটি অনুমান গ্রাফ হিসাবে প্রকাশ করে (অথবা, v2 আর্কিটেকচারে, সেলডন কোর অপারেটর এবং এমএলসার্ভারের মাধ্যমে)। গ্রাফটি পুনর্ব্যবহারযোগ্য উপাদানের প্রকারগুলি থেকে তৈরি করা হয়েছে: একটি মডেল ভবিষ্যদ্বাণী প্রদান করে, একটি ট্রান্সফরমার ইনপুট বা আউটপুটগুলিকে সংশোধন করে, একটি রাউটার সিদ্ধান্ত নেয় কোন শিশুকে কল করতে হবে (A/B পরীক্ষা এবং বহু-আর্মড দস্যু সক্ষম করে), এবং একটি কম্বিনার একাধিক মডেল থেকে আউটপুট একত্রিত করার জন্য একত্রিত করে৷ সেলডন প্রি-প্যাকেজড সার্ভার এবং কাস্টম পাইথন র্যাপারের মাধ্যমে অনেকগুলি ফ্রেমওয়ার্ক সমর্থন করে এবং এটি পর্যবেক্ষণযোগ্যতা এবং ব্যাখ্যাযোগ্যতার জন্য সমৃদ্ধ মেট্রিক্স, বিতরণ ট্রেসিং এবং পেলোড লগ আউট করে।
বাস্তব-বিশ্ব বাস্তবায়ন
একটি ঋণদাতা একটি ট্রান্সফরমারকে চেইন করে যা এক-হট বৈশিষ্ট্যগুলিকে একটি মডেল নোডে এনকোড করে, তারপরে একটি ট্রান্সফরমার যা স্কোরকে ফর্ম্যাট করে, সবগুলি একটি সেলডন ডিপ্লয়মেন্ট হিসাবে।
একটি মিডিয়া কোম্পানী একটি রাউটার নোড ব্যবহার করে একটি মাল্টি-আর্মড দস্যু চালনা করে যেটি যেকোন সুপারিশ মডেলে বেশি ট্রাফিক পাঠাতে যা উচ্চতর ক্লিক পুরস্কার অর্জন করে।
একটি দল একটি কম্বাইনার নোডের সাথে তিনটি জালিয়াতি মডেলকে একত্রিত করে যা কলকারীকে একটি একক সিদ্ধান্ত ফেরত দেওয়ার আগে তাদের স্কোর গড় করে।
একটি নিয়ন্ত্রিত বীমাকারী সেলডনের পেলোড লগিং এবং আলিবি ব্যাখ্যাকারীদের একটি অনুমান গ্রাফের সাথে সংযুক্ত করে যাতে প্রতিটি ভবিষ্যদ্বাণী খুঁজে পাওয়া যায় এবং অডিটের জন্য ব্যাখ্যা করা যায়।
সেলডন কোর এবং ইনফারেন্স গ্রাফের ভবিষ্যত
সেলডন Core v2 এর পাইপলাইন এবং ডেটাফ্লো ডিজাইন সহ মডুলার, ডেটা-কেন্দ্রিক MLOps এর দিকে এগিয়ে যাচ্ছে, এছাড়াও ড্রিফ্ট সনাক্তকরণ (Alibi Detect) এবং ব্যাখ্যাযোগ্যতা (Alibi Explain) এর সাথে আরও টাইট কাপলিং। যেহেতু এলএলএম এবং এজেন্টিক সিস্টেমগুলি পুনরুদ্ধার, মডেল এবং সরঞ্জামগুলির যৌগিক গ্রাফে পরিণত হয়, তাই অনুমান-গ্রাফ বিমূর্ততা মানচিত্রগুলি স্বাভাবিকভাবেই এই কর্মপ্রবাহের উপর নির্ভর করে। মাল্টি-মডেল পরিবেশন দক্ষতা, স্ট্রিমিং এবং প্রমিত পর্যবেক্ষণের উপর আরও জোর আশা করুন যাতে জটিল, মাল্টি-স্টেপ এআই সিস্টেমগুলি ডিবাগযোগ্য এবং উত্পাদনে নিয়ন্ত্রণযোগ্য থাকে।
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
- সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
- মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।
জন্য সতর্ক
- একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
- অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
- সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।
পরবর্তী পদক্ষেপ
- বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
- বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
- ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
- স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Seldon Core and Inference Graphs quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
সেলডন কোর এবং ইনফারেন্স গ্রাফ কি?
সেলডন কোর হল কুবারনেটে মেশিন লার্নিং মডেল স্থাপনের জন্য একটি ওপেন-সোর্স প্ল্যাটফর্ম, একটি স্ট্যান্ডআউট বৈশিষ্ট্য সহ: অনুমান গ্রাফ। একটি বিচ্ছিন্ন মডেল পরিবেশন করার পরিবর্তে, এটি আপনাকে মডেল, রাউটার, কম্বাইনার এবং ট্রান্সফরমারকে একটি একক নির্দেশিত গ্রাফে চেইন করতে দেয় যা একটি স্থাপনযোগ্য পরিষেবা হিসাবে চলে।
একটি একক-মডেল সার্ভার থেকে সেলডন কোরকে আলাদা করে এমন সংজ্ঞায়িত বৈশিষ্ট্য কী?
সেলডন কোর আপনাকে একটি পরিষেবা হিসাবে স্থাপন করা একক অনুমান গ্রাফে মডেল, রাউটার, কম্বাইনার এবং ট্রান্সফরমার রচনা করতে দেয়।
কোন Seldon গ্রাফ উপাদান A/B পরীক্ষা সক্ষম করে কোন চাইল্ড নোডকে অনুরোধ পাঠাবে তা নির্ধারণ করে?
একটি রাউটার তার সন্তানদের একজনকে অনুরোধ করে এবং A/B পরীক্ষা বা বহু-সশস্ত্র দস্যুদের বাস্তবায়ন করতে পারে।
কোন কম্পোনেন্ট টাইপ এনসেম্বলিং এর জন্য একাধিক মডেল থেকে আউটপুট একত্রিত করে?
একটি কম্বিনার একাধিক চাইল্ড মডেলের প্রতিক্রিয়াগুলিকে একক আউটপুটে একত্রিত করে, যেভাবে ensembles তৈরি করা হয়।
সেলডন ইনফারেন্স গ্রাফ কী ধরনের গ্রাফ গঠন করে?
সেলডন ইনফরেন্স গ্রাফগুলি হল অ্যাসাইক্লিক গ্রাফ নির্দেশিত যেখানে প্রতিটি নোড একটি প্রমিত পূর্বাভাস ইন্টারফেস সহ একটি মাইক্রোসার্ভিস।
সেলডন কোর v2-এ, কোন সার্ভার এবং প্রোটোকল গ্রাফ জুড়ে মাল্টি-মডেল পরিবেশন সক্ষম করে?
Core v2 MLServer এবং মাল্টি-মডেল পরিবেশনের জন্য ওপেন ইনফরেন্স প্রোটোকল ব্যবহার করে মডেল সার্ভার থেকে গ্রাফটিকে ডিকপল করে।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড