পরবর্তী আপপরবর্তী গাইড
অনলাইন এবং অফলাইন বৈশিষ্ট্য Skew পরিবেশন
টেকনিক্যাল
প্রযুক্তিগত গাইড
TensorFlow সার্ভিং হোস্ট TensorFlow মডেল রপ্তানি করে এবং পূর্বাভাস অনুরোধের জন্য REST এবং gRPC এর মত ইন্টারফেস প্রদান করে।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি সংস্করণযুক্ত সংরক্ষিত মডেলগুলি পরিচালনা করতে পারে এবং কনফিগারযোগ্য সংস্করণগুলি পরিবেশন করতে পারে, তবে রপ্তানিকৃত স্বাক্ষর, ইনপুট স্কিমা, সংস্করণ নীতি এবং স্থাপনার পরিবেশ অবশ্যই একসাথে পরীক্ষা করা উচিত।
টেনসরফ্লো সার্ভিং হল উৎপাদনে প্রশিক্ষিত টেনসরফ্লো মডেল পরিবেশন করার জন্য একটি সিস্টেম। মডেলগুলি SavedModel বিন্যাসে রপ্তানি করা হয়, যার মধ্যে সমর্থিত ইনপুট এবং আউটপুট টেনসর বর্ণনা করে গ্রাফ সম্পদ এবং স্বাক্ষর অন্তর্ভুক্ত। পরিবেশন প্রক্রিয়া একটি সংগ্রহস্থল পথ থেকে একটি মডেল লোড করে এবং REST বা gRPC এর মতো ইন্টারফেসের মাধ্যমে পূর্বাভাস ক্রিয়াকলাপ প্রকাশ করে। ক্লায়েন্টদের অবশ্যই রপ্তানিকৃত স্বাক্ষর অনুসরণ করতে হবে; অমিল টেনসর নাম, dtypes বা আকার অনুরোধ ব্যর্থতা বা ভুল প্রিপ্রসেসিং হতে পারে. সংস্করণযুক্ত মডেল ডিরেক্টরিগুলি সার্ভারকে মডেল সংস্করণগুলি পর্যবেক্ষণ এবং লোড করার অনুমতি দেয়। একটি সংস্করণ নীতি নির্ধারণ করে যে কোন সংস্করণগুলি উপলব্ধ, যেমন কনফিগারেশনের উপর নির্ভর করে সর্বশেষ বা নির্বাচিত সংস্করণগুলি পরিবেশন করা। সংস্করণ ব্যবস্থাপনা নিজেই একজন প্রার্থীকে যাচাই করে না। দলগুলির প্রতিনিধি অনুরোধের বিপরীতে একটি নতুন সংরক্ষিত মডেল পরীক্ষা করা উচিত, প্রত্যাশিত সহনশীলতার সাথে আউটপুটগুলির তুলনা করা উচিত এবং বহিরাগত প্রচারের গেটের সাথে স্থাপনার সংযোগ স্থাপন করা উচিত। ব্যাচিং হার্ডওয়্যার ব্যবহার এবং থ্রুপুট উন্নত করার অনুরোধগুলিকে একত্রিত করতে পারে। এটি সারিবদ্ধ বিলম্ব এবং মেমরি ব্যবহার যোগ করে, তাই ব্যাচের আকার এবং অপেক্ষার সময় লেটেন্সি উদ্দেশ্যগুলির বিপরীতে টিউন করা উচিত। রিসোর্স কনফিগারেশন, মডেল ওয়ার্মআপ এবং প্রক্রিয়া স্বাস্থ্য স্টার্টআপ এবং প্রস্তুতিকে প্রভাবিত করে। টেনসরফ্লো সার্ভিং পাত্রে বা অর্কেস্ট্রেশন প্ল্যাটফর্মে চলতে পারে, তবে নেটওয়ার্ক নিরাপত্তা, প্রমাণীকরণ, অটোস্কেলিং এবং পর্যবেক্ষণের জন্য স্থাপনার নকশা প্রয়োজন। একটি পরিবেশন পাথ মডেল বাইনারি থেকে আরও বেশি কিছু অন্তর্ভুক্ত করে: বৈশিষ্ট্য রূপান্তর, অনুরোধ ক্রমিককরণ, মডেল স্বাক্ষর, সংস্করণ নির্বাচন এবং প্রতিক্রিয়া ব্যাখ্যা সব বিষয়। স্বাক্ষর পরিবর্তন হলে API-এর সামঞ্জস্যতা বা সংস্করণ সংরক্ষণ করুন। অনুরোধের বিলম্ব, ত্রুটির হার, মডেল সংস্করণ এবং বিলম্বিত মানের মেট্রিক্স নিরীক্ষণ করুন। একটি SavedModel সফলভাবে লোড করা প্রমাণ করে না যে মডেলটি লাইভ ইনপুটগুলিতে সঠিক। টেনসরফ্লো সার্ভিং একটি মডেল-সার্ভিং রানটাইম প্রদান করে; মূল্যায়ন, ট্রাফিক নিয়ন্ত্রণ এবং ঘটনার প্রতিক্রিয়া পার্শ্ববর্তী সিস্টেমের দায়িত্ব থেকে যায়।
একটি প্রশিক্ষণ পাইপলাইন একটি নামযুক্ত পরিবেশন স্বাক্ষর সহ একটি সংরক্ষিত মডেল রপ্তানি করে এবং টেনসরফ্লো সার্ভিং ভবিষ্যদ্বাণী অনুরোধের জন্য একটি সংস্করণযুক্ত ডিরেক্টরি থেকে এটি লোড করে৷
একজন ক্লায়েন্ট প্রত্যাশিত ইনপুট টেনসরের নাম এবং আকার ব্যবহার করে একটি মডেল এন্ডপয়েন্টে একটি REST অনুরোধ পাঠায়; স্কিমা পরীক্ষা রিলিজের আগে একটি পুনঃনামকৃত বৈশিষ্ট্য ধরতে পারে।
একটি মডেল রিপোজিটরিতে 1 এবং 2 সংস্করণ রয়েছে৷ একটি সংস্করণ নীতি নিয়ন্ত্রণ করে কোন সংস্করণগুলি পরিবেশন করা হবে, যখন রোলআউট সিদ্ধান্তগুলি এখনও বৈধতা এবং রাউটিং কনফিগারেশনের উপর নির্ভর করে৷
একটি দল থ্রুপুট উন্নত করতে ব্যাচিং কনফিগার করে এবং বাস্তবসম্মত ট্র্যাফিকের অধীনে যোগ করা সারি বিলম্ব, মেমরি ব্যবহার এবং p95 লেটেন্সি পরিমাপ করে।
TensorFlow সার্ভিং ডিপ্লোয়মেন্টগুলি CI-এ রপ্তানিকৃত স্বাক্ষর যাচাই করে, মডেল ডিরেক্টরি এবং API চুক্তির সংস্করণ এবং বাস্তবসম্মত লোডের অধীনে ব্যাচিং পরীক্ষা করে উন্নত করা যেতে পারে। প্রচার নীতিগুলি ট্রাফিক স্থানান্তরের আগে মূল্যায়ন প্রমাণের সাথে একটি নির্দিষ্ট মডেল সংস্করণ সংযুক্ত করা উচিত। বিলম্বিত মডেল গুণমান থেকে পৃথকভাবে পরিবেশন স্বাস্থ্য মনিটর. বিকশিত টেনসরফ্লো বা এক্সিলারেটর নির্ভরতা সহ দলগুলিকে সার্ভারের ছবি আপগ্রেড করার আগে সামঞ্জস্য পরীক্ষা করা উচিত। একটি ভালভাবে রক্ষণাবেক্ষণ করা পরিবেশন ইন্টারফেস একীকরণের বিস্ময়কে হ্রাস করে যখন মডেলের উপযুক্ততা মূল্যায়ন এবং শাসন প্রক্রিয়ায় ছেড়ে দেয়। প্রচারের আগে রোলব্যাক এবং ট্রাফিক রাউটিং অনুশীলন করুন। অপারেটরদের জন্য নথিভুক্ত রোলআউট এবং রোলব্যাক পদ্ধতি রাখুন।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
TensorFlow সার্ভিং হোস্ট TensorFlow মডেল রপ্তানি করে এবং পূর্বাভাস অনুরোধের জন্য REST এবং gRPC-এর মতো ইন্টারফেস প্রদান করে। এটি সংস্করণযুক্ত সংরক্ষিত মডেলগুলি পরিচালনা করতে পারে এবং কনফিগারযোগ্য সংস্করণগুলি পরিবেশন করতে পারে, তবে রপ্তানিকৃত স্বাক্ষর, ইনপুট স্কিমা, সংস্করণ নীতি এবং স্থাপনার পরিবেশ অবশ্যই একসাথে পরীক্ষা করা উচিত।
স্বাক্ষরগুলি টেনসর ইনপুট এবং আউটপুটগুলিকে সংজ্ঞায়িত করে যা ক্লায়েন্টরা একটি মডেল কল করতে ব্যবহার করে।
সংস্করণযুক্ত ডিরেক্টরিগুলি সার্ভারকে স্বতন্ত্র রপ্তানিকৃত মডেল সংস্করণগুলিকে লোড এবং পরিচালনা করতে দেয়।
একটি পরিবেশন সংস্করণ নীতি উপলব্ধতা নিয়ন্ত্রণ করে, মডেলটি প্রকাশের মানদণ্ড পূরণ করে কিনা তা নয়।
গ্রুপিং অনুরোধগুলি আরও দক্ষতার সাথে হার্ডওয়্যার ব্যবহার করতে পারে তবে অপেক্ষা এবং অতিরিক্ত মেমরির প্রয়োজন হতে পারে।
মডেলটি সঠিকভাবে চালু করার জন্য অনুরোধগুলি অবশ্যই রপ্তানি করা টেনসর চুক্তির সাথে মেলে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
অনলাইন এবং অফলাইন বৈশিষ্ট্য Skew পরিবেশন
টেকনিক্যাল