প্রযুক্তিগত গাইড

টেনসরফ্লো পরিবেশন

TensorFlow সার্ভিং হোস্ট TensorFlow মডেল রপ্তানি করে এবং পূর্বাভাস অনুরোধের জন্য REST এবং gRPC এর মত ইন্টারফেস প্রদান করে।

এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min

এই পৃষ্ঠায়3 মিনিট পড়া হয়েছে
  1. ওভারভিউ
  2. গভীর ডুব
  3. বাস্তব-বিশ্ব বাস্তবায়ন
  4. টেনসরফ্লো পরিবেশনের ভবিষ্যত
  5. এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
  6. অন্বেষণ চালিয়ে যান
  7. প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

ওভারভিউ

এটি সংস্করণযুক্ত সংরক্ষিত মডেলগুলি পরিচালনা করতে পারে এবং কনফিগারযোগ্য সংস্করণগুলি পরিবেশন করতে পারে, তবে রপ্তানিকৃত স্বাক্ষর, ইনপুট স্কিমা, সংস্করণ নীতি এবং স্থাপনার পরিবেশ অবশ্যই একসাথে পরীক্ষা করা উচিত।

গভীর ডুব

টেনসরফ্লো সার্ভিং হল উৎপাদনে প্রশিক্ষিত টেনসরফ্লো মডেল পরিবেশন করার জন্য একটি সিস্টেম। মডেলগুলি SavedModel বিন্যাসে রপ্তানি করা হয়, যার মধ্যে সমর্থিত ইনপুট এবং আউটপুট টেনসর বর্ণনা করে গ্রাফ সম্পদ এবং স্বাক্ষর অন্তর্ভুক্ত। পরিবেশন প্রক্রিয়া একটি সংগ্রহস্থল পথ থেকে একটি মডেল লোড করে এবং REST বা gRPC এর মতো ইন্টারফেসের মাধ্যমে পূর্বাভাস ক্রিয়াকলাপ প্রকাশ করে। ক্লায়েন্টদের অবশ্যই রপ্তানিকৃত স্বাক্ষর অনুসরণ করতে হবে; অমিল টেনসর নাম, dtypes বা আকার অনুরোধ ব্যর্থতা বা ভুল প্রিপ্রসেসিং হতে পারে. সংস্করণযুক্ত মডেল ডিরেক্টরিগুলি সার্ভারকে মডেল সংস্করণগুলি পর্যবেক্ষণ এবং লোড করার অনুমতি দেয়। একটি সংস্করণ নীতি নির্ধারণ করে যে কোন সংস্করণগুলি উপলব্ধ, যেমন কনফিগারেশনের উপর নির্ভর করে সর্বশেষ বা নির্বাচিত সংস্করণগুলি পরিবেশন করা। সংস্করণ ব্যবস্থাপনা নিজেই একজন প্রার্থীকে যাচাই করে না। দলগুলির প্রতিনিধি অনুরোধের বিপরীতে একটি নতুন সংরক্ষিত মডেল পরীক্ষা করা উচিত, প্রত্যাশিত সহনশীলতার সাথে আউটপুটগুলির তুলনা করা উচিত এবং বহিরাগত প্রচারের গেটের সাথে স্থাপনার সংযোগ স্থাপন করা উচিত। ব্যাচিং হার্ডওয়্যার ব্যবহার এবং থ্রুপুট উন্নত করার অনুরোধগুলিকে একত্রিত করতে পারে। এটি সারিবদ্ধ বিলম্ব এবং মেমরি ব্যবহার যোগ করে, তাই ব্যাচের আকার এবং অপেক্ষার সময় লেটেন্সি উদ্দেশ্যগুলির বিপরীতে টিউন করা উচিত। রিসোর্স কনফিগারেশন, মডেল ওয়ার্মআপ এবং প্রক্রিয়া স্বাস্থ্য স্টার্টআপ এবং প্রস্তুতিকে প্রভাবিত করে। টেনসরফ্লো সার্ভিং পাত্রে বা অর্কেস্ট্রেশন প্ল্যাটফর্মে চলতে পারে, তবে নেটওয়ার্ক নিরাপত্তা, প্রমাণীকরণ, অটোস্কেলিং এবং পর্যবেক্ষণের জন্য স্থাপনার নকশা প্রয়োজন। একটি পরিবেশন পাথ মডেল বাইনারি থেকে আরও বেশি কিছু অন্তর্ভুক্ত করে: বৈশিষ্ট্য রূপান্তর, অনুরোধ ক্রমিককরণ, মডেল স্বাক্ষর, সংস্করণ নির্বাচন এবং প্রতিক্রিয়া ব্যাখ্যা সব বিষয়। স্বাক্ষর পরিবর্তন হলে API-এর সামঞ্জস্যতা বা সংস্করণ সংরক্ষণ করুন। অনুরোধের বিলম্ব, ত্রুটির হার, মডেল সংস্করণ এবং বিলম্বিত মানের মেট্রিক্স নিরীক্ষণ করুন। একটি SavedModel সফলভাবে লোড করা প্রমাণ করে না যে মডেলটি লাইভ ইনপুটগুলিতে সঠিক। টেনসরফ্লো সার্ভিং একটি মডেল-সার্ভিং রানটাইম প্রদান করে; মূল্যায়ন, ট্রাফিক নিয়ন্ত্রণ এবং ঘটনার প্রতিক্রিয়া পার্শ্ববর্তী সিস্টেমের দায়িত্ব থেকে যায়।

বাস্তব-বিশ্ব বাস্তবায়ন

একটি প্রশিক্ষণ পাইপলাইন একটি নামযুক্ত পরিবেশন স্বাক্ষর সহ একটি সংরক্ষিত মডেল রপ্তানি করে এবং টেনসরফ্লো সার্ভিং ভবিষ্যদ্বাণী অনুরোধের জন্য একটি সংস্করণযুক্ত ডিরেক্টরি থেকে এটি লোড করে৷

একজন ক্লায়েন্ট প্রত্যাশিত ইনপুট টেনসরের নাম এবং আকার ব্যবহার করে একটি মডেল এন্ডপয়েন্টে একটি REST অনুরোধ পাঠায়; স্কিমা পরীক্ষা রিলিজের আগে একটি পুনঃনামকৃত বৈশিষ্ট্য ধরতে পারে।

একটি মডেল রিপোজিটরিতে 1 এবং 2 সংস্করণ রয়েছে৷ একটি সংস্করণ নীতি নিয়ন্ত্রণ করে কোন সংস্করণগুলি পরিবেশন করা হবে, যখন রোলআউট সিদ্ধান্তগুলি এখনও বৈধতা এবং রাউটিং কনফিগারেশনের উপর নির্ভর করে৷

একটি দল থ্রুপুট উন্নত করতে ব্যাচিং কনফিগার করে এবং বাস্তবসম্মত ট্র্যাফিকের অধীনে যোগ করা সারি বিলম্ব, মেমরি ব্যবহার এবং p95 লেটেন্সি পরিমাপ করে।

টেনসরফ্লো পরিবেশনের ভবিষ্যত

TensorFlow সার্ভিং ডিপ্লোয়মেন্টগুলি CI-এ রপ্তানিকৃত স্বাক্ষর যাচাই করে, মডেল ডিরেক্টরি এবং API চুক্তির সংস্করণ এবং বাস্তবসম্মত লোডের অধীনে ব্যাচিং পরীক্ষা করে উন্নত করা যেতে পারে। প্রচার নীতিগুলি ট্রাফিক স্থানান্তরের আগে মূল্যায়ন প্রমাণের সাথে একটি নির্দিষ্ট মডেল সংস্করণ সংযুক্ত করা উচিত। বিলম্বিত মডেল গুণমান থেকে পৃথকভাবে পরিবেশন স্বাস্থ্য মনিটর. বিকশিত টেনসরফ্লো বা এক্সিলারেটর নির্ভরতা সহ দলগুলিকে সার্ভারের ছবি আপগ্রেড করার আগে সামঞ্জস্য পরীক্ষা করা উচিত। একটি ভালভাবে রক্ষণাবেক্ষণ করা পরিবেশন ইন্টারফেস একীকরণের বিস্ময়কে হ্রাস করে যখন মডেলের উপযুক্ততা মূল্যায়ন এবং শাসন প্রক্রিয়ায় ছেড়ে দেয়। প্রচারের আগে রোলব্যাক এবং ট্রাফিক রাউটিং অনুশীলন করুন। অপারেটরদের জন্য নথিভুক্ত রোলআউট এবং রোলব্যাক পদ্ধতি রাখুন।

এটাকে বাস্তবে প্রয়োগ করা হচ্ছে

কেন এটা গুরুত্বপূর্ণ

  • খরচ ও বাজেট. আর্কিটেকচারের সিদ্ধান্তগুলি বছরের পর বছর ধরে কর্মক্ষমতা এবং অপারেটিং খরচ চালায়।
  • সুস্পষ্ট সিদ্ধান্ত. কারিগরি শিক্ষা দলগুলোকে সঠিক স্ট্যাক বেছে নিতে সাহায্য করে, শুধু নতুনটি নয়।
  • মান নিয়ন্ত্রণ. ভালো ইঞ্জিনিয়ারিং পছন্দ উৎপাদনে নির্ভরযোগ্যতার ঘটনা কমিয়ে দেয়।

জন্য সতর্ক

  • একটি বেঞ্চমার্ক অপ্টিমাইজ করা বৃহত্তর সিস্টেম দুর্বলতা আড়াল করতে পারে।
  • অবকাঠামো এবং রক্ষণাবেক্ষণের খরচ প্রায়ই অবমূল্যায়ন করা হয়।
  • সিস্টেমগুলি আরও জটিল হওয়ার সাথে সাথে সুরক্ষা এবং পর্যবেক্ষণযোগ্যতার ফাঁক বাড়তে পারে।

পরবর্তী পদক্ষেপ

  1. বাস্তবায়নের আগে বিলম্ব, গুণমান এবং খরচের লক্ষ্য নির্ধারণ করুন।
  2. বাস্তবসম্মত লোড এবং ডেটা অবস্থার অধীনে বেঞ্চমার্ক।
  3. ত্রুটি, প্রবাহ, এবং ব্যবহারকারীর প্রভাবের জন্য যন্ত্র পর্যবেক্ষণ।
  4. স্কেল করার আগে রোলব্যাক এবং ঘটনার প্রতিক্রিয়া পাথ প্রস্তুত করুন।

অন্বেষণ চালিয়ে যান

ফ্রি নিউজলেটার

প্রতিদিনের এআই ব্রিফিং পান

প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।

প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।

নিজেকে পরীক্ষা করুন

Take the TensorFlow Serving quiz

প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।

কুইজ শুরু করুন

ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন

প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী

TensorFlow পরিবেশন কি?

TensorFlow সার্ভিং হোস্ট TensorFlow মডেল রপ্তানি করে এবং পূর্বাভাস অনুরোধের জন্য REST এবং gRPC-এর মতো ইন্টারফেস প্রদান করে। এটি সংস্করণযুক্ত সংরক্ষিত মডেলগুলি পরিচালনা করতে পারে এবং কনফিগারযোগ্য সংস্করণগুলি পরিবেশন করতে পারে, তবে রপ্তানিকৃত স্বাক্ষর, ইনপুট স্কিমা, সংস্করণ নীতি এবং স্থাপনার পরিবেশ অবশ্যই একসাথে পরীক্ষা করা উচিত।

একটি পরিবেশনকারী ক্লায়েন্টের জন্য একটি SavedModel স্বাক্ষর কী বর্ণনা করে?

স্বাক্ষরগুলি টেনসর ইনপুট এবং আউটপুটগুলিকে সংজ্ঞায়িত করে যা ক্লায়েন্টরা একটি মডেল কল করতে ব্যবহার করে।

কেন সংস্করণ মডেল ডিরেক্টরি ব্যবহার?

সংস্করণযুক্ত ডিরেক্টরিগুলি সার্ভারকে স্বতন্ত্র রপ্তানিকৃত মডেল সংস্করণগুলিকে লোড এবং পরিচালনা করতে দেয়।

একটি সংস্করণ নীতি কি প্রতিষ্ঠা করে না?

একটি পরিবেশন সংস্করণ নীতি উপলব্ধতা নিয়ন্ত্রণ করে, মডেলটি প্রকাশের মানদণ্ড পূরণ করে কিনা তা নয়।

কিভাবে ব্যাচিং অনুরোধ পরিবেশন কর্মক্ষমতা প্রভাবিত করতে পারে?

গ্রুপিং অনুরোধগুলি আরও দক্ষতার সাথে হার্ডওয়্যার ব্যবহার করতে পারে তবে অপেক্ষা এবং অতিরিক্ত মেমরির প্রয়োজন হতে পারে।

একটি লোড করা মডেল থাকা সত্ত্বেও একটি পরিবেশন অনুরোধ ব্যর্থ হতে পারে কি?

মডেলটি সঠিকভাবে চালু করার জন্য অনুরোধগুলি অবশ্যই রপ্তানি করা টেনসর চুক্তির সাথে মেলে।

শিখতে থাকুন

সম্পর্কিত গাইড

এই বিষয়ের জন্য বাছাই করা আরও গাইড

একটি বিনামূল্যে AI শংসাপত্র পানএকটি সংক্ষিপ্ত বিনামূল্যে কোর্স এবং পরীক্ষা. কোনো খরচ নেই, কোনো কার্ড নেই। প্রায় 2.5 ঘন্টা।বিনামূল্যে শুরু করুন →