পরবর্তী আপপরবর্তী গাইড
মাল্টি-মডেল পরিবেশন এবং মডেল মাল্টিপ্লেক্সিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
gRPC এবং REST-শৈলী HTTP APIগুলি ক্লায়েন্টদের কাছে মডেল অনুমান প্রকাশ করার দুটি সাধারণ উপায়।
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
gRPC জেনারেট করা ক্লায়েন্টদের সাথে পরিষেবা সংজ্ঞা এবং কমপ্যাক্ট প্রোটোকল Buffer বার্তা ব্যবহার করে, যখন JSON-ওভার-HTTP ব্যাপকভাবে অ্যাক্সেসযোগ্য এবং পরিদর্শন করা সহজ; কর্মক্ষমতা পেলোড, পরিবহন, ক্লায়েন্ট, এবং স্থাপনার সীমাবদ্ধতার উপর নির্ভর করে।
একটি পরিবেশন API সংজ্ঞায়িত করে কিভাবে ক্লায়েন্টরা ইনপুট জমা দেয়, ভবিষ্যদ্বাণী গ্রহণ করে, ত্রুটিগুলি পরিচালনা করে এবং সংস্করণগুলি বিকাশ করে। REST সাধারণত রিসোর্স-ভিত্তিক HTTP ইন্টারফেসগুলিকে বোঝায়, সাধারণত JSON অনুরোধ এবং প্রতিক্রিয়া সংস্থাগুলির সাথে। এই স্টাইলটি ব্যাপকভাবে ব্রাউজার, কমান্ড-লাইন টুল, প্রক্সি এবং API গেটওয়ে দ্বারা সমর্থিত। এটি পরিদর্শন এবং ডিবাগ করা সহজ হতে পারে, যদিও JSON-এ বড় নেস্টেড সংখ্যাসূচক পেলোডগুলি ভার্বোস হতে পারে এবং রূপান্তরের প্রয়োজন হতে পারে৷ gRPC হল একটি RPC ফ্রেমওয়ার্ক যেখানে প্রোটোকল ফাইলগুলিতে পরিষেবা এবং পদ্ধতিগুলি সংজ্ঞায়িত করা হয়। এটি সাধারণত টাইপ করা বার্তা সিরিয়ালাইজেশনের জন্য প্রোটোকল বাফার ব্যবহার করে এবং ক্লায়েন্ট এবং সার্ভার কোড তৈরি করে। ফ্রেমওয়ার্ক ইউনারি কল এবং স্ট্রিমিং প্যাটার্ন সমর্থন করে এবং HTTP/2 পরিবহন ব্যবহার করে। বাইনারি বার্তাগুলি স্ট্রাকচার্ড ডেটার জন্য কমপ্যাক্ট এবং দক্ষ হতে পারে, তবে ক্লায়েন্টদের সামঞ্জস্যপূর্ণ জেনারেটেড কোড বা লাইব্রেরি প্রয়োজন এবং কিছু ব্রাউজার বা প্রক্সি পরিবেশে অতিরিক্ত উপাদানের প্রয়োজন হয়। প্রতিটি স্থাপনায় ইন্টারফেস স্বয়ংক্রিয়ভাবে দ্রুত হয় না। সিরিয়ালাইজেশন খরচ, পেলোড সাইজ, কম্প্রেশন, সংযোগ পুনঃব্যবহার, TLS, নেটওয়ার্ক দূরত্ব, ক্লায়েন্ট বাস্তবায়ন, এবং সার্ভার প্রক্রিয়াকরণ সমস্ত বিষয়। মডেল অনুমান নিজেই মোট সময়ের উপর আধিপত্য বিস্তার করতে পারে, প্রোটোকল পার্থক্যকে নগণ্য করে তোলে। বাস্তব অনুরোধের মিশ্রণের অধীনে শেষ থেকে শেষ লেটেন্সি এবং থ্রুপুট পরিমাপ করুন। স্কিমা বিবর্তনের জন্য যত্ন প্রয়োজন। প্রোটোকল বাফার ফিল্ড নম্বর বরাদ্দ করে এবং সামঞ্জস্যের নিয়ম রয়েছে; REST JSON-এর নথিভুক্ত সংস্করণ এবং বৈধতাও প্রয়োজন। সরানো ফিল্ড আইডেন্টিফায়ার পুনরায় ব্যবহার করা বা নীরবে ইউনিট পরিবর্তন করা এড়িয়ে চলুন। উভয়ের জন্য, অনুরোধের সীমা, সময়সীমা, প্রমাণীকরণ, পুনরায় চেষ্টা, অদম্যতা, ত্রুটি কোড এবং পর্যবেক্ষণযোগ্যতা নির্ধারণ করুন। নিরাপত্তা এবং আকারের সীমাবদ্ধতার উপর নির্ভর করে বড় ছবি এবং অডিও ডেটা বাইনারি হিসাবে পাঠানো হতে পারে, আলাদাভাবে আপলোড করা যেতে পারে বা অবজেক্ট স্টোরেজ দ্বারা উল্লেখ করা যেতে পারে। বাস্তুতন্ত্রের উপর ভিত্তি করে নির্বাচন করুন এবং কেস ব্যবহার করুন। একটি পাবলিক ক্লায়েন্ট ইন্টারফেস HTTP এবং JSON সরলতার পক্ষে হতে পারে; টাইপ করা স্কিমা বা স্ট্রিমিং প্রয়োজনের সাথে শক্তভাবে নিয়ন্ত্রিত অভ্যন্তরীণ পরিষেবাগুলি জিআরপিসি-এর পক্ষে হতে পারে। পরিবহন নির্বিশেষে মডেল প্রিপ্রসেসিং এবং ভবিষ্যদ্বাণী শব্দার্থ সামঞ্জস্য রাখুন এবং ক্লায়েন্ট সংস্করণ জুড়ে সামঞ্জস্য পরীক্ষা করুন।
একটি অভ্যন্তরীণ বৈশিষ্ট্য পরিষেবা বিভিন্ন ভাষায় পরিষেবাগুলির মধ্যে টাইপ করা টেনসর পাঠাতে জেনারেট করা gRPC ক্লায়েন্ট ব্যবহার করে।
একটি পাবলিক মডেল ডেমো একটি REST-শৈলী JSON এন্ডপয়েন্ট প্রকাশ করে কারণ ব্রাউজার এবং সাধারণ সরঞ্জামগুলি এটিকে সহজেই কল করতে পারে।
একটি বক্তৃতা পরিষেবা একটি স্ট্রিমিং RPC ব্যবহার করে অডিও খণ্ড পাঠাতে এবং ক্রমবর্ধমান ফলাফল পেতে।
একটি ইন্টারফেস বেছে নেওয়ার আগে একটি দল প্রতিনিধি চিত্র পেলোড আকার ব্যবহার করে সিরিয়ালাইজেশন এবং নেটওয়ার্ক খরচ পরিমাপ করে।
ইনফারেন্স এপিআইগুলি একাধিক পরিবহনকে সমর্থন করা চালিয়ে যাবে কারণ পরিষেবাগুলি মিক্স ব্রাউজার, মোবাইল ক্লায়েন্ট এবং অভ্যন্তরীণ গণনা। স্কিমা রেজিস্ট্রি এবং জেনারেট করা ক্লায়েন্ট ধারাবাহিকতা উন্নত করতে পারে, যখন গেটওয়ে প্রোটোকলগুলিকে আন্তঃপরিচালনা করতে পারে। মডেল পেলোডগুলিও বৃহত্তর এবং আরও মাল্টিমোডাল হয়ে উঠছে, স্ট্রিমিং এবং অবজেক্ট রেফারেন্সের প্রতি মনোযোগ বাড়ছে। দলগুলিকে এমন একটি প্রোটোকল বেছে নেওয়া উচিত যা ক্লায়েন্ট এবং ক্রিয়াকলাপগুলির সাথে মেলে, তারপরে একটি পরিবহন সর্বজনীনভাবে দ্রুততর বলে ধরে নেওয়ার পরিবর্তে বাস্তব কাজের চাপ পরিমাপ করুন৷ প্রোটোকল গেটওয়েগুলি মাইগ্রেশন সহজ করতে পারে, তবে তারা সুরক্ষিত এবং নিরীক্ষণের জন্য অন্য উপাদান যুক্ত করে। পেলোড ফর্ম্যাটগুলি বিকশিত হওয়ার সাথে সাথে প্রতিটি ক্লায়েন্টের পথ পরিমাপ করা চালিয়ে যান।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
gRPC এবং REST-শৈলী HTTP APIগুলি ক্লায়েন্টদের কাছে মডেল অনুমান প্রকাশ করার দুটি সাধারণ উপায়। gRPC জেনারেট করা ক্লায়েন্টদের সাথে পরিষেবা সংজ্ঞা এবং কমপ্যাক্ট প্রোটোকল Buffer বার্তা ব্যবহার করে, যখন JSON-ওভার-HTTP ব্যাপকভাবে অ্যাক্সেসযোগ্য এবং পরিদর্শন করা সহজ; কর্মক্ষমতা পেলোড, পরিবহন, ক্লায়েন্ট, এবং স্থাপনার সীমাবদ্ধতার উপর নির্ভর করে।
একটি gRPC পরিষেবা স্কিমা পদ্ধতি এবং টাইপ করা অনুরোধ এবং প্রতিক্রিয়া বার্তা সংজ্ঞায়িত করে।
HTTP এবং JSON ক্লায়েন্টদের দ্বারা ব্যাপকভাবে সমর্থিত এবং পরিদর্শন করা সহজ।
জেনারেটেড টাইপ করা ক্লায়েন্ট এবং স্ট্রিমিং নিয়ন্ত্রিত পরিষেবা বাস্তুতন্ত্রের জন্য উপযুক্ত।
কর্মক্ষমতা বার্তা, ক্লায়েন্ট, পরিবহন সেটিংস, এবং অনুমান খরচ উপর নির্ভর করে।
প্রোটোকল বাফারগুলি স্থিতিশীল ফিল্ড নম্বর এবং সুশৃঙ্খল স্কিমা পরিবর্তনের উপর নির্ভর করে।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
মাল্টি-মডেল পরিবেশন এবং মডেল মাল্টিপ্লেক্সিং
টেকনিক্যাল