এআই ইনফারেন্স

একটি অনুরোধ সাধারণত ইনপুট বৈধতা, প্রিপ্রসেসিং, মডেল এবং আউটপুট প্রক্রিয়াকরণের মধ্য দিয়ে যায়। একটি পাঠ্য পরিষেবা একটি প্রম্পটকে টোকেনাইজ করতে পারে, টোকেন তৈরি করতে বারবার মডেলটি চালাতে পারে এবং প্রতিক্রিয়া একত্রিত করতে পারে। পুনরুদ্ধার এবং বাহ্যিক সরঞ্জামগুলি মডেলের চারপাশে আরও পর্যায় যোগ করতে পারে। তাদের সময় এবং ত্রুটি ব্যবহারকারীর অভিজ্ঞতার দিকে গণনা করা হয়। লেটেন্সি এবং থ্রুপুট আলাদাভাবে পরিমাপ করুন। লেটেন্সি হল একটি অনুরোধে কতক্ষণ লাগে; থ্রুপুট হল সিস্টেমটি একটি নির্দিষ্ট সময়ের মধ্যে কতগুলি অনুরোধ শেষ করে। ব্যাচিং অনুরোধগুলি একটি পৃথক অনুরোধের জন্য অপেক্ষা বাড়ানোর সময় থ্রুপুট উন্নত করতে পারে। স্ট্রিমিং একটি উত্তর শেষ করার জন্য প্রয়োজনীয় সময় কম না করে তাড়াতাড়ি শুরু করতে পারে। হার্ডওয়্যার মেমরি মডেল ওজনের চেয়ে বেশি মিটমাট করা আবশ্যক। কাজের বাফার, সমবর্তী অনুরোধ, এবং ক্যাশে করা উপস্থাপনাগুলিও মেমরি গ্রাস করে। দীর্ঘতর ইনপুট এবং আউটপুট পরিবেশন খরচ পরিবর্তন করতে পারে, তাই একটি সংক্ষিপ্ত প্রদর্শনের প্রম্পটের পরিবর্তে প্রকৃত কাজের চাপ বিতরণ পরীক্ষা করুন। একটি অনুমান স্থাপনের সীমা, সময়সীমা, এবং একটি ব্যবহারযোগ্য প্রতিক্রিয়া প্রয়োজন যখন মডেলটি উত্তর দিতে পারে না। একটি সংস্করণযুক্ত মূল্যায়ন সেট রাখুন এবং নির্ভুলতা, ব্যাচিং, মডেল সংস্করণ বা প্রিপ্রসেসিং পরিবর্তন করার পরে আউটপুটগুলির তুলনা করুন। একটি অপ্টিমাইজেশান তখনই উপযোগী যদি এটি কাজের জন্য প্রয়োজনীয় গুণমান সংরক্ষণ করে।