এআই ইনফারেন্স

একটি শ্রেণিবিন্যাসকারী একটি বিভাগ স্কোর ফেরত দিতে পারে; একটি ভাষা মডেল টোকেন তৈরি করতে পারে। অনুমান সাধারণত মডেল প্যারামিটারগুলিকে অপরিবর্তিত রাখে, যদিও একটি পার্শ্ববর্তী সিস্টেম আলাদাভাবে তথ্য সংরক্ষণ করতে পারে বা প্রতিক্রিয়া থেকে শিখতে পারে।

মূল টেকওয়ে

• সম্পূর্ণ অনুরোধের পথ পরিমাপ করুন।
• থ্রুপুট থেকে প্রতি অনুরোধের লেটেন্সি আলাদা করুন।
• অপ্টিমাইজেশান পরিবেশন করার পরে গুণমান পুনরায় পরীক্ষা করুন।

একটি অনুরোধ সাধারণত ইনপুট বৈধতা, প্রিপ্রসেসিং, মডেল এবং আউটপুট প্রক্রিয়াকরণের মধ্য দিয়ে যায়। একটি পাঠ্য পরিষেবা একটি প্রম্পটকে টোকেনাইজ করতে পারে, টোকেন তৈরি করতে বারবার মডেলটি চালাতে পারে এবং প্রতিক্রিয়া একত্রিত করতে পারে। পুনরুদ্ধার এবং বাহ্যিক সরঞ্জামগুলি মডেলের চারপাশে আরও পর্যায় যোগ করতে পারে। তাদের সময় এবং ত্রুটি ব্যবহারকারীর অভিজ্ঞতার দিকে গণনা করা হয়। লেটেন্সি এবং থ্রুপুট আলাদাভাবে পরিমাপ করুন। লেটেন্সি হল একটি অনুরোধে কতক্ষণ লাগে; থ্রুপুট হল সিস্টেমটি একটি নির্দিষ্ট সময়ের মধ্যে কতগুলি অনুরোধ শেষ করে। ব্যাচিং অনুরোধগুলি একটি পৃথক অনুরোধের জন্য অপেক্ষা বাড়ানোর সময় থ্রুপুট উন্নত করতে পারে। স্ট্রিমিং একটি উত্তর শেষ করার জন্য প্রয়োজনীয় সময় কম না করে তাড়াতাড়ি শুরু করতে পারে। হার্ডওয়্যার মেমরি মডেল ওজনের চেয়ে বেশি মিটমাট করা আবশ্যক। কাজের বাফার, সমবর্তী অনুরোধ, এবং ক্যাশে করা উপস্থাপনাগুলিও মেমরি গ্রাস করে। দীর্ঘতর ইনপুট এবং আউটপুট পরিবেশন খরচ পরিবর্তন করতে পারে, তাই একটি সংক্ষিপ্ত প্রদর্শনের প্রম্পটের পরিবর্তে প্রকৃত কাজের চাপ বিতরণ পরীক্ষা করুন। একটি অনুমান স্থাপনের সীমা, সময়সীমা, এবং একটি ব্যবহারযোগ্য প্রতিক্রিয়া প্রয়োজন যখন মডেলটি উত্তর দিতে পারে না। একটি সংস্করণযুক্ত মূল্যায়ন সেট রাখুন এবং নির্ভুলতা, ব্যাচিং, মডেল সংস্করণ বা প্রিপ্রসেসিং পরিবর্তন করার পরে আউটপুটগুলির তুলনা করুন। একটি অপ্টিমাইজেশান তখনই উপযোগী যদি এটি কাজের জন্য প্রয়োজনীয় গুণমান সংরক্ষণ করে।

1. একটি তৈরি করা অনুরোধে, যাচাইকরণে 20 ms লাগে, নথি পুনরুদ্ধার 180 ms, মডেল জেনারেশন 900 ms, এবং ফর্ম্যাটিং 30 ms।
2. যদি এই ধাপগুলি ক্রমানুসারে চালানো হয়, তাহলে মোট 1,130 ms হয়। ফরম্যাটিং টাইম অর্ধেক করলে মাত্র 15 ms বাঁচে।
3. পুনরুদ্ধার 100 ms এ কমিয়ে 80 ms সংরক্ষণ করে। সমবর্তী লোডের অধীনে আবার পরিমাপ করুন কারণ সারিবদ্ধ ফলাফল পরিবর্তন করতে পারে।

এই উদ্ভাবিত সময়গুলি ব্যাখ্যা করে যে কেন একটি ছোট পর্যায়ে অপ্টিমাইজ করা সবেমাত্র অভিজ্ঞতা পরিবর্তন করতে পারে।