পরবর্তী আপপরবর্তী গাইড
মাল্টি-মডেল পরিবেশন এবং মডেল মাল্টিপ্লেক্সিং
টেকনিক্যাল
প্রযুক্তিগত গাইড
এআই ভেন্ডর লক-ইন এড়িয়ে চলার অর্থ হল আপনার এআই সিস্টেমগুলি ডিজাইন করা যাতে আপনি অ্যাপ্লিকেশনটি পুনর্লিখন না করেই মডেল প্রদানকারীকে পরিবর্তন করতে পারেন, বা একবারে একাধিক ব্যবহার করতে পারেন৷
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~3 min
এটি গুরুত্বপূর্ণ কারণ মডেলের গুণমান, দাম এবং প্রাপ্যতা দ্রুত পরিবর্তন হয়। যে দলগুলি হার্ড-কোড ওয়ান প্রোভাইডারের API, প্রম্পট কুইর্ক এবং এম্বেডিংগুলিকে স্থানান্তরিত করার জন্য একটি বড় মাইগ্রেশন খরচের সম্মুখীন হতে হয়।
লক-ইন স্তরগুলিতে ঘটে এবং একটি গেটওয়ে একাই প্রথমটিকে সরিয়ে দেয়৷ প্রথম স্তরটি হল API আকৃতি: অনুরোধ বিন্যাস, স্ট্রিমিং, ত্রুটি কোড এবং কীভাবে সরঞ্জাম বা ফাংশন ঘোষণা করা হয়। অনেক প্রদানকারী এবং ওপেন-সোর্স সার্ভার এখন OpenAI- সামঞ্জস্যপূর্ণ শেষ পয়েন্ট অফার করে। লাইব্রেরি এবং পরিষেবা যেমন LiteLLM এবং OpenRouter, এবং ক্লাউড প্ল্যাটফর্ম যেমন Amazon বেডরক, Google Vertex AI এবং Microsoft এর Azure AI প্ল্যাটফর্ম, অনেক মডেলকে একটি ইন্টারফেসের পিছনে রাখে। দ্বিতীয় স্তরটি হল প্রম্পট। একটি মডেলের অভ্যাসের জন্য একটি প্রম্পট টিউন করা হয়েছে, যেমন এটির ফর্ম্যাটিং পছন্দগুলি, প্রত্যাখ্যানের ধরণ বা এটি কীভাবে সিস্টেম নির্দেশাবলী অনুসরণ করে, প্রায়শই অন্যটির ক্ষেত্রে খারাপ কাজ করে। এই কারণেই একটি ভাগ করা API বহনযোগ্যতার গ্যারান্টি দেয় না। তৃতীয় স্তরটি ডেটা আর্টিফ্যাক্ট। বিভিন্ন মডেলের এমবেডিংগুলি বিভিন্ন ভেক্টর স্পেসে থাকে এবং তুলনা করা যায় না, তাই এমবেডিং মডেলগুলি পরিবর্তন করার অর্থ হল পুরো কর্পাস পুনরায় এম্বেড করা। ফাইন-টিউনড মডেল সাধারণত হোস্ট করা প্রোভাইডার থেকে এক্সপোর্ট করা যায় না। চতুর্থ স্তর প্ল্যাটফর্ম বৈশিষ্ট্য. হোস্ট করা কথোপকথন থ্রেড, অন্তর্নির্মিত ভেক্টর স্টোর, এজেন্ট ফ্রেমওয়ার্ক এবং মালিকানাধীন ফাইল হ্যান্ডলিং প্রচেষ্টা বাঁচায়, কিন্তু তারা আপনার অ্যাপ্লিকেশন যুক্তিকে এক বিক্রেতার সাথে সংযুক্ত করে। পঞ্চমটি বাণিজ্যিক: প্রতিশ্রুতিবদ্ধ-ব্যয় চুক্তি এবং ভলিউম ডিসকাউন্ট। যে টুলটি স্যুইচিংকে নিরাপদ করে তা হল একটি মূল্যায়ন স্যুট: আপনার বাস্তব কাজের একটি প্রতিনিধি সেট, প্রত্যাশিত ফলাফল বা গ্রেডিং নিয়ম সহ, যেটি আপনি যেকোনো প্রার্থীর মডেলের বিরুদ্ধে চালাতে পারেন। একটি ছাড়া, একটি সুইচ অনুমান করা হয়. একটি দিয়ে, আপনি সস্তা মডেলগুলিতে সহজ কাজ পাঠাতে, অসুবিধা দ্বারা কাজগুলিকে রুট করতে পারেন। একটি সাধারণ ভুল ধারণা হল যে আপনার সমস্ত লক-ইন এড়ানো উচিত। প্রদানকারী-নির্দিষ্ট বৈশিষ্ট্য ব্যবহার করা মূল্যবান হতে পারে। উদ্দেশ্য হল আপনি কোন নির্ভরতাগুলি গ্রহণ করেছেন, সেগুলিকে পূর্বাবস্থায় ফিরিয়ে আনতে কী খরচ হবে তা জানা এবং সেই খরচ গ্রহণযোগ্য রাখা।
একটি সফ্টওয়্যার কোম্পানি একটি অভ্যন্তরীণ গেটওয়ের মাধ্যমে সমস্ত LLM কল পাঠায় যা একটি OpenAI- সামঞ্জস্যপূর্ণ ইন্টারফেস ব্যবহার করে। যখন একটি প্রদানকারীর একটি বিভ্রাট হয়, ট্রাফিক একটি একক কনফিগারেশন পরিবর্তনের মাধ্যমে একটি দ্বিতীয় প্রদানকারীর কাছে ব্যর্থ হয়।
একটি আইনি প্রযুক্তির স্টার্টআপ গ্রেডেড উত্তর সহ 300টি বাস্তব চুক্তি প্রশ্নের একটি মূল্যায়ন সেট রাখে। এটি পরিবর্তন করার সিদ্ধান্ত নেওয়ার আগে প্রতিটি নতুন মডেল রিলিজের বিপরীতে সেট চালায়।
একটি ই-কমার্স দল একটি ছোট, সস্তা মডেলে সহজ পণ্য-ট্যাগিং পাঠায় এবং গ্রাহকের জটিল অভিযোগের জন্য একটি সীমান্ত মডেল রাখে। এটি অ্যাপ্লিকেশন কোডে কোনো পরিবর্তন ছাড়াই খরচ কমিয়ে দেয়।
একটি জ্ঞান-বেস অনুসন্ধান দল ভেক্টরের পাশাপাশি মূল নথি এবং এর খণ্ড কোড সংরক্ষণ করে। এমবেডিং মডেল স্যুইচ করার অর্থ হল একটি নির্ধারিত রি-এমবেডিং কাজ চালানো, ডেটা হারানো নয়।
অ্যাপ্লিকেশন এবং মডেলের মধ্যে ইন্টারফেস একত্রিত হয়. OpenAI- সামঞ্জস্যপূর্ণ API গুলি ব্যাপকভাবে অনুলিপি করা হয়, এবং উন্মুক্ত প্রোটোকল যেমন মডেল কনটেক্সট প্রোটোকল সংযোগ সরঞ্জামগুলির জন্য কিছু ইন্টিগ্রেশন লক-ইন হ্রাস করে। মডেল আচরণের পার্থক্য সম্ভবত থাকবে, তাই স্যুইচ করার সময় প্রম্পট টিউনিং এবং মূল্যায়ন এখনও প্রয়োজন হবে। ওপেন-ওয়েট মডেলগুলি সংস্থাগুলিকে তাদের নিজস্ব অবকাঠামো চালানোর খরচে নির্ভরতা কমানোর আরেকটি উপায় দেয়। এজেন্ট প্ল্যাটফর্মগুলি মেমরি, ওয়ার্কফ্লো এবং হোস্ট করা সরঞ্জামগুলি যুক্ত করে, প্ল্যাটফর্ম লক-ইন-এর নতুন ফর্মগুলি উপস্থিত হওয়ার সম্ভাবনা রয়েছে। যে দলগুলি তাদের নিজস্ব মূল্যায়ন ডেটা এবং লগগুলিতে বিনিয়োগ করে তারা পছন্দের সর্বাধিক স্বাধীনতা রাখে।
ফ্রি নিউজলেটার
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
এআই ভেন্ডর লক-ইন এড়িয়ে চলার অর্থ হল আপনার এআই সিস্টেমগুলি ডিজাইন করা যাতে আপনি অ্যাপ্লিকেশনটি পুনর্লিখন না করেই মডেল প্রদানকারীকে পরিবর্তন করতে পারেন, বা একবারে একাধিক ব্যবহার করতে পারেন৷ এটি গুরুত্বপূর্ণ কারণ মডেলের গুণমান, দাম এবং প্রাপ্যতা দ্রুত পরিবর্তন হয়। যে দলগুলি হার্ড-কোড ওয়ান প্রোভাইডারের API, প্রম্পট কুইর্কস এবং এম্বেডিংগুলিকে স্থানান্তর করার জন্য একটি বড় মাইগ্রেশন খরচের সম্মুখীন হতে হয়।
প্রতিটি এমবেডিং মডেল পাঠ্যকে তার নিজস্ব ভেক্টর স্পেসে ম্যাপ করে, তাই মডেল B-এর সাথে এমবেড করা একটি ক্যোয়ারী মডেল A এর সাথে এমবেড করা নথির সাথে অর্থপূর্ণভাবে তুলনা করা যায় না।
একটি মূল্যায়ন স্যুট হল প্রত্যাশিত ফলাফল বা গ্রেডিং নিয়ম সহ আপনার কাজের একটি প্রতিনিধি সেট। এটি একটি পরিমাপ সিদ্ধান্তে অনুমান থেকে একটি মডেল সুইচ পরিণত.
একটি শেয়ার্ড রিকোয়েস্ট ফরম্যাট লক-ইন-এর API-আকৃতির স্তরকে সরিয়ে দেয়, কিন্তু মডেলের আচরণ এখনও আলাদা, তাই প্রম্পট এবং আউটপুটগুলির পুনরায় পরীক্ষা করা প্রয়োজন।
রাউটিং প্রতিটি কাজকে সবচেয়ে সস্তা মডেলে পাঠায় যা এটি ভালভাবে পরিচালনা করে। একটি মূল্যায়ন স্যুট যা আপনাকে নিশ্চিত করতে দেয় যে ছোট মডেলটি পর্যাপ্ত।
কোন মডেলটি প্রতিটি ভেক্টর উৎপন্ন করেছে তা রেকর্ড করা এবং উৎস টেক্সট এবং চঙ্কিং প্যারামিটারগুলি রাখা, আপনাকে একটি নতুন মডেলের সাথে নির্ভরযোগ্যভাবে সূচকটি পুনর্নির্মাণ করতে দেয়।
শিখতে থাকুন
এই বিষয়ের জন্য বাছাই করা আরও গাইড
পরবর্তী আপপরবর্তী গাইড
মাল্টি-মডেল পরিবেশন এবং মডেল মাল্টিপ্লেক্সিং
টেকনিক্যাল