গাইড লিঙ্ক ক্যুইজ · মাঝারি স্তর
দীর্ঘ প্রসঙ্গ কুইজের জন্য অবস্থানগত ইন্টারপোলেশন
পজিশনাল ইন্টারপোলেশন কীভাবে RoPE পজিশনকে রিস্কেল করে, এক্সট্রাপোলেশন কেন মনোযোগকে অস্থির করতে পারে এবং এর উৎস কী মূল্যায়ন করেছে তা পরীক্ষা করে।
প্রশ্ন 1 এর 8
পজিশনাল ইন্টারপোলেশনের পিছনে মূল ধারণা কী?
প্রতিটি প্রশ্নের পূর্বরূপ দেখুন8 প্রশ্ন
আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।
- পজিশনাল ইন্টারপোলেশনের পিছনে মূল ধারণা কী?
- মডেলটি ইতিমধ্যেই প্রশিক্ষিত ছিল সেই পরিসরে নতুন অবস্থানের সূচকগুলিকে চেপে ধরে৷
- প্রতিটি দৈর্ঘ্যের জন্য স্ক্র্যাচ থেকে একটি একেবারে নতুন মডেল প্রশিক্ষণ
- অবস্থানগত তথ্য সম্পূর্ণরূপে অপসারণ
- গুরুত্ব অনুসারে টোকেন বাছাই করা
- কেন দীর্ঘ অবস্থানে নিষ্পাপ এক্সট্রাপোলেশন ব্যর্থ হয়?
- এটি খুব কম মেমরি ব্যবহার করে
- এটি মনোযোগের স্কোরকে অত্যন্ত বড়, অস্থির মানগুলিতে উড়িয়ে দিতে পারে
- এটি সর্বদা একই টোকেন প্রদান করে
- এটি একটি ভিন্ন টোকেনাইজার প্রয়োজন
- মোটামুটিভাবে LLaMA কে 32K পর্যন্ত প্রসারিত করার জন্য আসল PI কাজের কতটা সূক্ষ্ম-টিউনিং প্রয়োজন?
- কোন ফাইন টিউনিং এ সব
- প্রায় 1 মিলিয়ন ধাপ
- প্রায় 1,000 ধাপ
- একটি সম্পূর্ণ pretraining রান
- আপনি যদি একটি ফ্যাক্টর s দ্বারা প্রসঙ্গ প্রসারিত করেন, তাহলে PI কীভাবে একটি অবস্থান m রূপান্তরিত করে?
- এটা m থেকে m গুণ s মানচিত্র
- এটি m থেকে m বর্গক্ষেত্র ম্যাপ করে
- এটা মি অপরিবর্তিত রেখে যায়
- এটি s দ্বারা বিভক্ত m থেকে m মানচিত্র তৈরি করে
- পিআই কীভাবে ইয়াআরএন-এর মতো পরবর্তী পদ্ধতিগুলিকে প্রভাবিত করেছিল?
- এটি বেসলাইন হয়ে উঠেছে যে ফ্রিকোয়েন্সি-সচেতন পদ্ধতিগুলি উন্নত হয়েছে
- এটি পরিত্যক্ত ছিল এবং উদ্ধৃত করা হয়নি
- এটি ট্রান্সফরমার আর্কিটেকচার প্রতিস্থাপন করেছে
- এটা শুধুমাত্র ইমেজ মডেল প্রযোজ্য
- পজিশনাল ইন্টারপোলেশন প্রাথমিকভাবে কোন অবস্থানের এনকোডিং লক্ষ্য করে?
- এক-গরম এনকোডিং
- RoPE (ঘূর্ণমান অবস্থান এমবেডিং)
- Word2Vec ভেক্টর
- ব্যাগ অফ শব্দ গণনা
- A model trained to position 2K tokens is extended to 32K using PI. What is the extension factor s?
- 2
- 8
- 16
- 32
- With extension factor s = 16, where does PI map original position m = 16,000?
- Position 16,000
- Position 256,000
- Position 32,000
- Position 1,000