লিনিয়ার অ্যাটেনশন এবং পারফর্মার কার্নেল কুইজ

আপনি কুইজ নেওয়ার সাথে সাথে উত্তর এবং ব্যাখ্যাগুলি উপস্থিত হয়।

1. কেন স্ট্যান্ডার্ড সফটম্যাক্স মনোযোগ ক্রম দৈর্ঘ্যের সাথে খারাপভাবে স্কেল করে?
   • এর সময় এবং স্মৃতি ক্রম দৈর্ঘ্যের বর্গক্ষেত্রের সাথে বৃদ্ধি পায়
   • এটির জন্য বর্ণানুক্রমিকভাবে সমস্ত টোকেন বাছাই করা প্রয়োজন৷
   • এটি একবারে শুধুমাত্র একটি টোকেন প্রক্রিয়া করতে পারে
   • এটি প্রতি টোকেন একটি পৃথক নিউরাল নেটওয়ার্ক প্রয়োজন
2. কোন গাণিতিক সম্পত্তি রৈখিক মনোযোগ n-বাই-n ম্যাট্রিক্স এড়াতে দেয়?
   • সংযোজনের commutativity
   • ম্যাট্রিক্স গুণের সহযোগীতা
   • সফটম্যাক্সের বন্টনমূলক আইন
   • Eigenvalue পচন
3. পারফর্মারের FAVOR+ প্রক্রিয়া আনুমানিক কি করে?
   • গ্রেডিয়েন্ট ডিসেন্ট আপডেট
   • টোকেনাইজার শব্দভাণ্ডার
   • softmax মনোযোগ কার্নেল
   • স্তর স্বাভাবিককরণ পরিসংখ্যান
4. কেন পারফর্মার পূর্বের ত্রিকোণমিতিক বৈশিষ্ট্যগুলির পরিবর্তে ইতিবাচক র্যান্ডম বৈশিষ্ট্যগুলি ব্যবহার করে?
   • তারা শুধুমাত্র CPU তে দ্রুত চলে
   • তারা কোনো এলোমেলোতার প্রয়োজন দূর করে
   • তারা মডেলটিকে সম্পূর্ণরূপে ব্যাখ্যাযোগ্য করে তোলে
   • তারা অ-নেতিবাচক মনোযোগ ওজনের গ্যারান্টি দেয় এবং সংখ্যাগত স্থিতিশীলতা উন্নত করে
5. ক্রম দৈর্ঘ্য n এ পারফর্মার-স্টাইল রৈখিক মনোযোগের আনুমানিক জটিলতা কী?
   • O(n)
   • O(n^2)
   • O(n লগ n)
   • O(2^n)
6. সম্পূর্ণ সফটম্যাক্স মনোযোগের তুলনায় বিশুদ্ধ রৈখিক মনোযোগের একটি সাধারণ সীমাবদ্ধতা কী?
   • এটি GPU তে চলতে পারে না
   • এটি প্রায়শই সামান্য কম মডেলিং গুণমান অর্জন করে
   • এটি শুধুমাত্র ছবির জন্য কাজ করে
   • প্রতিটি টোকেনের জন্য লেবেলযুক্ত ডেটা প্রয়োজন
7. For attention written as phi(Q)(phi(K)^T V), which multiplication can be done first to avoid creating an n-by-n matrix?
   • Compute QK^T and store every pairwise score
   • Apply softmax to the full n-by-n matrix first
   • Compute phi(K)^T V before multiplying by phi(Q)
   • Multiply the final output by the sequence length
8. What benefit does using orthogonal random features provide in Performer’s FAVOR+ approximation?
   • It guarantees exact softmax for every sequence
   • It removes the need for query and key vectors
   • It makes attention quadratic in sequence length
   • It reduces variance in the random-feature estimate