পরবর্তী আপপরবর্তী গাইড
প্রম্পট-টু-প্রম্পট ক্রস-অ্যাটেনশন সম্পাদনা
ভিজ্যুয়াল এআই
ভাষা এআই গাইড
ক্রস-মনোযোগ
Cross-attention lets queries from one representation attend to keys and values from another representation.
এই নির্দেশিকা শুনুনএআই-বর্ণিত · ~2 min
এই পৃষ্ঠায়2 মিনিট পঠিত
ওভারভিউ
It is used to connect source and target sequences or different modalities.
গভীর ডুব
Cross-attention lets queries from one representation attend to keys and values from another. The Transformer uses this in encoder-decoder layers; latent diffusion uses it for text-conditioned generation. Flamingo uses gated cross-attention layers to connect visual features to a language model and is designed to ingest arbitrarily interleaved visual and textual inputs, including images or video. These are architecture-specific examples, not a universal multimodal design. In Flamingo, cross-attention blocks are gated by a tanh-transformed learned scalar initialized to zero; this is an architecture-specific control and not a claim about how often cross-attention is used across multimodal systems.
বাস্তব-বিশ্ব বাস্তবায়ন
In an encoder-decoder Transformer, decoder queries attend to encoder outputs.
Latent diffusion models use cross-attention to condition image latents on text embeddings.
Flamingo inserts cross-attention layers so a language model can use visual features.
Different sequence lengths are possible because queries and key-value context need not have matching lengths.
ক্রস-মনোযোগের ভবিষ্যত
When inspecting a multimodal model, identify which stream supplies queries and which supplies keys and values. Evaluate alignment and failure cases across the relevant modalities. The cited papers do not establish one universal cross-attention design.
এটাকে বাস্তবে প্রয়োগ করা হচ্ছে
কেন এটা গুরুত্বপূর্ণ
- গতি এবং স্কেল. ভাষার কর্মপ্রবাহ ধারাবাহিকতাকে ত্যাগ না করে দ্রুত অগ্রসর হতে পারে।
- অ্যাক্সেস এবং পৌঁছানো. এটি ভাষা এবং যোগাযোগ শৈলী জুড়ে অ্যাক্সেস প্রসারিত করে।
- সুস্পষ্ট সিদ্ধান্ত. অটোমেশন পুনরাবৃত্তি পরিচালনা করার সময় দলগুলি বিচারে আরও বেশি সময় ব্যয় করতে পারে।
জন্য সতর্ক
- হ্যালুসিনেটেড ফ্যাক্টগুলি শান্তভাবে রিপোর্ট, সমর্থন প্রবাহ, বা গবেষণা আউটপুট প্রবেশ করতে পারে।
- প্রম্পট সংবেদনশীলতা অনুরূপ অনুরোধ জুড়ে অসামঞ্জস্যপূর্ণ ফলাফল তৈরি করতে পারে।
- অ্যাক্সেস কন্ট্রোল দুর্বল হলে সংবেদনশীল পাঠ্য ডেটা উন্মুক্ত হতে পারে।
পরবর্তী পদক্ষেপ
- রোলআউট করার আগে আউটপুট ফর্ম্যাট, টোন এবং মানের মান নির্ধারণ করুন।
- যখনই নির্ভুলতা গুরুত্বপূর্ণ তখন বিশ্বস্ত উত্সের সাথে গ্রাউন্ড প্রতিক্রিয়া।
- উচ্চ-স্টেকের আউটপুটগুলির জন্য একটি মানব পর্যালোচনা চেকপয়েন্ট রাখুন।
- ব্যর্থতার নিদর্শনগুলি ট্র্যাক করুন এবং প্রম্পট বা ওয়ার্কফ্লোগুলিকে নিয়মিতভাবে পুনরায় প্রশিক্ষণ দিন।
অন্বেষণ চালিয়ে যান
ফ্রি নিউজলেটার
প্রতিদিনের এআই ব্রিফিং পান
প্রতি সপ্তাহের কাজের দিন সকালে তিনটি যাচাইকৃত এআই স্টোরি, সহজ ইংরেজিতে লেখা। চিরকালের জন্য ফ্রি, কোনো বিজ্ঞাপন নেই।
প্রতি সপ্তাহের কাজের দিনে একটি ইমেল। এক ক্লিকেই আনসাবস্ক্রাইব করুন। আমরা কখনোই আপনার ঠিকানা বিক্রি বা শেয়ার করি না।
নিজেকে পরীক্ষা করুন
Take the Cross-Attention quiz
প্রতিটি উত্তরের তাৎক্ষণিক ফিডব্যাক, এবং কোর্স পাস করার পর যাচাইযোগ্য আইডি সহ একটি শেয়ারযোগ্য সার্টিফিকেট।
ফ্রি এআই শিক্ষাকে সমর্থন করুন। AI Understanding একটি 501(c)(3) অলাভজনক প্রতিষ্ঠান — কোনো বিজ্ঞাপন নেই, কোনো পেওয়াল নেই, কখনোই না। একটি দান করুন
প্রায়শই জিজ্ঞাসিত প্রশ্নাবলী
ক্রস-মনোযোগ কি?
Cross-attention lets queries from one representation attend to keys and values from another representation. It is used to connect source and target sequences or different modalities.
স্ব-মনোযোগ এবং ক্রস-মনোযোগের মধ্যে মূল পার্থক্য কী?
ক্রস-অ্যাটেনশন একটি সিকোয়েন্স (যেমন, ডিকোডার) থেকে প্রশ্ন আঁকে এবং অন্য একটি (যেমন, এনকোডার) থেকে কী এবং মান দুটিকে ইন্টারঅ্যাক্ট করতে দেয়।
একটি এনকোডার-ডিকোডার ট্রান্সফরমারে, ক্রস-মনোযোগের জন্য প্রশ্নগুলি কোথা থেকে আসে?
ডিকোডার তার আংশিকভাবে তৈরি আউটপুট থেকে প্রশ্ন তৈরি করে, তারপর প্রাসঙ্গিক ইনপুট তথ্য টানতে কী এবং মান হিসাবে এনকোডার আউটপুট ব্যবহার করে।
কেন ক্রস-মনোযোগে দুটি ক্রম ভিন্ন দৈর্ঘ্য বা পদ্ধতি থাকতে পারে?
যেহেতু কোয়েরিগুলি একটি উত্স থেকে এবং অন্য থেকে কী/মানগুলি থেকে উদ্ভূত হয়, তাই ক্রমগুলি স্বাধীন এবং দৈর্ঘ্য, ভাষা বা পদ্ধতিতে পৃথক হতে পারে।
কিভাবে স্থিতিশীল বিস্তার ক্রস-মনোযোগ ব্যবহার করে?
ক্রস-অ্যাটেনশন জেনারেট করা ছবির প্রতিটি অংশকে টেক্সট প্রম্পটে উপস্থিত হতে দেয়, শব্দের ভিজ্যুয়ালগুলিকে ভিত্তি করে।
ক্রস-মনোযোগ কি গণিত অপারেশন স্ব-মনোযোগের সাথে ভাগ করে?
উভয়ই একই স্কেলড ডট-প্রোডাক্ট মনোযোগ ব্যবহার করে: কোয়েরি এবং কীগুলির মধ্যে মিল স্কোর, একটি সফটম্যাক্স, তারপর মানগুলির একটি ওজনযুক্ত সমষ্টি।
শিখতে থাকুন
সম্পর্কিত গাইড
এই বিষয়ের জন্য বাছাই করা আরও গাইড