መስቀል-ትኩረት

It is how models connect what they are producing to what they read, powering translation, captioning, and modern multimodal systems.

ራስን ትኩረት በአንድ ቅደም ተከተል ውስጥ ቶከኖች እርስ በርስ እንዲዛመድ ያደርጋል; ትኩረትን መሻገር አንድ ተከታታይ መረጃ ከሌላው እንዲስብ ያስችለዋል። በትራንስፎርመር ዲኮደር ውስጥ፣ እያንዳንዱ ትውልድ እርምጃ ከፊል ከሚመነጨው ውፅዓት ጥያቄዎችን ይመሰርታል፣ ቁልፎቹ እና እሴቶቹ ግን ከመቀየሪያው ውጤቶች ይመጣሉ። ሞዴሉ እያንዳንዱ የግቤት አካል አሁን ካለው የውጤት አቀማመጥ ጋር ምን ያህል ተዛማጅነት እንዳለው ያሰላል እና የክብደት ድብልቅ የግቤት መረጃን ይጎትታል። የትርጉም ዲኮደር እያንዳንዱን የዒላማ ቃል ሲጽፍ በትክክለኛው ምንጭ ቃላት ላይ እንዲያተኩር የሚያደርገው ይህ ነው። ከጽሑፍ ባሻገር፣ ትኩረትን ተሻጋሪ ትኩረት በ መልቲ ሞዳል ሞዴሎች ውስጥ ያለው ሙጫ ነው፡ የጽሑፍ ዲኮደር የምስል ጠጋኝ ባህሪያትን መከታተል ይችላል፣ ወይም የኦዲዮ ሞዴል ድምጽን ከተገለበጡ ቃላት ጋር ማመሳሰል ይችላል። ሁለት የተለያዩ የመረጃ ዥረቶች መቀላቀል በሚያስፈልግበት ጊዜ ሁሉ ትኩረትን መሻገር ብዙውን ጊዜ የግንኙነት ቲሹ ነው።