Multimodální vyhledávání

Textový dotaz může načíst obrázek nebo obrázek může najít související dokumenty. Modality musí být reprezentovány kompatibilními způsoby a podobnost stále potřebuje vyhodnocení vzhledem k úkolu uživatele.

Klíčové věci

• Definujte požadovaný důkaz podle způsobu.
• Používejte kompatibilní reprezentace.
• Zachovejte původ a oprávnění u odvozených aktiv.

Vyberte, co by měl každý dotaz a výsledek znamenat. Hledání vizuálně podobného produktu se liší od hledání videa obsahujícího mluvenou frázi. Model vyškolený k zarovnání titulků a obrázků nemusí podporovat všechny zvukové nebo časové úlohy. Zachovejte metadata a původní díla. Zdroj, časový rozsah, oprávnění a popisný text mohou pomoci s hodnocením a ověřením. Samotné vložení může ztratit přesné identifikátory, negaci nebo podrobnosti, které jsou pro dotaz důležité. V případě potřeby kombinujte signály. Shoda klíčových slov může podporovat přesné názvy, zatímco naučené reprezentace podporují sémantické nebo vizuální vztahy. Vyhodnoťte fúzi a hodnocení na realistických příkladech místo toho, abyste předpokládali, že přidání modalit vždy zvyšuje relevanci. Otestujte obtížné rozdíly: podobně vypadající, ale odlišné objekty, obrázky s důležitým textem, videa, jejichž vzhled se shoduje, ale zvuk nikoli, a dotazy týkající se nepřítomnosti nebo prostorových vztahů. Udržujte řízení přístupu konzistentní u odvozených vložení, miniatur, přepisů a původních souborů.

1. Použijte vymyšlený dotaz „psí štěkot“ proti sbírce videí.
2. Vizuální přiřazovač může vrátit tichý klip zobrazující psa. Potvrďte, zda úkol vyžaduje zvuk, viditelnou akci nebo obojí.
3. Vyhodnoťte výsledky pomocí požadovaných důkazů namísto přijímání obecně související shody obrázků.

Vytvořený příklad odděluje topickou podobnost od uspokojení multimodálního dotazu.