Quiz dotyczący modeli CLIP i języka wizyjnego

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaka jest podstawowa idea CLIP?
   • Kompresja obrazów do mniejszych plików
   • Umieszczanie obrazów i tekstu w tej samej udostępnionej przestrzeni do osadzania
   • Generowanie modeli 3D ze zdjęć
   • Tłumaczenie mowy na tekst
2. Z jakiego podejścia szkoleniowego korzysta CLIP?
   • Wzmocnienie uczenia się na podstawie informacji zwrotnych od ludzi
   • Ręczne etykietowanie każdego obiektu na każdym obrazie
   • Kontrastowe uczenie się, które łączy pasujące pary obraz-tekst
   • Kopiowanie wag z modelu mowy
3. What does zero-shot classification mean in the original CLIP transfer setup?
   • Using text-defined candidate categories without new task-specific supervised classifier fitting
   • Using a model that never received any pretraining data
   • Running without any computation or electricity
   • A guarantee that every category is classified correctly
4. W jaki sposób CLIP sprawdza zgodność obrazu i podpisu?
   • Przez porównanie rozmiaru pliku
   • Licząc piksele każdego koloru
   • Sprawdzając sygnaturę czasową obrazu
   • Przez cosinus podobieństwa między ich wektorami
5. Z grubsza na ilu danych przeszkolono CLIP?
   • Kilka tysięcy ręcznie podpisanych obrazów
   • Tylko tekst, żadnych obrazów
   • Około 400 milionów par obraz-tekst z Internetu
   • Pojedyncza kolekcja muzealna wyselekcjonowana
6. How does the cited unCLIP image-generation paper use CLIP representations?
   • The original standalone CLIP encoder directly outputs every image pixel
   • A prior supplies CLIP image embeddings to a generative decoder
   • It removes all image representations and uses only filenames
   • It uses CLIP only as a network-encryption protocol
7. Which image-encoder families were evaluated in the original CLIP paper?
   • Only recurrent text encoders
   • Only a mandatory linear pixel average
   • Only a raw audio codec
   • Modified ResNets and Vision Transformers
8. A CLIP batch contains 32 paired images and texts. How many entries are in its full cross-modal score matrix?
   • 1024
   • 32
   • 64
   • 992