Quiz badawczy Nousa

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Z czego najbardziej znana jest firma Nous Research na początku swojej kariery?
   • Dostosowanie modeli z otwartą podstawą do serii asystentów Hermesa
   • Produkcja chipów AI
   • Prowadzenie usługi gier w chmurze
   • Tworzenie od podstaw modeli granicznych o zamkniętym kodzie źródłowym
2. Które modele podstawowe Nous najczęściej dostraja?
   • PaLM Google i Gemini
   • Modele Lamy i Mistrala Meta
   • GPT-4 OpenAI
   • IBM-a Watsona
3. What problem does Nous Research’s DisTrO project address?
   • Generowanie realistycznych obrazów
   • Kompresja plików wideo
   • Zmniejszenie przepustowości komunikacji potrzebnej do rozproszonego szkolenia
   • Wykrywanie wiadomości spamowych
4. Czym jest sieć Psyche?
   • Platforma mediów społecznościowych
   • Punkt odniesienia do pomiaru rozumowania
   • Rodzaj mechanizmu uwagi
   • Próba uczenia modeli na rozproszonym geograficznie sprzęcie podłączonym do Internetu
5. Jakiej techniki zwykle używa Nous do wyrównywania swoich dopracowanych modeli?
   • Nadzorowane dostrajanie i optymalizacja preferencji, np. DPO, na wybranych danych
   • Trening wyłącznie z losowych ciężarów, bez modelu podstawowego
   • Tylko zasady pisania odręcznego, bez uczenia się
   • Uczenie się ze wzmocnieniem na podstawie surowych pikseli
6. What does the name DeMo stand for in Nous Research's distributed-training work?
   • Distributed Model Orchestration
   • Decoupled Momentum Optimization
   • Decoder-Mixture Operation
   • Deterministic Memory Offload
7. According to the DeMo paper, which training state need not be fully synchronized between accelerators?
   • The text prompts used for evaluation
   • The vocabulary definitions in the tokenizer
   • The complete optimizer states and model parameters
   • The labels used to evaluate image classifiers
8. Which three roles does Psyche's training system assign?
   • A tokenizer, a rendering engine, and a search index
   • An underwriter, an auditor, and a policyholder
   • A browser, an operating system, and a GPU driver
   • A coordinator, training clients, and a data provider