Quiz dotyczący pamięci o dużej przepustowości

Odpowiedzi i wyjaśnienia pojawiają się w miarę rozwiązywania quizu.

1. Jaki podstawowy problem rozwiązuje pamięć o dużej przepustowości w przypadku akceleratorów AI?
   • Rdzenie obliczeniowe pozostają bezczynne w oczekiwaniu na przybycie danych
   • Procesory graficzne przegrzewają się z powodu zbyt dużej ilości światła
   • Trwałe przechowywanie plików po wyłączeniu zasilania
   • Podłączanie GPU do Internetu
2. Czym fizycznie pamięć HBM różni się od zwykłej pamięci GDDR?
   • Jest przechowywany na dysku twardym
   • Układa wiele kości DRAM pionowo i łączy je przelotowymi przelotkami silikonowymi
   • Wykorzystuje kable światłowodowe wewnątrz chipa
   • Nie posiada tranzystorów
3. Na czym głównie polega HBM, aby osiągnąć wysoką przepustowość?
   • Znacznie wyższe częstotliwości taktowania niż jakakolwiek inna pamięć
   • Chłodzenie ciekłym azotem
   • Ekstremalna równoległość dzięki bardzo szerokiemu interfejsowi
   • Kompresja wszystkich danych do jednego bitu
4. Dlaczego stosy HBM są umieszczone na krzemowej przekładce tuż obok procesora graficznego?
   • Aby paczka wyglądała lepiej
   • Ponieważ HBM nie może pracować dalej niż metr dalej
   • Aby umożliwić łatwe usunięcie przez użytkownika
   • Aby przewody były krótkie, zmniejszając moc na bit i opóźnienia
5. Dlaczego szczególnie w przypadku dużych modeli językowych HBM może mieć takie samo znaczenie jak surowe obliczenia?
   • Ponieważ masy modeli muszą być stale przesyłane strumieniowo, co wymaga dużej pojemności i przepustowości
   • Ponieważ modele w ogóle nie zajmują się matematyką
   • Ponieważ obliczenia są bezpłatne, ale pamięć jest obciążona
   • Ponieważ LLM używają tylko procesora
6. Which HBM generations are part of the progression from HBM2 to currently sampling HBM4 products?
   • HBM2, HBM2E, HBM4E, then HBM3
   • HBM2, HBM2E, HBM3, HBM3E, and HBM4
   • GDDR6, GDDR7, DDR5, and HBM4
   • HBM3E directly followed by HBM1
7. Why can high HBM bandwidth help an autoregressive language model during token generation?
   • It eliminates the need to store model weights
   • It performs tokenization instead of the GPU
   • It can move model weights and other data to the compute units more quickly
   • It makes every model compute-bound
8. What is the difference between HBM capacity and HBM bandwidth?
   • They are identical measures of GPU clock speed
   • Capacity measures transfer speed and bandwidth measures data size
   • Neither is related to memory
   • Capacity is how much data can be stored; bandwidth is how quickly data can be transferred