Kvíz spojený s průvodcem · Střední úroveň
Úložiště pro AI Training Clusters Quiz
Přizpůsobte úložiště objektů, paralelní souborové systémy a místní NVMe potřebám školení AI při měření šířky pásma, metadat, mezipaměti a trvanlivosti.
Otázka 1 z 8
Proč může mnoho malých souborů zpomalit přístup k distribuovaným tréninkovým datům?
Náhled každé otázky8 otázky
Odpovědi a vysvětlení se zobrazují, jak budete v kvízu.
- Proč může mnoho malých souborů zpomalit přístup k distribuovaným tréninkovým datům?
- Když jsou všechna čtení velká sekvenční přenosy, které nasytí šířku pásma
- Když jádra modelu již zasytí výpočet GPU
- Může se hromadit režie metadat a požadavků na soubor
- Když stavy optimalizátoru zabírají paměť akcelerátoru
- Který typ úložiště je obvykle navržen pro trvalý přístup k velkým sbírkám objektů prostřednictvím rozhraní API?
- Paralelní souborový systém, který zpřístupňuje soubory prostřednictvím rozhraní podobného POSIXu
- Skladování objektů
- Sdílený svazek NFS připojený každým uzlem
- Mezipaměť hostitelské stránky
- Jak se běžně používá místní NVMe v tréninkovém clusteru?
- Primární trvalé sdílené úložiště pro každý uzel
- Obchod odolných objektů s nativní sémantikou POSIX
- Náhrada za síťové úložiště napříč všemi výpočetními uzly
- Rychlá dočasná mezipaměť nebo příprava v blízkosti výpočtu
- Proč měřit agregátní poptávku napříč všemi GPU?
- Čtenáři clusteru mohou společně překročit propustnost úložiště
- Rychlost čtení na uzel měřená na jinak nečinném hostiteli
- Průměrná velikost datové sady bez ohledu na souběžnost čtenářů
- Špičková kapacita disku bez měření požadavků na čtení
- Kdy může pomoci přebalení datové sady na větší fragmenty?
- Když je přenos dat omezen limitem šířky pásma pro sekvenční čtení
- Když je výpočet GPU saturován, zatímco vstupní fronta zůstává plná
- Při čtení metadat malého souboru a limitů režijních nákladů
- Když je paměť akcelerátoru spotřebována stavem optimalizátoru spíše než vstupním čtením
- Jaký kompromis zahrnuje frekvence kontrolních bodů?
- Objem dat kontrolního bodu versus počet GPU
- Doba obnovy versus provoz úložiště a pauzy
- Kvalita tréninkového štítku versus latence čtení
- Výpočetní špička GPU versus licencování datové sady
- Proč rozlišovat propustnost souborového systému od výkonu metadat?
- Bajtová šířka pásma měří rychlost vyhledávání souborů a operací s adresáři
- Výkon metadat a hromadná propustnost bajtů jsou stejné metriky
- Úlohy malých souborů zatěžují pouze šířku pásma sítě
- Velké sekvenční čtení a mnoho operací s malými soubory vyžaduje různé cesty
- Co by se mělo zkontrolovat, než se po restartu budete spoléhat na data uložená v místní mezipaměti uzlu?
- Jaká verze datové sady je k dispozici a zda existují trvalé kopie
- Místní keše vždy přežijí výměnu pracovníků
- Verze modelu zaručuje, že vstupy uložené v mezipaměti jsou aktuální
- Identifikátor mezipaměti dokazuje, že záloha byla dokončena