Mit dem Guide verknüpftes Quiz · Schwer Ebene

Vollständig geteiltes Daten-Parallel-Quiz

Testen Sie Ihr Verständnis dafür, wie Fully Sharded Data Parallel Modelle aufteilt und den Speicher während des verteilten Trainings verwaltet.

Verwandte FührungspfadeVollständig geteilte Datenparallelität
Frage 1 von 6

Was bewirkt FSDP beim Sharding über GPUs hinweg, was bei der Standarddatenparallelität NICHT der Fall ist?