Cuestionario vinculado a una guía · duro Nivel

Prueba paralela de datos completamente fragmentados

Pruebe su comprensión de cómo Fully Sharded Data Parallel divide modelos y administra la memoria durante el entrenamiento distribuido.

Pregunta 1 de 6

¿Qué fragmenta FSDP entre GPU que NO hace el paralelismo de datos estándar?