Questionário vinculado ao guia · Difícil Nível

Questionário paralelo de dados totalmente fragmentados

Teste sua compreensão de como o Fully Sharded Data Parallel divide modelos e gerencia a memória durante o treinamento distribuído.

Caminhos de guia relacionadosDados totalmente fragmentados em paralelo
Pergunta 1 de 6

O que o FSDP fragmenta nas GPUs que o paralelismo de dados padrão NÃO faz?