Voer Megatron-LM uit op SLURM

Hoe u gedistribueerde Megatron-LM trainingstaken op een SLURM-cluster kunt starten. Behandelt een minimale sbatch-skeleton, omgevingsvariabeleninstellingen voor torch.distributed.run, CUDA_DEVICE_MAX_CONNECTIONS-regels over hardware- en parallelismemodi, containerconventies, monitoring en per-rank foutdiagnose.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/mcore-run-on-slurm · Licentie: Other