MoE Training Optimization Workflow

Systematische workflow voor MoE-trainingsoptimalisatie in Megatron Bridge, gebaseerd op het Megatron-Core MoE-document. Behandelt het Three Walls-framework, parallel folding, recompute-strategie, dispatcher-keuze en CUDA-graph bring-up.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-moe-optimization-workflow · Licentie: Other