MoE Long-Context Training

Trainingshandleiding voor Long-context MoE met Megatron Bridge. Behandelt CP-sizing, selectieve herberekening, dispatcher-keuzes en praktische patronen uit DSV3-, Qwen3- en Qwen3-Next long-context experimenten.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-moe-long-context · Licentie: Other