MoE VLM Training

Praktische richtlijnen voor training van MoE VLM's in Megatron Bridge. Vergelijkt FSDP- en 3D-parallel benaderingen, gebruikmakend van afgeronde lessen uit Qwen3-VL, Qwen3-Next en andere multimodale experimenten.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-moe-vlm-training · Licentie: Other