Geheugenoptimalisatie

Technieken voor het verminderen van piek-GPU-geheugen in Megatron Bridge — uitbreidbare segmenten, PEFT + SP input re-gather, parallelism resizing, activation recompute, CPU offloading constraints, en veelvoorkomende OOM-fixes.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-memory-tuning · Licentie: Other