CPU-offloading

Valideer en gebruik CPU-offloading in Megatron Bridge, inclusief offloading van activaties op laagniveau en fractioneel offloaden van optimalisatorstatus met HybridDeviceOptimizer.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-cpu-offloading · Licentie: Other