Vaardigheid Sequentiepakking

# Validate and use packed sequences and long-context training in Megatron-Bridge, distinguishing offline packed SFT for LLMs from in-batch packing for VLMs, and applying the right CP constraints. Valideer en gebruik verpakte sequenties en lange-context training in Megatron-Bridge, onderscheid offline verpakte SFT voor LLM's van in-batch verpakking voor VLM's, en pas de juiste CP-beperkingen toe.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/nemo-mbridge-perf-sequence-packing · Licentie: Other