PEFT (Parameter-Efficiënt Fine-Tuning)

Parameterefficiënt fine-tuning voor LLM's met behulp van LoRA, QLoRA en 25+ methodes. Gebruik dit bij fine-tuning van grote modellen (7B-70B) met beperkt GPU-geheugen, wanneer je minder dan 1% van de parameters moet trainen met minimaal nauwkeurigverlies, of voor multi-adapter-serving. De officiële bibliotheek van HuggingFace geïntegreerd met transform

Bron: github.com/NousResearch/hermes-agent/tree/main/skills/mlops/training/peft · Licentie: MIT