GGUF - Kwantiseringsformaat voor llama.cpp

GGUF-indeling en llama.cpp-kwantisering voor efficiënte CPU/GPU-inferentie. Gebruik bij het inzetten van modellen op consumentenhardware, Apple Silicon, of wanneer u flexibele kwantisering van 2-8 bits nodig hebt zonder GPU-vereisten.

Bron: github.com/NousResearch/hermes-agent/tree/main/skills/mlops/inference/gguf · Licentie: MIT