Jetson Speculatieve Decodering (vLLM)

Voeg EAGLE-3 of draft-model speculatieve decodering toe aan een Jetson vLLM-server wanneer TPOT het knelpunt is.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/jetson-speculative-decoding · Licentie: Other