Jetson LLM Serve

Stand vLLM of SGLang in op Jetson, gebruik upstream vLLM op Thor en Orin JetPack 7.2+, en NVIDIA-AI-IOT vLLM op oudere Orin.

Bron: github.com/NVIDIA/skills/tree/HEAD/skills/jetson-llm-serve · Licentie: Other