llama-server／vLLM 雙引擎：YSK Omni 把本機 Hugging Face 權重接到 OpenAI 相容閘道
YSK Omni 以 llama-server 與 vLLM 雙引擎，把本機 Hugging Face 權重接到 OpenAI 相容 HTTP 閘道。GGUF 走 llama-server、safetensors 走 vLLM，現有 SDK、curl 與 Open WebUI 只需改指向本機埠 3850，即可在香港辦公...
YSK Omni 以 llama-server 與 vLLM 雙引擎，把本機 Hugging Face 權重接到 OpenAI 相容 HTTP 閘道。GGUF 走 llama-server、safetensors 走 vLLM，現有 SDK、curl 與 Open WebUI 只需改指向本機埠 3850，即可在香港辦公...