本機 GGUF 走 llama-server、safetensors 走 vLLM，YSK Omni 把兩套文字引擎收進同一 OpenAI 相容閘道。權重留在你的機器，現有 SDK 與 Open WebUI 可直接指向預設埠。想把本機模型變成可呼叫閘道，去產品頁了解即可。
llama-server／vLLM 雙引擎：YSK Omni 把本機 GGUF 與 safetensors 接到同一閘道
想在本機跑 Hugging Face 權重，又要用熟悉的 OpenAI 介面呼叫，最實在的做法是把文字引擎接在一層閘道後面。YSK Omni（MIT 開源 v1.0.5）的重點之一，正是 llama-server／vLLM 雙引擎：GGUF 走 llama-server，safetensors 走 vLLM，目錄 Load 之後即可用同一套 OpenAI 相容 HTTP 介面對話，權重仍留在你自己的機器。
一、這個特點解決什麼痛點
本機模型常見兩種格式：GGUF 適合以 llama-server 常駐提供對話；safetensors 文字模型則需要 vLLM。若每次換格式就要換工具、換埠、改客戶端，開發與內部試用都會被卡住。團隊真正需要的是「一種呼叫方式、兩種文字引擎」，讓現有 SDK、curl 與 Open WebUI 不用重寫，只要把基底網址指回本機閘道。
二、特點背後的完整方案
YSK Omni 是本機 Hugging Face 權重前方的 OpenAI 相容 HTTP 閘道。命令列為 ysk-omni（短名 ysko），預設連接埠 3850；管理台在 /admin/，以一次性登入碼開啟，而不是把 live 金鑰貼進瀏覽器。
雙引擎對應產品頁明確寫法：
- GGUF → llama-server：目錄 Load 後啟動 llama-server，之後持久提供對話。
- safetensors → vLLM：文字 safetensors 走 vLLM 路徑。
- 內建 echo：可用作協議測試。
- 媒體另路：圖像、語音、轉錄、影片由獨立 worker 處理（
OMNI_IMAGE_URL／OMNI_TTS_URL／OMNI_STT_URL／OMNI_VIDEO_URL）；未設定圖像／TTS／STT 時回 501engine_unconfigured。
閘道同時支援對話完成、Responses 與 Anthropic Messages；對話以 AES-256-GCM 寫入 ~/.ysk-omni 的 SQLite。權重目錄在 ~/.ysk-omni/models/，Hub 搜尋、下載佇列、Load／Unload 都在管理台目錄完成。產品不會啟動外部編程 CLI。
需要 Node.js 20 或以上；快速安裝見產品頁：npm install -g ysk-omni → ysk-omni setup → ysk-omni start。MIT 開源自用無使用費；YSK Limited 可代裝、接媒體 worker 或按範圍書面報價訂造。
正式產品頁：https://ysk.hk/products/ysk-omni
三、誰最適合用／香港應用場景
- 已有 GGUF 或 safetensors 權重，想用同一閘道切換文字引擎的香港開發團隊
- 要把 OpenAI SDK、curl 或 Open WebUI 改指本機／內網，並保持權重不出境的企業 IT
- 需要先以 llama-server 跑對話、再評估 vLLM 吞吐的原型與內部試用
- 計劃接圖像／語音／轉錄 worker，先把文字雙引擎穩妥上線的工作室
- 想用 MIT 開源自行安裝，必要時再找 YSK Limited 代裝或訂造的團隊
四、如何開始
- 閱讀產品說明並安裝：https://ysk.hk/products/ysk-omni
- 執行
npm install -g ysk-omni，再ysk-omni setup與ysk-omni start（預設埠 3850） - 用
ysk-omni admin otp開啟管理台，於目錄拉取模型後按格式 Load（GGUF→llama-server；safetensors→vLLM） - 把現有 OpenAI 相容客戶端指向本機閘道，以
omni_live_…金鑰呼叫 - 如需代裝、接 worker 或訂造，WhatsApp +852 6160 4242 或電郵 [email protected]
結語
llama-server／vLLM 雙引擎，讓 YSK Omni 把本機 GGUF 與 safetensors 收進同一 OpenAI 相容閘道：權重留在你的機器，現有客戶端改指向即可開始對話。立即了解：https://ysk.hk/products/ysk-omni
參考來源