把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面，現有 SDK、curl 與 Open WebUI 幾乎可直接指向本機：YSK Omni v1.0.4（MIT）以 CLI「ysk-omni／ysko」預設埠 3850 上線，文字走 llama-server 或 vLLM，對話以 AES-256-GCM 寫入本機 SQLite，方便香港開發者與企業把模型留在自己機器上呼叫。

OpenAI 相容閘道：本機 Hugging Face 權重一接上線——YSK Omni v1.0.4

許多團隊已用 OpenAI 形狀的開發套件寫好呼叫流程，卻希望模型權重留在自己主機或內網，而不是每次都打到公有雲。YSK Omni 的核心賣點正是 OpenAI 相容閘道：把本機 Hugging Face GGUF／safetensors 接到熟悉的 HTTP 介面，既有客戶端幾乎可改 base URL 就用，模型仍在您自己的目錄。

一、這個特點解決什麼痛點

常見做法是一邊維護本機推理程式，一邊為每個前端重寫協議適配；或者為了沿用舊 SDK，不得不把流量送回外部 API。結果是本機模型「裝得起、接不上」，文件與示範程式也難共用。

OpenAI 相容閘道把協議層一次收齊：對話完成、Responses，以及 Anthropic 風格 Messages，讓現有工具鏈指向 http://127.0.0.1:3850 即可試跑。權重放在 ~/.ysk-omni/models/，目錄拉取完成後再 Load，才開始正式對話——流程清楚，適合本地驗證與內網示範。

二、特點背後的完整方案

「OpenAI 相容閘道」是入口；整套 YSK Omni v1.0.4 還把目錄、引擎、管理台與加密對話收進同一產品：

• OpenAI／Anthropic 形狀端點：POST /v1/chat/completions（可 stream）、POST /v1/responses、GET /v1/models，以及 POST /v1/messages（Bearer 或 x-api-key）。
• 雙文字引擎：GGUF 走 llama-server；safetensors 走 vLLM；另有內建 echo 方便協議測試。
• 媒體 worker（可選）：圖像、語音、轉錄與影片可接獨立 OpenAI 形狀 worker；未設定時依產品頁說明回傳對應狀態。
• 目錄 Load：Hub 搜尋、下載佇列、Load／Unload；拉取完成後才載入對話。
• AES-256-GCM 對話加密：對話寫入本機 SQLite（~/.ysk-omni）；管理台用一次性 OTP 登入，介面支援英文與香港書面語。
• CLI 與埠：npm i -g ysk-omni → ysk-omni（別名 ysko）；預設埠 3850；管理台 /admin/；需 Node.js 20+。
• MIT 開源：使用免授權費；YSK Limited 可書面報價安裝或客製整合。

產品頁亦說明閘道專注本機 Hugging Face 權重，不會啟動外部編程 CLI。詳細端點、金鑰角色與佇列／防護說明以官網為準。

三、誰最適合用／香港應用場景

• 已有 OpenAI SDK／Open WebUI 的團隊：想把 base URL 改成本機閘道，先在自己機器驗證模型與提示。
• 重視數據留在本機的香港企業：法務、金融、醫療或簽有 NDA 的專案，先以本機權重跑通流程，再決定是否另購企業私有 LLM 全託管。
• 需要 GGUF 與 safetensors 同閘道：一部機器兼顧 llama-server 與 vLLM，減少多套自幹適配。
• 要 OTP 管理台與加密對話紀錄：方便演示與內部稽核軌跡，而不是把 live 金鑰貼進瀏覽器。

香港常見路徑是：本機或內網主機安裝 Omni → 目錄拉取常用開源權重 → Load → 把現有客戶端指向 3850 → 再按需要接媒體 worker 或請 YSK 協助加固與上線。

四、如何開始

1. 開啟產品頁 https://ysk.hk/products/ysk-omni ，確認版本 v1.0.4、埠 3850、端點與安裝步驟。
2. 全域安裝：npm install -g ysk-omni，再執行 ysk-omni setup 與 ysk-omni start。
3. 管理台：ysk-omni admin otp，開啟 http://127.0.0.1:3850/admin/ ，於目錄拉取並 Load 模型。
4. 將現有 OpenAI 相容客戶端的 base URL 指向本機閘道，帶上 omni_live_… 金鑰試呼叫。
5. 需要安裝協助、內網加固或與企業私有 LLM 方案銜接，WhatsApp +852 6160 4242 或電郵 [email protected] 預約書面報價。

若同時規劃數據不出境的企業級託管，可一併參閱 https://ysk.hk/services/ai-automation 。

結語

OpenAI 相容閘道讓本機 Hugging Face 權重接上熟悉的開發介面；YSK Omni v1.0.4 再以雙引擎、加密對話與 OTP 管理台，把「模型留在自己機器」變成可日常呼叫的閘道。了解產品與安裝：https://ysk.hk/products/ysk-omni

參考來源

• https://ysk.hk/products/ysk-omni
• https://ysk.hk/products/ysk-omni.md
• https://ysk.hk/llms.txt
• https://ysk.hk/products/
• https://ysk.hk/services/ai-automation
• https://ysk.hk/