MIT 開源 v1.0.2 讓 YSK Omni 以開源授權公開:把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面,命令列 ysk-omni/ysko,預設埠 3850。權重留在您的機器,現有 SDK 與 Open WebUI 可改指向本機閘道,適合香港團隊自用部署,亦可委託 YSK Limited 代裝或訂造。
引言
香港產品與工程團隊若要把語言模型留在自有主機,又希望沿用熟悉的 OpenAI 介面,往往要在「自行拼閘道」與「把權重交出去」之間取捨。YSK Limited 的 YSK Omni(https://ysk.hk/products/ysk-omni)以 MIT 開源 v1.0.2 回應這個需求:文字引擎可走 llama-server(GGUF)或 vLLM(safetensors),圖像、語音、轉錄與影片可接獨立 worker;閘道預設埠 3850,管理台以一次性 OTP 登入。開源版本可自行安裝,不向開源使用收費;需要代裝、接 worker 或白標時,由香港公司書面報價。
一、這個特點解決什麼痛點
不少團隊已經在本機或內網放好 Hugging Face 權重,卻卡在最後一哩:現有 OpenAI SDK、curl 腳本與 Open WebUI 仍指向雲端端點;要自建認證、限流、佇列與管理台,又要花一輪工程時間。另一邊,若直接把權重交到外部託管,又與「資料留在自有磁碟」的合規敘事不合。
「MIT 開源 v1.0.2」把答案寫清楚:您可以免費取得閘道原始碼與 npm 套件,在自己的機器上完成安裝;權重放在 ~/.ysk-omni/models/,對話以 AES-256-GCM 寫入本機 SQLite。產品不是多租戶雲閘道——主機與權重由您擁有,開源路徑與企業代裝/訂造路徑分開計算,讓香港團隊先以開源自用起步,再按需要擴充。
二、特點背後的完整方案
開源授權只是入口;YSK Omni v1.0.2 把本機權重收進一條可上線的閘道工作流:
- MIT 開源 v1.0.2:原始碼與 npm 套件
ysk-omni公開;開源使用不收費,企業代裝或訂造另以書面報價。 - 本機 Hugging Face 權重:GGUF 與 safetensors 留在您的磁碟;目錄拉取完成後再 Load,才開始對外提供對話。
- OpenAI 相容閘道:支援對話完成、Responses、Anthropic Messages;現有開發套件幾乎可直接改指向
http://127.0.0.1:3850。 - llama-server/vLLM 雙引擎:GGUF 走 llama-server,safetensors 走 vLLM;內建 echo 方便協議測試。
- 媒體 worker:圖像、語音、轉錄、影片分路接到
OMNI_*_URL,與文字引擎分開配置。 - AES-256-GCM 對話加密:請求歷史寫入
~/.ysk-omni的 SQLite;管理台用五分鐘單次 OTP,而不是把 live 金鑰貼進瀏覽器。 - CLI 一鍵路徑:
npm install -g ysk-omni→ysk-omni setup→ysk-omni admin otp→ysk-omni start;需要 Node.js 20 或以上。 - 金鑰、佇列與防護:
omni_live_…金鑰可設角色/模式/速率/IP 白名單;佇列可暫停與排空;DDoS 中心提供限流與封鎖策略。
開源與運維能力互相配合:您先以 MIT 授權把閘道裝上自有主機,再用目錄、Load、金鑰與管理台把日常推理收斂到同一埠 3850。對重視可檢視程式碼、又希望權重不出境的香港部署,這條路徑邊界清晰——閘道在您的機器,控制權留在用戶端。
三、誰最適合用/香港應用場景
- 要本機/內網語言模型的產品與工程團隊:權重留在自有磁碟,現有 OpenAI SDK 改指向閘道即可繼續開發。
- 已有 OpenAI 相容客戶端的工作室:把 curl、SDK、Open WebUI 接到私有 GGUF/safetensors,少改業務程式。
- 要接媒體產線的團隊:圖像、語音、轉錄、影片 worker 按引擎接到
OMNI_*_URL,與文字閘道同一管理台。 - 需要香港公司代裝或訂造的企業:主機仍是您的;可委託安裝、白標、金鑰政策、內網加固,報價以書面為準。
常見場景包括:辦公室內網示範本機模型、開發機上用熟悉 SDK 測 GGUF、把 Open WebUI 指回自有閘道,以及與現有外判月費技術票搭配做小改動整合。若同時需要企業級 Dataset → QLoRA/LoRA → 私有 API 全託管,可一併參考 https://ysk.hk/services/ai-automation(年費由 HK$88,000 起,100% 數據不出境)。
四、如何開始
- 開啟產品頁 https://ysk.hk/products/ysk-omni ,確認 MIT 開源 v1.0.2、預設埠 3850 與安裝說明。
- 在 Node.js 20+ 環境執行:
npm install -g ysk-omni,再ysk-omni setup與ysk-omni start。 - 執行
ysk-omni admin otp,以一次性密碼開啟http://127.0.0.1:3850/admin/;於目錄拉取模型後 Load,再用 OpenAI 相容客戶端呼叫閘道。 - 需要代裝、接媒體 worker、白標或內網加固,WhatsApp +852 6160 4242 或電郵 [email protected]。
MIT 開源可自行安裝使用;若需要 YSK Limited 代為部署或訂造整合,可經上述渠道聯絡,報價以書面方案為準。
結語
MIT 開源 v1.0.2 是 YSK Omni 把本機 Hugging Face 權重變成可上線閘道的起點——開源自用、預設埠 3850、OpenAI 相容介面,香港團隊可在自有主機上用熟悉工具接上私有模型。立即了解:https://ysk.hk/products/ysk-omni
參考來源