MIT 開源 v1.0.2:YSK Omni 把本機 Hugging Face 權重變成可上線閘道

重點摘要

MIT 開源 v1.0.2 讓 YSK Omni 以開源授權公開:把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面,命令列 ysk-omni/ysko,預設埠 3850。權重留在您的機器,現有 SDK 與 Open WebUI 可改指向本機閘道,適合香港團隊自用部署,亦可委託 YSK Limited 代裝或訂造。

MIT 開源 v1.0.2:YSK Omni 把本機 Hugging Face 權重變成可上線閘道

MIT 開源 v1.0.2 讓 YSK Omni 以開源授權公開:把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面,命令列 ysk-omni/ysko,預設埠 3850。權重留在您的機器,現有 SDK 與 Open WebUI 可改指向本機閘道,適合香港團隊自用部署,亦可委託 YSK Limited 代裝或訂造。

引言

香港產品與工程團隊若要把語言模型留在自有主機,又希望沿用熟悉的 OpenAI 介面,往往要在「自行拼閘道」與「把權重交出去」之間取捨。YSK Limited 的 YSK Omni(https://ysk.hk/products/ysk-omni)以 MIT 開源 v1.0.2 回應這個需求:文字引擎可走 llama-server(GGUF)或 vLLM(safetensors),圖像、語音、轉錄與影片可接獨立 worker;閘道預設埠 3850,管理台以一次性 OTP 登入。開源版本可自行安裝,不向開源使用收費;需要代裝、接 worker 或白標時,由香港公司書面報價。

一、這個特點解決什麼痛點

不少團隊已經在本機或內網放好 Hugging Face 權重,卻卡在最後一哩:現有 OpenAI SDK、curl 腳本與 Open WebUI 仍指向雲端端點;要自建認證、限流、佇列與管理台,又要花一輪工程時間。另一邊,若直接把權重交到外部託管,又與「資料留在自有磁碟」的合規敘事不合。

「MIT 開源 v1.0.2」把答案寫清楚:您可以免費取得閘道原始碼與 npm 套件,在自己的機器上完成安裝;權重放在 ~/.ysk-omni/models/,對話以 AES-256-GCM 寫入本機 SQLite。產品不是多租戶雲閘道——主機與權重由您擁有,開源路徑與企業代裝/訂造路徑分開計算,讓香港團隊先以開源自用起步,再按需要擴充。

二、特點背後的完整方案

開源授權只是入口;YSK Omni v1.0.2 把本機權重收進一條可上線的閘道工作流:

  • MIT 開源 v1.0.2:原始碼與 npm 套件 ysk-omni 公開;開源使用不收費,企業代裝或訂造另以書面報價。
  • 本機 Hugging Face 權重:GGUF 與 safetensors 留在您的磁碟;目錄拉取完成後再 Load,才開始對外提供對話。
  • OpenAI 相容閘道:支援對話完成、Responses、Anthropic Messages;現有開發套件幾乎可直接改指向 http://127.0.0.1:3850。
  • llama-server/vLLM 雙引擎:GGUF 走 llama-server,safetensors 走 vLLM;內建 echo 方便協議測試。
  • 媒體 worker:圖像、語音、轉錄、影片分路接到 OMNI_*_URL,與文字引擎分開配置。
  • AES-256-GCM 對話加密:請求歷史寫入 ~/.ysk-omni 的 SQLite;管理台用五分鐘單次 OTP,而不是把 live 金鑰貼進瀏覽器。
  • CLI 一鍵路徑:npm install -g ysk-omni → ysk-omni setup → ysk-omni admin otp → ysk-omni start;需要 Node.js 20 或以上。
  • 金鑰、佇列與防護:omni_live_… 金鑰可設角色/模式/速率/IP 白名單;佇列可暫停與排空;DDoS 中心提供限流與封鎖策略。

開源與運維能力互相配合:您先以 MIT 授權把閘道裝上自有主機,再用目錄、Load、金鑰與管理台把日常推理收斂到同一埠 3850。對重視可檢視程式碼、又希望權重不出境的香港部署,這條路徑邊界清晰——閘道在您的機器,控制權留在用戶端。

三、誰最適合用/香港應用場景

  • 要本機/內網語言模型的產品與工程團隊:權重留在自有磁碟,現有 OpenAI SDK 改指向閘道即可繼續開發。
  • 已有 OpenAI 相容客戶端的工作室:把 curl、SDK、Open WebUI 接到私有 GGUF/safetensors,少改業務程式。
  • 要接媒體產線的團隊:圖像、語音、轉錄、影片 worker 按引擎接到 OMNI_*_URL,與文字閘道同一管理台。
  • 需要香港公司代裝或訂造的企業:主機仍是您的;可委託安裝、白標、金鑰政策、內網加固,報價以書面為準。

常見場景包括:辦公室內網示範本機模型、開發機上用熟悉 SDK 測 GGUF、把 Open WebUI 指回自有閘道,以及與現有外判月費技術票搭配做小改動整合。若同時需要企業級 Dataset → QLoRA/LoRA → 私有 API 全託管,可一併參考 https://ysk.hk/services/ai-automation(年費由 HK$88,000 起,100% 數據不出境)。

四、如何開始

  1. 開啟產品頁 https://ysk.hk/products/ysk-omni ,確認 MIT 開源 v1.0.2、預設埠 3850 與安裝說明。
  2. 在 Node.js 20+ 環境執行:npm install -g ysk-omni,再 ysk-omni setup 與 ysk-omni start。
  3. 執行 ysk-omni admin otp,以一次性密碼開啟 http://127.0.0.1:3850/admin/;於目錄拉取模型後 Load,再用 OpenAI 相容客戶端呼叫閘道。
  4. 需要代裝、接媒體 worker、白標或內網加固,WhatsApp +852 6160 4242 或電郵 [email protected]。

MIT 開源可自行安裝使用;若需要 YSK Limited 代為部署或訂造整合,可經上述渠道聯絡,報價以書面方案為準。

結語

MIT 開源 v1.0.2 是 YSK Omni 把本機 Hugging Face 權重變成可上線閘道的起點——開源自用、預設埠 3850、OpenAI 相容介面,香港團隊可在自有主機上用熟悉工具接上私有模型。立即了解:https://ysk.hk/products/ysk-omni


參考來源

延伸閱讀 · 相關服務與產品