想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。
MIT 開源 v1.0.2,經 npm 安裝 CLI(ysk-omni/ysko),預設埠 3850;文字推理可選 llama-server(GGUF)或 vLLM(safetensors),影像、語音、轉錄與影片則由獨立 worker 承接,對話以 AES-256-GCM 加密存放於本機 SQLite。
本機 Hugging Face 模型:YSK Omni 把權重變成 OpenAI 相容閘道
香港開發與產品團隊愈來愈常把模型放在自己的主機或工作站上跑——既要控管資料路徑,又要讓工程節奏對齊既有的 OpenAI 相容生態。YSK Omni 以本機 Hugging Face 模型為核心賣點,在權重前面架起 OpenAI 相容 HTTP 閘道,讓您用同一套熟悉的請求格式,驅動本機文字引擎,並按需要接上多模態 worker。
一、這個特點解決什麼痛點
許多團隊已有 Hugging Face 權重與本機算力,卻卡在「介面不統一」:既有應用、測試腳本、內部工具習慣走 OpenAI 風格 HTTP,換成本機引擎往往要重寫客戶端或另開一層轉接。
YSK Omni 把痛點收成一句話——本機權重,相容閘道:
- 沿用熟悉呼叫:以 OpenAI 相容 HTTP 介面面對本機模型,減少客戶端改造成本。
- 對準 Hugging Face 生態:文字路徑支援 GGUF(llama-server)與 safetensors(vLLM),讓權重選擇更貼近實際部署。
- 多模態可擴充:影像、語音、轉錄、影片由獨立 worker 處理,閘道本身專注把請求路由到正確引擎。
- 本機對話可保存:聊天內容以 AES-256-GCM 加密,存放於
~/.ysk-omni的 SQLite,方便本機持續使用。
對香港中小企、工作室與研發團隊而言,等於在自己的環境裡,把「已下載的模型」直接變成「可被現有工具呼叫的服務」。
二、特點背後的完整方案
YSK Omni 是 YSK Limited 發佈的開源產品,現行 MIT v1.0.2,npm 套件名稱為 ysk-omni,原始碼公開於 GitHub。執行環境需要 Node.js 20+。
方案重點包括:
- OpenAI 相容 HTTP 閘道:面向本機 Hugging Face 權重,讓文字請求以相容介面進出。
- 雙文字引擎路徑:llama-server 處理 GGUF;vLLM 處理 safetensors,按權重格式與硬體策略選擇。
- 多模態 worker 架構:影像、語音、轉錄、影片各自以獨立 worker 接駁,閘道負責統一入口。
- 命令列一條龍:
npm install -g ysk-omni後,以ysk-omni(別名ysko)執行setup→start→admin otp,開啟預設埠 3850 的管理台/admin/(一次性密碼登入)。 - 本機資料與加密:對話以 AES-256-GCM 保護,SQLite 位於
~/.ysk-omni,資料路徑清楚可控。
產品頁:https://ysk.hk/products/ysk-omni
三、誰最適合用/香港應用場景
- 本機/自有主機跑模型的開發者:已有 Hugging Face 權重,希望用 OpenAI 相容介面接上現有客戶端與腳本。
- 香港初創與產品團隊:要在 PoC 或內部工具中快速接上本機文字推理,同時預留影像、語音等 worker 擴充。
- 重視資料留在本機的企業 IT 與顧問:對話加密存放於本機 SQLite,閘道跑在您控管的環境。
- 需要 CLI 與管理台並用的工程節奏:ysk-omni/ysko 負責安裝設定與啟動;瀏覽器開
/admin/載入模型與呼叫介面。
無論是中環金融科技試作、觀塘工作室的內容管線,還是葵涌機房旁的研發工作站,只要準備好 Node.js 20+ 與本機權重,就能把 Hugging Face 模型變成可呼叫的 OpenAI 相容服務。
四、如何開始
- 閱讀產品說明:開啟 https://ysk.hk/products/ysk-omni(亦可參考 https://ysk.hk/products/ysk-omni.md )。
- 準備環境:安裝 Node.js 20+。
- 全域安裝 CLI:執行
npm install -g ysk-omni。 - 設定並啟動:
ysk-omni setup,再ysk-omni start(別名ysko同樣可用)。 - 開啟管理台:執行
ysk-omni admin otp,以一次性密碼登入 http://127.0.0.1:3850/admin/ ,載入模型後即可呼叫介面。 - 需要代為安裝或按範圍訂造:WhatsApp +852 6160 4242,或電郵 [email protected],說明目標模型格式(GGUF/safetensors)、硬體與是否需要多模態 worker。
結語
本機 Hugging Face 模型不必再與熟悉的 OpenAI 風格介面脫節。YSK Omni MIT v1.0.2 把權重變成 OpenAI 相容 HTTP 閘道,文字走 llama-server 或 vLLM,多模態由獨立 worker 承接,CLI 與管理台一次備齊。想立即動手,請由 https://ysk.hk/products/ysk-omni 開始;需要香港團隊協助安裝或書面報價訂造,歡迎 WhatsApp +852 6160 4242 或 [email protected] 聯絡。
參考來源
- YSK Limited:YSK Omni(本機 Hugging Face 模型閘道)https://ysk.hk/products/ysk-omni
- YSK Limited:YSK Omni 產品說明(Markdown)https://ysk.hk/products/ysk-omni.md
- YSK Limited 官網資料 https://ysk.hk/llms.txt
- YSK Limited 產品一覽 https://ysk.hk/products/