本機 Hugging Face 模型:YSK Omni 把權重變成 OpenAI 相容閘道

重點摘要

想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。

本機 Hugging Face 模型:YSK Omni 把權重變成 OpenAI 相容閘道

想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。

MIT 開源 v1.0.2,經 npm 安裝 CLI(ysk-omni/ysko),預設埠 3850;文字推理可選 llama-server(GGUF)或 vLLM(safetensors),影像、語音、轉錄與影片則由獨立 worker 承接,對話以 AES-256-GCM 加密存放於本機 SQLite。

本機 Hugging Face 模型:YSK Omni 把權重變成 OpenAI 相容閘道

香港開發與產品團隊愈來愈常把模型放在自己的主機或工作站上跑——既要控管資料路徑,又要讓工程節奏對齊既有的 OpenAI 相容生態。YSK Omni 以本機 Hugging Face 模型為核心賣點,在權重前面架起 OpenAI 相容 HTTP 閘道,讓您用同一套熟悉的請求格式,驅動本機文字引擎,並按需要接上多模態 worker。

一、這個特點解決什麼痛點

許多團隊已有 Hugging Face 權重與本機算力,卻卡在「介面不統一」:既有應用、測試腳本、內部工具習慣走 OpenAI 風格 HTTP,換成本機引擎往往要重寫客戶端或另開一層轉接。

YSK Omni 把痛點收成一句話——本機權重,相容閘道:

  • 沿用熟悉呼叫:以 OpenAI 相容 HTTP 介面面對本機模型,減少客戶端改造成本。
  • 對準 Hugging Face 生態:文字路徑支援 GGUF(llama-server)與 safetensors(vLLM),讓權重選擇更貼近實際部署。
  • 多模態可擴充:影像、語音、轉錄、影片由獨立 worker 處理,閘道本身專注把請求路由到正確引擎。
  • 本機對話可保存:聊天內容以 AES-256-GCM 加密,存放於 ~/.ysk-omni 的 SQLite,方便本機持續使用。

對香港中小企、工作室與研發團隊而言,等於在自己的環境裡,把「已下載的模型」直接變成「可被現有工具呼叫的服務」。

二、特點背後的完整方案

YSK Omni 是 YSK Limited 發佈的開源產品,現行 MIT v1.0.2,npm 套件名稱為 ysk-omni,原始碼公開於 GitHub。執行環境需要 Node.js 20+。

方案重點包括:

  • OpenAI 相容 HTTP 閘道:面向本機 Hugging Face 權重,讓文字請求以相容介面進出。
  • 雙文字引擎路徑:llama-server 處理 GGUF;vLLM 處理 safetensors,按權重格式與硬體策略選擇。
  • 多模態 worker 架構:影像、語音、轉錄、影片各自以獨立 worker 接駁,閘道負責統一入口。
  • 命令列一條龍:npm install -g ysk-omni 後,以 ysk-omni(別名 ysko)執行 setup → start → admin otp,開啟預設埠 3850 的管理台 /admin/(一次性密碼登入)。
  • 本機資料與加密:對話以 AES-256-GCM 保護,SQLite 位於 ~/.ysk-omni,資料路徑清楚可控。

產品頁:https://ysk.hk/products/ysk-omni

三、誰最適合用/香港應用場景

  • 本機/自有主機跑模型的開發者:已有 Hugging Face 權重,希望用 OpenAI 相容介面接上現有客戶端與腳本。
  • 香港初創與產品團隊:要在 PoC 或內部工具中快速接上本機文字推理,同時預留影像、語音等 worker 擴充。
  • 重視資料留在本機的企業 IT 與顧問:對話加密存放於本機 SQLite,閘道跑在您控管的環境。
  • 需要 CLI 與管理台並用的工程節奏:ysk-omni/ysko 負責安裝設定與啟動;瀏覽器開 /admin/ 載入模型與呼叫介面。

無論是中環金融科技試作、觀塘工作室的內容管線,還是葵涌機房旁的研發工作站,只要準備好 Node.js 20+ 與本機權重,就能把 Hugging Face 模型變成可呼叫的 OpenAI 相容服務。

四、如何開始

  1. 閱讀產品說明:開啟 https://ysk.hk/products/ysk-omni(亦可參考 https://ysk.hk/products/ysk-omni.md )。
  2. 準備環境:安裝 Node.js 20+。
  3. 全域安裝 CLI:執行 npm install -g ysk-omni。
  4. 設定並啟動:ysk-omni setup,再 ysk-omni start(別名 ysko 同樣可用)。
  5. 開啟管理台:執行 ysk-omni admin otp,以一次性密碼登入 http://127.0.0.1:3850/admin/ ,載入模型後即可呼叫介面。
  6. 需要代為安裝或按範圍訂造:WhatsApp +852 6160 4242,或電郵 [email protected],說明目標模型格式(GGUF/safetensors)、硬體與是否需要多模態 worker。

結語

本機 Hugging Face 模型不必再與熟悉的 OpenAI 風格介面脫節。YSK Omni MIT v1.0.2 把權重變成 OpenAI 相容 HTTP 閘道,文字走 llama-server 或 vLLM,多模態由獨立 worker 承接,CLI 與管理台一次備齊。想立即動手,請由 https://ysk.hk/products/ysk-omni 開始;需要香港團隊協助安裝或書面報價訂造,歡迎 WhatsApp +852 6160 4242 或 [email protected] 聯絡。


參考來源

延伸閱讀 · 相關服務與產品