本機 Hugging Face 模型:YSK Omni 把權重變成 OpenAI 相容閘道
想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。 MIT 開源 v1.0.2,經 npm 安裝 CLI(ysk-omni/ysko),預設埠 3850;...
想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。 MIT 開源 v1.0.2,經 npm 安裝 CLI(ysk-omni/ysko),預設埠 3850;...
想在自己電腦跑 Hugging Face 模型,又希望繼續用熟悉的 OpenAI 開發套件與介面,最省事的做法是先把閘道裝好。YSK Omni 以命令列一鍵安裝,經 npm 全域裝上 ysk-omni(短名 ysko)後,即可完成設定、啟動與管理台登入,把本機權重接到 OpenAI 相容 HTTP 閘道。 產品現為 M...
YSK Omni 以 llama-server 與 vLLM 雙引擎,把本機 Hugging Face 權重接到 OpenAI 相容 HTTP 閘道。GGUF 走 llama-server、safetensors 走 vLLM,現有 SDK、curl 與 Open WebUI 只需改指向本機埠 3850,即可在香港辦公...