llama-server/vLLM 雙引擎:YSK Omni 把本機 GGUF 與 safetensors 接到同一閘道
本機 GGUF 走 llama-server、safetensors 走 vLLM,YSK Omni 把兩套文字引擎收進同一 OpenAI 相容閘道。權重留在你的機器,現有 SDK 與 Open WebUI 可直接指向預設埠。想把本機模型變成可呼叫閘道,去產品頁了解即可。 llama-server/vLLM 雙引擎:Y...
本機 GGUF 走 llama-server、safetensors 走 vLLM,YSK Omni 把兩套文字引擎收進同一 OpenAI 相容閘道。權重留在你的機器,現有 SDK 與 Open WebUI 可直接指向預設埠。想把本機模型變成可呼叫閘道,去產品頁了解即可。 llama-server/vLLM 雙引擎:Y...
把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面,現有 SDK、curl 與 Open WebUI 幾乎可直接指向本機:YSK Omni v1.0.4(MIT)以 CLI「ysk-omni/ysko」預設埠 3850 上線,文字走 llama-server 或 vLLM,對話以 A...
MIT 開源 v1.0.2 讓 YSK Omni 以開源授權公開:把本機 Hugging Face 權重放在一層 OpenAI 相容 HTTP 閘道後面,命令列 ysk-omni/ysko,預設埠 3850。權重留在您的機器,現有 SDK 與 Open WebUI 可改指向本機閘道,適合香港團隊自用部署,亦可委託 YS...
想在本機載入 Hugging Face 權重,又希望沿用熟悉的 OpenAI 風格 HTTP 呼叫?YSK Omni 正是為此而設的本機閘道:把您手上的模型權重,變成可被現有客戶端、腳本與內部工具直接呼叫的相容介面。 MIT 開源 v1.0.2,經 npm 安裝 CLI(ysk-omni/ysko),預設埠 3850;...
想在自己電腦跑 Hugging Face 模型,又希望繼續用熟悉的 OpenAI 開發套件與介面,最省事的做法是先把閘道裝好。YSK Omni 以命令列一鍵安裝,經 npm 全域裝上 ysk-omni(短名 ysko)後,即可完成設定、啟動與管理台登入,把本機權重接到 OpenAI 相容 HTTP 閘道。 產品現為 M...
OpenAI 相容閘道讓團隊沿用既有 SDK、腳本與內部工具,直接呼叫本機 Hugging Face 權重,無須重寫整條應用鏈。YSK Omni 以 MIT 開源閘道把熟悉的 HTTP 介面接到本地模型,適合香港企業、研發與工作室把推理留在自己機器上。 同一套相容介面,可依場景切換 GGUF 或 safetensors...
YSK Omni 以 llama-server 與 vLLM 雙引擎,把本機 Hugging Face 權重接到 OpenAI 相容 HTTP 閘道。GGUF 走 llama-server、safetensors 走 vLLM,現有 SDK、curl 與 Open WebUI 只需改指向本機埠 3850,即可在香港辦公...
AES-256-GCM 對話加密,讓本機語言模型閘道把對話寫進受保護的 SQLite,兼顧開發效率與資料保護。YSK Omni 是 YSK Limited 開源的本機 Hugging Face 模型 OpenAI 相容閘道,預設埠 3850,適合香港團隊把權重留在自己機器上。 香港企業與開發團隊愈來愈常把語言模型搬回本...