預設埠 3850:YSK Omni 讓本機模型閘道即時就緒

重點摘要

本機要跑大型語言模型,最希望開箱就能連上固定閘道。YSK Omni 預設以埠 3850 提供 OpenAI 相容 HTTP 介面,把 Hugging Face 權重留在您的機器上使用,文字可走 llama-server 或 vLLM,現有開發套件與 Open WebUI 即可指向本機並開始呼叫。立即到產品頁了解如何一鍵安裝並試用。

預設埠 3850:YSK Omni 讓本機模型閘道即時就緒

本機要跑大型語言模型,最希望開箱就能連上固定閘道。YSK Omni 預設以埠 3850 提供 OpenAI 相容 HTTP 介面,把 Hugging Face 權重留在您的機器上使用,文字可走 llama-server 或 vLLM,現有開發套件與 Open WebUI 即可指向本機並開始呼叫。立即到產品頁了解如何一鍵安裝並試用。

預設埠 3850:YSK Omni 讓本機模型閘道即時就緒

要把本機 Hugging Face 權重變成可呼叫的應用介面,團隊往往希望有一個固定、好記、即開即用的連接埠。YSK Omni 是 YSK Limited 以 MIT 授權公開的本機模型閘道(v1.0.8),命令列為 ysk-omni(簡稱 ysko),預設以埠 3850 提供 OpenAI 相容 HTTP 服務,管理台位於同一主機的 /admin/ 路徑。權重留在您自己的機器,現有開發套件、curl 與 Open WebUI 即可照舊呼叫。

一、這個特點解決什麼痛點

本機部署模型之後,開發套件、測試腳本與內部工具需要一個穩定的連線入口。若每次安裝都要重新約定連接埠,聯調成本會上升。YSK Omni 把預設閘道埠固定為 3850,管理台與應用程式介面同機提供(管理台 /admin/,API /v1),啟動後即可指向本機 3850 埠。團隊可以沿用熟悉的 OpenAI 開發套件、curl 或 Open WebUI,把請求送到本機閘道,模型與權重仍留在自己的主機。

需要調整時,命令列亦支援 --port 與 --home 等全域旗標,資料目錄預設為 ~/.ysk-omni。日常以預設埠起步,正式環境再按需要調整,流程清楚。

二、特點背後的完整方案

埠 3850 後面是完整的本機閘道。文字方面,GGUF 權重走 llama-server,safetensors 走 vLLM,另有內建 echo 供協議測試。圖像、語音、轉錄與影片則經獨立媒體 worker 接上。Hugging Face GGUF 與 safetensors 存放於 ~/.ysk-omni/models/;在目錄完成拉取並 Load 之後,即可開始對話。

介面方面,閘道提供對話完成、Responses 與 Anthropic Messages 等端點,例如 POST /v1/chat/completions、POST /v1/responses、GET /v1/models,以及 POST /v1/messages(可用 Bearer 或 x-api-key)。對話以 AES-256-GCM 寫入 SQLite(~/.ysk-omni/data/gateway.db)。管理台以一次性登入碼開啟,有效五分鐘且只可用一次,介面支援英文與香港書面語。閘道本身亦具備認證、限流、佇列與 DDoS 防護,並可用 API 金鑰設定角色(admin/client)、模式(safe/agent)、可用模型清單與 IP 白名單。

安裝只需數步:以 npm 全域安裝 ysk-omni(需要 Node.js 20 或以上),執行 ysk-omni setup 後再 ysk-omni start,以 ysk-omni admin otp 取得一次性密碼,即可開啟本機 3850 埠的管理台,在目錄搜尋、拉取並 Load 模型後呼叫介面。生產環境可使用 start --pm2,亦提供 doctor、自我更新等運維指令。產品以 MIT 授權公開,開源自用並不向開源使用收費;企業如需代裝、接上媒體 worker 或以產品為基底訂造再開發,可由 YSK Limited 按範圍書面報價。

三、誰最適合用/香港應用場景

適合希望把語言模型留在自有機器、又想沿用現有 OpenAI 相容客戶端的香港開發團隊、初創與企業內部資訊部門。權重可留在本機或內網,將現有開發套件改為指向埠 3850 的閘道即可開始呼叫。已使用 Open WebUI 或內部自動化腳本的團隊,也可把呼叫目標改到同一預設埠,減少改寫成本。需要圖像、語音、轉錄或影片產線時,可按產品頁說明接上相應 worker。法律、醫療與金融等行業若希望資料留在本機,同樣可以把現有工具接到這條閘道。

四、如何開始

可前往產品頁查看安裝步驟與功能說明,以 npm 自行安裝 ysk-omni,或經 WhatsApp +852 6160 4242、電郵 [email protected] 查詢代裝與訂造。開源自用可直接在本機以預設埠 3850 啟動;如需正式上線、白標或內網部署,歡迎與我們聯絡,報價以書面為準。

產品頁:https://ysk.hk/products/ysk-omni

結語

以預設埠 3850,YSK Omni 讓本機 Hugging Face 權重一啟動就能經 OpenAI 相容介面被呼叫。歡迎前往 https://ysk.hk/products/ysk-omni 了解安裝與功能,或 WhatsApp +852 6160 4242、電郵 [email protected] 與我們聯絡。

參考來源

延伸閱讀 · 相關服務與產品