米哈遊崩壞人工智能研發團隊聯同清華大學、中國科學院大學、香港大學多媒體實驗室等院校合作者,開源 GameScaling 系列模型:以 Qwen3.5 視覺語言模型做遊戲軌跡持續預訓練,根據當前與近期畫面及過往操作,輸出未來約二百毫秒的鍵盤與滑鼠動作;公開八個檢查點(約八億至二百七十億參數)、推理客戶端與專案頁/論文,權重與程式採 Apache 2.0,訓練數據與訓練程式碼未釋出。本文已核對專案頁、GitHub README、Hugging Face 權重庫與 arXiv 論文摘要,來源真實性已驗證。
米哈遊/院校:開源 GameScaling——以鍵盤滑鼠操控遊戲的體現代理;八檢查點、Qwen3.5 持續預訓練;港大 MMLab 參與
虛擬世界與真實機械人環境不同:畫面風格、物理、操作空間與目標往往同時改變,單純把「更多數據、更大模型」套到遊戲代理,並不能自動得到跨遊戲泛化。GameScaling 以受控實驗回答「持續預訓練(continued pre-training, CPT)在多元虛擬世界是否仍可規模化」,並把可運行的鍵盤—滑鼠策略權重公開給研究社群。
一、核心事件:開源八個檢查點與推理棧,論文報告受控規模化實驗
根據專案頁(gamescaling.github.io)、GitHub 倉庫 THUSI-Lab/GameScaling、Hugging Face 集合/權重庫,以及 arXiv:2610.28698《Scaling in Games: Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds》:
- 團隊與署名:作者包括米哈遊崩壞人工智能研發團隊(miHoYo Honkai AI R&D Team)、清華大學 College AI、中國科學院大學、香港大學 MMLab、新加坡國立大學、北京大學等單位;部分作者註明於米哈遊實習期間完成工作。通訊作者包括 Yinhe Zheng、Yiming Li。
- 模型本質:GameScaling 是在 Qwen3.5 視覺語言模型上,以鍵盤—滑鼠遊戲軌跡做 持續預訓練 的檢查點家族;每次推斷吃入當前畫面(加短歷史畫面與動作),輸出下一段 約二百毫秒 的控制:六個三十三毫秒步的按鍵狀態,外加整段期間的滑鼠移動與滾輪。
- 公開物:八個 bfloat16 檢查點——0.8B/2B/9B/27B 各有 S1(僅 Minecraft)與 S3(約百分之二十七 Minecraft、其餘其他遊戲)版本;權重體積分別約 2.2/5.4/18.8/54.7 GB;0.8B–9B 可單卡服務,27B 需張量並行兩卡。GitHub 提供推理客戶端、系統提示模板、vLLM 啟動腳本與離線測試;不含訓練程式碼。
- 數據與許可:全部檢查點使用約 一千六百小時 遊戲軌跡;訓練語料本身 不公開。權重與推理程式為 Apache 2.0;專案強調屬純科學研究、無商業活動,且開源許可 不授予任何遊戲內容權利。
- 實驗規模(論文):受控網格涵蓋四種模型規模(0.8B–27B)、六種數據預算(五十至一千六百小時)、五種數據混合(Minecraft-only 至多遊戲語料),並以由語料內世界到未見「近/遠」世界的基準階梯評估;語料涵蓋約八十款遊戲。專案頁指在 世界不暫停 的即時設定下,前沿通用模型每步約需四至二十四秒,GameScaling 約零點一三至零點六九秒,故在即時評分上更具優勢;同時強調對遙遠世界仍有持續差距,CPT alone 不足以造就通才體現代理。
- 報道側證:TechNode 於二〇二六年十月二十三日報道該開源,指示範任務包括 Minecraft 採集與合成、Doom 戰鬥與導航、密室逃脫解謎等——與專案公開示例一致,惟技術細節以官方倉庫與論文為準。
二、技術原理:畫面→按鍵語彙;介面期與世界期兩階段學習
GameScaling 把「玩遊戲」收成可解析的動作塊,而不是自由文字指令:
- 動作格式:特殊標記包裹的字串含滑鼠 X/Y(相對螢幕寬高的千分比,±1000)、滾輪 Z(±5),以及六組最多四個按鍵的三十三毫秒步;訓練鍵彙約七十四個標記(字母、數字列、功能鍵、滑鼠鍵等)。
- 服務約束:官方以 vLLM(測試版本 ≥0.17)載入檢查點自帶的 chat template;請求須保留特殊標記(
skip_special_tokens: false),並以預填<think>延續助理回合,否則動作標記易被剝除或格式偏離訓練分布。 - 混合策略:S1 專注 Minecraft;S3 刻意把 Minecraft 壓到約百分之二十七,以換取對相關世界的遷移。論文觀察到早期訓練出現跨世界共享的「介面期」(學會鍵盤—滑鼠原語),後期增益收窄到語料內與相近世界的「世界期」,並擬合數據量、多樣性與模型規模的經驗縮放律。
- 與通用前沿模型的分工:當基準允許遊戲暫停等待模型思考時,通用大模型可發揮長推理;當世界持續推進時,低延遲的專用 CPT 策略在專案頁報告中佔優——這對「代理必須在真實時間閉環裡動手」的場景有直接含義。
四、日常應用場景(含香港視角)
1. 開發者與技術團隊
若評估遊戲/模擬器內的體現代理、GUI 自動化或「以螢幕為介面的代理」:可先用官方 vLLM 腳本拉起 0.8B–9B 檢查點,對照 examples/run_example.py 驗證解析率與動作是否真正作用於環境。系統提示須按模板填入遊戲名、規則與鍵位,勿擅自改寫訓練見過的段落標題。生產整合應把動作執行器(瀏覽器/引擎按鍵映射)與模型服務解耦,並記錄 parsed/截斷失敗率。
2. 企業與隱私敏感行業
GameScaling 明言非產品、不附商業授權;企業若借鑒其「視覺→離散控制」思路做內部流程自動化(遠端桌面、行業軟體點擊),應另建合規數據與安全邊界,不可假設 Apache 2.0 權重即可覆蓋第三方軟體或遊戲資產使用。香港金融、法律或醫療場景更宜把此類研究權重留在隔離實驗環境,敏感操作仍需人類核准閘。
3. 一般用戶與創作者
開源檢查點方便愛好者在自有 GPU 上重現 Minecraft/Doom 等演示,但專案不釋出訓練數據、亦未授權遊戲內容。玩家不應把研究代理當成外掛或破壞線上遊戲服務條款的工具。
4. 香港與亞洲市場視角
署名含 香港大學 MMLab,顯示本地學術力量直接參與亞洲遊戲/體現智能研究前沿;對香港團隊而言,價值在於可複現的 CPT 方法論與即時閉環基準,而非「可上架的遊戲外掛」。若機構要在港內部署私有視覺—動作代理做研發或客戶演示,可對照此類開源配方,再以本地私有模型託管與網絡隔離落地。
五、專業評價與潛在考量
優勢
- 一手來源完整:專案頁、GitHub、Hugging Face 權重、arXiv 論文互相對得上檢查點數量、混合設定與許可條款。
- 問題設定清楚:把虛擬世界異質性與真實機械人「共享物理」對照,避免空泛「更大更好」敘事。
- 工程可復現:公開動作格式、提示模板與 vLLM 服務腳本,降低「只有論文數字、沒有可跑權重」的落差。
- 即時基準視角對代理產品有啟發:延遲本身是分數的一部分。
需要留意的地方
- 訓練數據與訓練碼未公開,外部無法完整審計數據來源與清洗。
- 對遙遠世界(如偏 2D/2.5D 控制體制)仍有明顯差距;作者亦表明 CPT 不足以降服通才體現代理。
- 研究用途聲明嚴格;遊戲版權與線上服務條款仍約束實際遊玩場景。
- TechNode 等媒體報道屬發現線索,參數與許可以官方倉庫為準;勿把報道中的任務列舉理解成完整能力清單。
結語
GameScaling 把「看畫面、按鍵盤滑鼠」的體現代理,收成可開源、可服務、可在即時世界裡計分的 CPT 檢查點家族,並以受控實驗拆開數據量、多樣性與模型規模的作用。對關注代理式人工智能落地的香港團隊,重點不是追單一基準分數,而是建立可觀測的感知—動作閉環、延遲預算與人類核准閘。若你的機構需要在香港部署私有大語言模型、視覺—動作實驗環境或代理工作流自動化,可參考 YSK Limited 的人工智能自動化與私有 LLM 託管服務(https://ysk.hk/services/ai-automation)。
參考來源
- GameScaling 專案頁:Scaling in Games — Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds — https://gamescaling.github.io/
- GitHub:THUSI-Lab/GameScaling(推理客戶端、提示模板、檢查點說明、Apache 2.0)— https://github.com/THUSI-Lab/GameScaling
- Hugging Face:THUSI-Lab/GameScaling 模型集合與各檢查點權重 — https://huggingface.co/THUSI-Lab/GameScaling
- arXiv:2610.28698 — Scaling in Games: Continued Pre-Training for Embodied Agents in Diverse Virtual Worlds — https://arxiv.org/abs/2610.28698
- 發現來源:TechNode — MiHoYo team open-sources GameScaling models that control games through keyboard and mouse actions(2026-10-23)— https://technode.com/2026/10/23/mihoyo-team-open-sources-gamescaling-models-that-control-games-through-keyboard-and-mouse-actions/