Anthropic 公布研究:Claude 可以自己做「對齊研究員」,自動幫其他模型修安全問題。
團隊讓 Claude 針對欺騙、拍馬、越獄、提示注入、獎勵駭客、私隱外洩等 10 類對齊失敗,自行搜文獻、設計訓練方法、訓練目標模型再評分。結果 10 類指標全部改善,而且冇明顯損害一般能力。最佳方法仲可以推廣到預留測試集,以及模擬多輪對抗嘅開源工具 Petri。 更關鍵一場實驗:較弱嘅 Claude Sonnet 5...
團隊讓 Claude 針對欺騙、拍馬、越獄、提示注入、獎勵駭客、私隱外洩等 10 類對齊失敗,自行搜文獻、設計訓練方法、訓練目標模型再評分。結果 10 類指標全部改善,而且冇明顯損害一般能力。最佳方法仲可以推廣到預留測試集,以及模擬多輪對抗嘅開源工具 Petri。 更關鍵一場實驗:較弱嘅 Claude Sonnet 5...
創投公司 Andreessen Horowitz(a16z)宣布新募集 11 億美元「Machine Age Fund」,專門投資人工智能實體基建,包括晶片、記憶體、網絡、儲存、數據中心同機械人。呢筆基金獨立於現有軟件基金,係 a16z 首次正式把硬件列為獨立投資方向。 公司指出,由 NVIDIA H100 到新一代...
OpenAI 宣布,將終止向已被 SpaceX 收購嘅 AI 編程工具 Cursor 提供模型,建議停供日期為 2026 年 11 月 12 日,並明確未來模型(包括 Astra)都唔會再開放畀 Cursor。OpenAI 指,根據過往同馬斯克旗下公司合作經驗,無法確信 SpaceX 會遵守使用條款。 Cursor 行...
聯署包括 CrowdStrike、Visa、Mastercard、IBM、Oracle、Cloudflare 等。信中指模型能力快速提升,令複雜攻擊更平、更快,醫院、水務同關鍵基建將首當其衝。建議政府加快可信模型存取計劃,前線 AI 公司要喺重大事故時向防守方提供最強模型,企業則要即時修補高風險弱點,並提高 AI 生成...
加州地方法官 Rita Lin 發表 59 頁判決,指國防部長 Pete Hegseth 將 Claude 開發商標為國家安全供應鏈風險,構成違反第一修正案嘅報復,亦剝奪第五修正案正當程序。法官寫:「空喊國家安全,唔係懲罰政府批評者嘅空白支票。」 事件源於 Anthropic 拒絕開放部分軍事用途紅線。裁決撤銷相關禁令...
超過 100 間機構週四發表公開信,簽署方包括 OpenAI、Anthropic、Google、Microsoft、Amazon、CrowdStrike、Visa、Mastercard 等。信中指,隨住全球模型能力上升,未來數月 AI 驅動網絡攻擊會明顯更普及,醫院、水處理廠同互聯網基礎設施最受威脅;防守方而家只剩有限...
Anthropic 週四公布 Model Hardware Standard(MHS)研究預覽,目標係讓 AI agent 用統一規格,安全操作顯微鏡、液體處理器、機械臂等實驗室同先進製造設備。公司指,實驗室而家往往要花數週甚至數月做專用整合,因為儀器互唔通訊;MHS 提供共同介面同資料格式,並可經 Model Con...
《The Information》引述知情人士報道,Nvidia 已同意以約 129 億美元收購開源 AI 模型托管平台 Hugging Face;Business Insider 亦指雙方洽談估值超過 130 億美元,但協議未必已經簽署。若成交,將成為 Nvidia 其中一宗最大收購。Hugging Face 202...