跳到正文

安全对齐

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

最新精选

第 1–5 条 · 共 5 条
10月14日周三
  1. Google DeepMind75

    Google DeepMind 发布 Gemini 4 Argon 模型,详解其安全防护机制

    Google DeepMind 开始广泛推出 Gemini 4 Argon 模型,主打编码、金融、法律、网络安全和科学等领域的复杂推理能力。模型在端到端模拟网络攻击场景中解出全部 12 题(上代 5 题),并通过输入筛查、激活探针和连续监控三层实时防线进行防护,将越狱与生物危害请求的违规率较前代下降近一半。

    推荐理由:列出 Argon 在攻防与生物领域的具体能力数据和三层防线机制,读者可据此评估高风险场景的使用边界。

10月1日周四
  1. The Decoder77

    OpenAI 称已阻止窃取模型推理的攻击,但同一手法在 Azure 上仍然有效

    OpenAI 称已阻止一场通过蒸馏窃取其模型推理过程的攻击,并关闭了超过 15,000 个相关账号,其将核心团伙与 Moonshot AI 相关人员关联。研究人员复现后表示,该手法在 Microsoft Azure 上对包括 GPT-6 Astra 在内的所有 OpenAI 模型以及最高到 Sonnet 5 的 Anthropic 模型仍然有效,一次尝试即可逐字提取推理内容。

    推荐理由:对比模型官方 API 与云平台上的防护差异,可看清蒸馏攻击为何在第三方托管渠道依然奏效,修补节奏为何难以同步。

7月16日周四
  1. Google DeepMind60

    Google DeepMind 与 Isomorphic Labs 公布生物韧性联合方案

    Google DeepMind 与 Isomorphic Labs 公布面向生物韧性的联合方案,覆盖预防、检测与响应三方面。双方称过去 12 个月与政府机构、生物安全组织和研究团队推进了 15 项以上合作,并向可信研究者开放模型与智能体以加速疫苗等应对手段的设计。方案还包括针对 Gemini 等模型的威胁建模、评测、缓解与监控四步安全流程。

    推荐理由:官方披露生物韧性项目的预防、检测、响应三环节以及 15 项以上合作,读者可据此了解前沿模型参与生物安全治理的具体方式。

  2. Hugging Face Blog83

    Hugging Face 披露 7 月安全事件:AI 智能体驱动的入侵与 AI 辅助防御

    Hugging Face 披露一起由 AI 智能体驱动的安全入侵事件,攻击者利用数据集处理中的远程代码加载与模板注入获取节点访问权限,并在多个内部集群横向移动。

    推荐理由:原文给出了由 AI 智能体发起的入侵路径与 Hugging Face 的 AI 辅助防御流程,可供平台方对照自身攻击面与响应预案。