跳到正文

#评测/基准

今日 0 条
10月17日周六
10月16日周五
10月14日周三
  1. The Decoder42

    AI 安全围栏开始阻碍防御者,Artemis Security 用 Orion-1 填补缺口

    Artemis Security 发布 Orion-1,一款用于自主调查与响应企业网络攻击的专用模型。在自研 Decision-Grade Readiness 基准上,Orion-1 是唯一在五项任务中均超过 80 分阈值的模型,攻击重建任务得分 80.8,超过 GPT-6 Sol 的 58.3。该模型目前以私有预览形式向 Artemis 平台选定客户提供,高影响操作默认需人工审批。

10月10日周六
10月7日周三
  1. Simon Willison14

    Mistral Large 4

    用户 wren6991 通过 llm CLI 工具,用同一提示词在 Mistral Large 4、Claude Opus 5.5、GPT-6.1-Sol 和 Gemini 3.8 Flash 上分别生成"穿渔网袜在火星上乱穿马路的犰狳"SVG,对比前沿模型的图形生成能力。

10月6日周二
  1. Simon Willison21

    Qwen3.8 27B 用英文单词表达加法结果的能力测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 用英文单词输出正整数加法结果的能力。在 5,070 个禁用推理的用例中,数值准确率仅 23.57%,从 1-3 位操作数的 97.04% 骤降至 10-13 位操作数的 6.44%。开启中等推理后,在 169 个对比用例中获得 167 个正确答案。

10月3日周六
9月28日周一
8月21日周五
7月16日周四