Simon Willison·· 14 天前AI 评分21
Qwen3.8 27B 用英文单词表达加法结果的能力测试
Qwen3.8 27B addition in words
AI 导读
Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 用英文单词输出正整数加法结果的能力。在 5,070 个禁用推理的用例中,数值准确率仅 23.57%,从 1-3 位操作数的 97.04% 骤降至 10-13 位操作数的 6.44%。开启中等推理后,在 169 个对比用例中获得 167 个正确答案。
来源:Simon Willison · simonwillison.net