BenchMIRT：LLM 评测基准到底在测量什么？

Hugging Face 提出 BenchMIRT 方法，基于多维 IRT（MIRT）在提示词层面拆解 LLM 评测基准背后的能力信号。该方法在 100 个 LLM、16 个基准和 34K+ 题目上训练，独立恢复出"安全"与"通用推理"两个主导维度。分析显示 BBQ、WMDP 等安全类基准与通用推理关联更强，单一分数可能混合多种信号。