MMDM 研究于 11 月 10 日提交，为直接输出选项概率的决策模型建立测试。基准包含 5448 道题、十六类任务，覆盖工具选择、状态跟踪、偏好判断和评分等场景。
题目的候选项从两个扩展到 1024 个，输入最长接近 6.5 万 Token。团队评估 28 个决策模型，发现常识题表现较好并不代表能同时处理选项之间的依赖、约束条件或多选任务。
在论文设置下，所有模型中最好的严格多选准确率为 36.81%。研究希望让评测更贴近长上下文和复杂选择，而不是宣称某个模型在所有业务决策中都更可靠。
来源：arXiv 原文。
图片来源：论文作者 / arXiv。