团队将模型列出的解题步骤与专家技能矩阵对照,并用 536 名考生的作答数据检查不同矩阵的拟合程度。
在教育测量中,Q 矩阵将试题与需要的技能对应。作者让模型先写出带技能标记的步骤,再逐项复原矩阵,便于人工查看分歧究竟出现在题型、标签还是步骤表述。
11 道题的实证研究中,步骤法和参考矩阵的平均重叠度为 0.809,直接生成矩阵为 0.877。更容易检查推理依据,并没有带来更高的一致性。
配图为 GETAI 原创 AI 主题插画。
GETAI EDITORIAL DISPATCH新闻报道
团队将模型列出的解题步骤与专家技能矩阵对照,并用 536 名考生的作答数据检查不同矩阵的拟合程度。