一项研究专门评估大模型函数调用的不确定性,而不只研究普通问答的置信度。作者比较单次与多次采样方法,检验这些分数能否区分可能错误的工具调用。
论文发现,多次采样的熵方法在工具调用场景中不一定优于简单方法。利用函数输出的语法树结构分组,以及聚焦有语义意义的 Token,可以改进部分指标的校准。
一项研究专门评估大模型函数调用的不确定性,而不只研究普通问答的置信度。作者比较单次与多次采样方法,检验这些分数能否区分可能错误的工具调用。
一项研究专门评估大模型函数调用的不确定性,而不只研究普通问答的置信度。作者比较单次与多次采样方法,检验这些分数能否区分可能错误的工具调用。
论文发现,多次采样的熵方法在工具调用场景中不一定优于简单方法。利用函数输出的语法树结构分组,以及聚焦有语义意义的 Token,可以改进部分指标的校准。