跳转到正文
登录
← 开发动态

SFTProbe 用少量探测筛选推理训练数据

SFTProbe 研究尝试减少推理模型微调数据的筛选成本。方法先做短暂的 LoRA 适配,再只检查每条推理轨迹的一小部分,通过损失特征估计样本难度与多样性。

GETAI.APParXiv查看原文 ↗

SFTProbe 研究尝试减少推理模型微调数据的筛选成本。方法先做短暂的 LoRA 适配,再只检查每条推理轨迹的一小部分,通过损失特征估计样本难度与多样性。

作者报告,在其数学与物理实验中,可以用更少的筛选开销构建有效训练集,并公开代码和数据。这项方法针对数据整理流程,不意味着所有训练任务都能按同样比例缩短总耗时。

来源:arXiv · 2611.00554

登录

还没有账号?