TopoQuant 用拓扑变化检查模型量化损失
TopoQuant 研究尝试在不反复运行昂贵下游评测的情况下,判断大模型量化后是否出现行为偏移。团队用拓扑数据分析描述参数结构变化,再观察它与注意力一致性的关系。
查看来源为 arXiv 的资讯与动态,保留原文入口和发布时间。
共 190 篇
TopoQuant 研究尝试在不反复运行昂贵下游评测的情况下,判断大模型量化后是否出现行为偏移。团队用拓扑数据分析描述参数结构变化,再观察它与注意力一致性的关系。
LDST 研究把混合整数规划求解器的日志交给语言模型分析。系统先提取运行瓶颈,再提出少量参数修改,并在执行前校验配置,而不是把每次求解结果只当作一个黑盒分数。
一项预印本把语言模型智能体用于量子系统的模型发现:系统提出候选物理模型,调用计算工具,再比较不同假设对实验数据的解释能力。研究使用了三组此前公开的金刚石与碳化硅色心实验数据。
Pandora 预印本研究如何让心理咨询来访者模拟器更贴近个体的表达方式。系统会根据咨询互动更新心理与关系状态,再单独规划表达内容和语言风格,避免模拟角色总能过分清楚地解释自己的困扰。
Friday 团队公开了 MetaFine 精细操作挑战赛的方案:每项任务采用约 1,900 万参数的策略模型,而不是直接微调大型视觉语言动作模型。训练数据来自模拟器中的脚本教师,也包含对学生模型错误的纠正。
Trail 研究提出一种完全本地运行的智能家居控制方式。系统不让小模型自由编造控制命令,而是从实际设备注册表中依次选择房间、设备和操作;对把握不足的请求可以拒绝执行。
一项语言模型训练研究比较了 14 种正交约束方案,模型规模从 3.6 亿到 31 亿参数,训练数据接近 2,000 亿 Token。作者希望分清性能改善究竟来自正交结构,还是来自参数归一化等其他因素。
Saidzoda-Tajik-E5-Large 基于 5.6 亿参数的多语言嵌入模型微调,面向塔吉克语文档检索。研究使用法律、税务、百科和网页文本构造问答对,同时混入英语与俄语数据,以保留多语言能力。
一项 Transformer 注意力研究提出锥规划框架,尝试为输入变化会让注意力输出偏移多少提供可计算的保证。论文区分了固定查询与查询、键共同变化时的难度。
PrismServe 研究面向混合硬件集群的大模型服务。系统在同类设备组内运行量化专家,先根据预期回答质量选择专家,再按负载与缓存位置选择具体副本,减少跨硬件协作的开销。
SFTProbe 研究尝试减少推理模型微调数据的筛选成本。方法先做短暂的 LoRA 适配,再只检查每条推理轨迹的一小部分,通过损失特征估计样本难度与多样性。
BitLLM 研究把手机 GPU 上的低比特模型推理瓶颈拆成数值类型转换和 KV 缓存访问两部分。方案调整缓存布局,并把部分转换移出矩阵计算的关键路径。
Skill++ 研究关注技能库越变越大后,智能体反而选错技能的问题。新增技能的名称和描述可能挤占原有技能的匹配范围,即使旧技能本身没有修改。
SYN-DIGITS 研究尝试修正语言模型模拟人类回答时的系统偏差。方法利用参考问题上的真人数据,以及数字角色在不同问题之间表现出的关联,推测目标问题的回答。
DAPE 基准同时判断两份政策是否属于同一领域,以及后一份是延续、扩大、缩小还是逆转前一份。研究用 1,000 组中国政府政策指令构建专家标注数据,避免把困难样本简单归为不相关。
AStockArena 为金融智能体增加决策审计:把模型报告、交易请求、实际执行回执和账户状态对齐,检查操作是否可追溯、理由是否有证据,以及模型是否正确理解账户情况。
一项实验让语言模型扮演审计人员,先形成估计,再面对没有新增证据的上级、同事、外部审阅人或客户质疑。研究比较了 12 组模型设置。
MedForget 把医疗机构及其数据的层级关系纳入多模态遗忘评测,考察删除某一层数据影响时,模型能否保留其他相关能力。
一项故事生成研究先从人类作品中学习读者反应随情节变化的轨迹,再让较小模型预测这些变化,指导较大的写作模型逐段生成故事。
一项研究对 14 个模型进行了医疗问答比较,测试同一道题在提供选项和不提供选项时的表现。数据涉及四套基准的 3,076 道题。
CLAS 将模型激活引导拆成固定方向与随上下文变化的系数。相比始终施加同样力度,它可以在同一次生成的不同位置选择性地引导不同表现。
一项研究专门评估大模型函数调用的不确定性,而不只研究普通问答的置信度。作者比较单次与多次采样方法,检验这些分数能否区分可能错误的工具调用。
ResMem 研究让模型离线阅读检索文本,再把这些证据如何改变答案分布的差异写入独立参数记忆。这样可以在后续使用中减少重复在线检索,而不是简单模仿检索器的预测。
一项统计研究关注预测系统上线后的反馈:模型影响人的决策,进而改变下一轮训练数据。早期估计误差会沿着部署和再训练过程传播。
11 月 9 日公开的预印本提出 World In-Context Learning,作者来自华中科技大学与 ArcheOne AI,配套框架名为 RoboScript。方法从一次示范出发,在模拟环境里练习,把反馈写进任务记忆,而不是更新基础模型权重。