C3 针对长语音任务优化 KV 缓存检索
C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。
查看开发动态栏目最近发布的新闻与相关消息。
共 235 篇
C3 研究根据音频注意力的结构组织 KV 缓存:不同查询头共享检索预算,系统再动态调整检索粒度,以减少每步读取的数据量。
SAC-Bench 把环境声音与一致或矛盾的口头描述放进同一段音频,检验音频语言模型是否真正根据声音作答。基准覆盖事件、时间与空间关系。
一项研究用结构化的支持与反对信号近似语言模型在二元判断任务中的内部过程。作者将这种解释框架称为 latent debate,而不是让多个模型真的展开对话。
AgentKerr 将语言模型智能体接入磁光克尔显微镜实验。卷积网络先从实时影像中提取磁性结构的位置、大小和形状,智能体再据此规划激励、成像与分析步骤。
WMIP 用程序生成答案,测试语言模型在多次更新后能否正确报告最终或中间状态。它在相同题目上比较不同输出规则,避免把题型差异混入结论。
一项模型压缩研究把权重拆为量化矩阵、低秩部分和处理离群行的稀疏部分,尝试用少量额外存储补偿低比特转换损失。
一篇跨学科研究以南蒂罗尔方言和库尔德语变体为例,讨论生成式 AI 如何处理非标准化语言。作者结合社会语言学与计算语言学视角,分析数据、技术与语言规范之间的关系。
BRACE 研究为医学陈述核验构造训练样本,不只替换引用,还同时考察患者报告是否支持模型说法。系统利用公开放射报告和相关医学条目生成对照例子。
一项社会科学方法研究用欧洲晴雨表中的 AI 态度数据,比较模型合成调查样本的个体预测、总体分布和变量关系。
Taurus 研究比较语言模型自由编写分割程序,以及先自动标注再由模型审核两种方式。团队使用六个公开主动脉 CT 数据集进行盲标注恢复评测。
一篇关于 BPE 的理论研究分析了分词背后的压缩问题。作者证明,寻找最优的成对编码属于 APX 完全问题,同时给出 BPE 在所有输入上都成立的最坏情形近似保证。
RE-SciVQA 将论文的章节标题、图表引用和图注纳入检索,再用 LoRA 微调较小的语言模型回答科学图表问题。它没有另建复杂的大型模型,而是先改善模型读到的上下文。
一项图数据研究提出更系统的修复评测方法:从符合规则的图开始,按形式化规则引入错误,再检查修复系统能否恢复约束。这样可以知道测试覆盖了哪些错误,而不只依赖临时收集的坏数据。
一项材料研究讨论了深度学习是否会取代化学键概念。作者通过线性探针发现,Allegro 和 MACE 的内部表示仍能恢复化学键相关描述,说明模型可能以自己的方式学到了这类信息。
TokenEconomizer 是编程智能体外部的成本控制器。它从连续任务中积累经验,选择注入哪些操作技巧、移除长期无用的工具,并在失败循环中介入,避免每个任务都重新试错。
Harness² 将智能体改进分成两层:当前任务中提出、测试并组合执行框架的修改;跨任务再提取这些修改的经验,帮助处理之后遇到的新场景。
Unlimited OCR 针对长文档识别中缓存不断增长的问题,引入参考滑动窗口注意力 R-SWA。解码时保留所需参考信息,让 KV 缓存保持恒定,而不是随输出文本持续扩张。
HairDeck 面向游戏和虚拟角色的风格化头发,将发片视为一组无序的几何单元,通过集合扩散模型一起生成,而不是逐个预测很长的控制点序列。
Edge0 为消费级设备运行混合专家模型设计了预路由机制:提前预测下一层需要的专家权重,再从 SSD 加载,尽量让读盘与计算重叠。团队还训练了恢复适配器,缓解量化和路由替换带来的质量损失。
PagedAttention 借鉴操作系统的虚拟内存分页方式,管理推理请求不断增长的 KV 缓存,减少碎片和重复副本,并允许请求之间共享适当的数据。vLLM 建立在这类机制之上。
MOSS-Image 技术报告提出一套面向图文密集场景的生成系统。团队从头训练 5B 扩散 Transformer,并用意图感知的提示增强模块,把用户要求展开成内容和版式细节。
Intrinsic Distribution Matching 在分布匹配蒸馏中加入显式的特征统计约束,用生成器自身的指数移动平均副本提供特征,避免额外引入独立的特征编码器。
MinerU2.5 的研究采用两阶段文档解析:先在低分辨率图像中识别全局结构,再根据版式从原图裁出文字、公式和表格,进行局部精细识别。
Investor’s Last Exam 用带版本和时间戳的金融数据库测试智能体,要求模型只能使用决策时已经存在的材料,避免在预测过去事件时偷看后来的结果。
Autobrains 在 11 月 10 日宣布扩大与英伟达的合作,将 NVIDIA Alpamayo 2 Super 的推理能力引入其自动驾驶架构,通过专门的驾驶智能体在车辆端执行任务。