跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

研究比较量化对三种非洲语言翻译的影响

在所测 NVIDIA T4 和量化实现下,低比特模型降低显存占用,但翻译耗时增加。

返回资讯研究arXiv作者 · GETAI.APP查看原文

一项 11 月 18 日公开的试验比较三类模型在豪萨语、斯瓦希里语和约鲁巴语翻译上的表现。作者使用 FLORES-200 测试集,在 NVIDIA T4 上比较 FP16、INT8 和 NF4 INT4。预印本

AI 生成主题插画

测试中,量化后的总体字符级评估分数变化较小,显存用量则下降。速度结果有所不同,所测的两种低比特实现均比对应的 FP16 推理更慢。作者还观察到专用机器翻译模型在这些任务上优于两款通用模型。

研究使用特定书面语料、模型及硬件。实现、批次和设备变化都可能改变速度与质量差异。实验与限制

配图为 GETAI.APP 使用 imagegen 生成的主题插画。