一项 11 月 18 日公开的试验比较三类模型在豪萨语、斯瓦希里语和约鲁巴语翻译上的表现。作者使用 FLORES-200 测试集,在 NVIDIA T4 上比较 FP16、INT8 和 NF4 INT4。预印本
测试中,量化后的总体字符级评估分数变化较小,显存用量则下降。速度结果有所不同,所测的两种低比特实现均比对应的 FP16 推理更慢。作者还观察到专用机器翻译模型在这些任务上优于两款通用模型。
研究使用特定书面语料、模型及硬件。实现、批次和设备变化都可能改变速度与质量差异。实验与限制
配图为 GETAI.APP 使用 imagegen 生成的主题插画。
