跳转到正文

GETAI EDITORIAL DISPATCH新闻报道

本地运行语言模型要多少内存?一份个人实测记录给出对照

作家 Yudhanjaya Wijeratne 记录了本机运行不同模型的速度、内存和实际使用感受,并把可用配置按显存和系统内存分组。

Yudhanjaya Wijeratne 在标注于 11 月 22 日发布的个人实验记录中,整理了自己在本地计算机运行开放权重模型的经验。文章覆盖多种量化版本,给出的选择会随可用显存、系统内存和使用任务变化。

GETAI 主题插画

作者在 128,000 个词元的上下文窗口配置下列出本机所用模型及其运行速度。他区分模型独占内存与从磁盘映射、可由操作系统回收的内存,两项数值对判断机器还剩多少空间含义不同。

记录将部分配置归入“16 GB 显存、超过 60 GB 系统内存”的一档,并另列适合旧台式机或配有显卡的笔记本的选项。对话风格、解释代码是否清楚等评价来自作者个人体验,速度数据也对应他所用的机器和设置。

原始来源 · 相关记录

配图为 GETAI 原创主题插画。