本地部署大模型前，必须先搞清楚的四件事

本地部署最常见的失败不是技术难，而是一开始就选错了模型规格。下面四件事想清楚，能避开绝大多数弯路。

一、显存决定你能跑多大的模型

这是最硬的约束。粗略的估算方式：模型参数量 × 每参数字节数 = 权重占用的显存。

• FP16 精度：每个参数约 2 字节，7B 模型约需 14GB
• INT8 量化：约 1 字节，7B 约需 7GB
• INT4 量化：约 0.5 字节，7B 约需 3.5GB

再加上推理时的 KV 缓存和运行开销，实际占用要在上面基础上留 20%~30% 余量。显存不够不会「慢一点」，是直接跑不起来或疯狂爆显存。

二、量化是拿精度换显存，不是免费的

量化把权重从高精度压到低精度，显存立刻降下来。代价是精度损失——在需要严谨推理、代码生成、长链条逻辑的任务上，INT4 和 FP16 的差距是能感觉到的。

实用判断：闲聊、摘要、改写这类任务，量化影响很小；写代码、数学推理、需要准确引用的任务，能不量化就不量化。

三、上下文长度吃的是额外显存

很多人只算了权重，忘了上下文。KV 缓存的占用随上下文长度线性增长，长文场景下这部分可能比权重还大。

如果你的用途是「喂一整本文档进去问问题」，那么预算要按长上下文来估，而不是按模型参数量。

四、推理框架决定易用性和速度

同一个模型，用不同框架跑，体验差别很大：

• Ollama —— 最省事，命令行一条就跑，适合先跑通、先试效果
• llama.cpp —— CPU 也能跑，量化生态最全，硬件差时的首选
• vLLM —— 吞吐最好，适合要对外提供服务、有并发需求的场景
• LM Studio —— 图形界面，完全不想碰命令行的选它

先回答一个问题再动手

「我为什么要本地部署？」如果答案是数据不能外传或要长期高频调用省成本，那值得投入。如果只是想试试效果，先用在线服务，比折腾环境快得多，也便宜得多。