4-bit量化如何省显存不影响效果

很多人第一次听到“把模型压到 4-bit”都会下意识皱眉：32-bit 浮点数砍到 4-bit，信息量只剩八分之一，效果怎么可能不掉？这个直觉并不完全错，但它忽略了大模型权重的一个现实：参数里存在大量冗余，真正影响输出质量的，不是每个数都保留小数点后七八位，而是权重分布的形状、异常值处理，以及计算时是否保留足够精度。

4-bit省显存，省在哪里？

模型显存占用大头是权重。以 7B 参数模型为例，FP16 每个参数 2 字节，仅权重就约 14GB；若用 4-bit，每个参数约 0.5 字节，理论上降到 3.5GB。实际运行还要加上量化尺度、缓存、激活值等开销，通常会落在 5GB 到 8GB 区间。

这就是为什么同样一张 24GB 显卡，FP16 可能连训练都吃紧，而 4-bit 加 LoRA 还能留出空间给 batch、KV cache 和优化器状态。

为什么效果没有想象中崩掉？

关键在于现代 4-bit 量化不是粗暴地“把数四舍五入到16档”。以常见的 NF4 为例，它假设神经网络权重大致服从正态分布，把有限的 16 个取值点更多分配给高频区域，而不是均匀切分。说白了，权重最常出现在哪里，量化精度就重点照顾哪里。

还有一个容易被忽略的细节：4-bit通常只用于存储权重，矩阵乘法计算仍可用 FP16 或 BF16 完成。权重从显存取出时被反量化参与计算，避免了纯低精度运算带来的误差堆积。

QLoRA 论文中使用 NF4 与 Double Quantization，在多个指令微调任务上接近 16-bit 微调效果，同时显著降低显存需求。

不影响效果，是有条件的

“几乎不掉点”不等于任何场景都安全。以下几类情况更容易翻车：

• 模型本身很小，比如 1B 以下，冗余少，量化误差更显眼；
• 数学推理、代码生成这类对细节敏感的任务，低精度误差可能被放大；
• 量化后又进行激进微调，学习率过高会让输出变得飘；
• 使用普通 INT4 而非 NF4，异常值处理不好，困惑度会上升。

实践里更稳的配置是：权重 4-bit NF4，计算 dtype 用 BF16，开启 double quant，微调用 LoRA 而不是更新全量量化权重。这样既不把显存烧穿，也不让模型像喝醉了一样胡乱接话。

一个很实际的判断标准

如果目标是部署聊天、摘要、客服问答、RAG 检索增强，4-bit 往往是性价比最高的选择。用户很难感知“权重少了几位”，却能立刻感知响应是否跑得起来、并发是否撑得住、账单是否肉疼。

真正需要谨慎的是高精度评测、金融风控、医疗诊断这类场景。这里可以先用 4-bit 做实验和微调，再对关键模型做 FP16 对照评测。量化不是魔法，它更像一把锋利的手术刀；用得准，显存从“爆红”变成“还能再塞两个batch”，这感觉确实很爽。