IT之家 4 月 19 日消息，谷歌公司昨日（4 月 18 日）发布博文，发布了量化感知训练（QAT）优化版 Gemma 3 模型，在保持高质量的同时，降低内存需求。谷歌上月推出 Gemma 3 开源模型，能在单台 NVIDIA H100 GPU ...

以 int4 量化为例，Gemma 3 27B 显存需求 从 54GB 锐减至 14.1GB ，Gemma 3 12B 则从 24GB 降至 6.6GB；Gemma 3 1B 仅需 0.5GB 显存。

在2023年4月18日，谷歌正式发布了其量化感知训练（QAT）优化版Gemma 3模型。这一新技术不仅在保持高质量AI模型性能的同时显著降低了内存需求，同时使得普通硬件用户也能轻松访问强大的AI计算资源。这一举措在业内引发了广泛关注，特别是在AI技术迅猛发展的背景下，谷歌的这一创新无疑具备重大的行业影响力。 Gemma 3开源模型最早在上月推出，能够以BFloat16精度在NVIDIA H100 ...

Gemma 3 QAT模型通过量化技术显著降低了内存需求，使得广泛的用户能够享受到尖端AI技术所带来的便利。简单来说，量化技术就是通过降低模型参数的数值精度，使数据存储量大幅减少。这就像图片压缩时减少了颜色深度，不失质量地实现了精简。在Gemma ...