谷歌Gemma 4添新，超强多模态智能塞进你的笔记本电脑

谷歌Gemma家族又添新成员，这回直接把超强多模态智能塞进了你的笔记本电脑。

Gemma 4 12B将先进的智能推理能力、视觉处理能力和音频处理能力直接带到了您的笔记本电脑上。

它的性能几乎与我们较大的 Gemma 26B型号相当，但所需的总内存却少得多。此外，它体积小巧，只需 16GB 的 VRAM 即可运行。采用宽松的 Apache 2.0 许可证发布，任何人都可以使用它。

皮柴和哈萨比斯亲自下场推荐。

这一切都要归功于全新的统一架构。该架构摒弃了以往那种需要单独的多模态编码器的设计。

本地跑起智能体

Gemma 4 12B在标准基准测试上，性能接近Gemma 4更大的26B MoE模型，总内存占用却不到它的一半。16GB VRAM或统一内存的普通笔记本就能本地运行，多模态能力和智能体工作流直接在机器上跑，不用云端。

Gemma 4家族此前已有小巧的E4B面向边缘设备，26B MoE面向高性能场景，12B刚好补上中间这块。

此前开发者要本地跑多模态，要么选小模型牺牲能力，要么上大模型先买台好机器，12B给了第三条路。对需要平衡推理能力和硬件资源的开发者来说，多了一个不用妥协太多的选项。

社区数据也能说明这个家族的热度。

Gemma 4系列至今已经累计超过1.5亿次下载，开发者拿它做了可穿戴机械臂来辅助物理行动，也做了企业级AI安全系统。

覆盖面很广，从科研原型到生产部署都有人玩。12B加入后，这个生态又多了一层中间力量的支撑。

砍掉编码器，统一架构

Gemma 4 12B最与众不同的设计，是把传统多模态模型里的编码器全砍了。

通常，多模态模型要靠独立的视觉编码器和音频编码器，先把图像和音频翻译成语言模型能理解的表示，再交给LLM处理。

这套分工的代价很明显：多一套编码器就多一摊延迟和显存开销，模型也变臃肿。编码器和语言模型之间的表示对齐也是个技术难题，训练成本跟着涨。

Gemma 4 12B反其道行之，用无编码器架构把音频和视觉输入直接整合进语言模型主干。一套参数、一条管道，视觉、音频、文本三种模态走同一条路。

视觉处理上，它用一个轻量嵌入模块替代了原来的视觉编码器。这个模块只包含一次矩阵乘法、位置嵌入和归一化操作，视觉处理任务交由LLM主干本身来完成。把视觉理解能力直接融入语言模型，省掉了独立编码器的全部开销。

音频处理更简洁：音频编码器直接移除，原始音频信号被投射到与文本Token相同的维度空间，和文本走同一套处理管道。不需要中间翻译层，音频就是另一种"语言"。

Gemma 4 12B也是Gemma系列中第一款支持原生音频输入的中型模型，此前原生音频只在更大的型号上才有。

Gemma 4 12B在Google AI Edge Eloquent应用中完全离线运行，实时完成语音转录、格式化和翻译三件事，全程不联网。

开箱即用

Gemma 4 12B以Apache 2.0许可证开源发布，开发者生态支持也很齐全。

模型自带MTP（Multi-Token Prediction，多Token预测）Drafters，降低推理延迟。简单讲，模型一次预测多个Token，减少生成步骤，推理更快。对本地部署来说，延迟是体验的关键，MTP算是刚需配置。

上手方式很多：LM Studio和Ollama可以一键体验，预训练和指令微调的权重从Hugging Face和Kaggle直接下载。

推理框架支持Hugging Face Transformers、llama.cpp、MLX、SGLang、vLLM，微调可以用Unsloth高效完成。主流工具链基本都接上了。

谷歌还同步发布了Gemma Skills Repository（技能仓库），专门为智能体开发准备的技能库，方便开发者基于Gemma模型构建Agent（智能体）应用。

https://github.com/google-gemma/gemma-skills

从推理到智能体，配套工具都在往前走。

从小巧的E4B到中间的12B，再到26B MoE，Gemma 4家族覆盖了从边缘设备到高性能服务器的完整需求。

12B在性能与资源的天平上找到了一个不错的平衡点，无编码器统一架构和原生音频输入，让本地多模态智能体的门槛又低了一截。你会拿它做什么？

参考资料：

https://blog.google/innovation-and-ai/technology/developers-tools/introducing-gemma-4-12B/

https://huggingface.co/google/gemma-4-12B