Gemma 2是Google推出的轻量级开源大模型系列,参数规模从2B到27B不等。为了降低使用门槛,Google同时更新了基于Keras NLP的微调工具。
核心变化:Keras NLP现在内置了Gemma的Tokenizer和模型架构,支持仅需几行代码完成加载和微调。例如,使用keras_nlp.models.Gemma3CausalLM.from_preset("gemma2_2b_en")即可获得预训练模型。
分布式训练方面,JAX生态的优化使得在TPU和GPU上的训练效率提升了约40%,尤其适用于长序列处理。Flax新增了Lora插件,支持低秩适配微调,大幅降低显存需求。
量化部署:Google推出了Gemma专用的量化工具包,支持INT8和FP8精度,在不损失太多精度的情况下将模型体积缩小4倍。该工具包可以导出为TFLite和ONNX格式。
对比Hugging Face:Gemma的工具链更紧密集成Google Cloud,适合已在GCP部署的团队。但Hugging Face的社区模型更丰富,且支持跨平台。开发者可以根据基础设施和生态偏好选择。
需要注意:Gemma 2使用了新的分词器,与之前的Gemma不兼容,模型迁移时需重新处理数据。