原来是谷歌Open了AI？

　　近日，Google悄然发布了自己的开源大模型——Gemma，这是一款能在用户笔记本电脑上运行的大模型，引发了广泛关注。

最强的开源模型

　　Gemma模型包括两种权重规模，分别是“Gemma 2B”和“Gemma 7B”，分别对应20亿参数和70亿参数版本。在涵盖语言理解、推理、数学、编程的8项基准测试中，Gemma（7B）在性能上超越了LLaMA 2（7B）、LLaMA 2（13B）和Mistral（7B），仅在语言理解上稍逊于LLaMA 2（13B）。

　　Google对Gemma模型进行了大量的微调和人类反馈强化学习，以降低模型带来的风险。经过指令微调的Gemma-2B IT和Gemma-7B IT模型，在人类偏好评估中都超过了Mistral-7B v0.2模型。特别是Gemma-7B IT模型，它在理解和执行具体指令方面表现出色，与Google负责任的AI目标对齐。

　　此外，Gemma模型还提供了预训练和指令微调变体，并强调其开源模型的安全性。用户可以通过Colab和Kaggle notebooks，以及与Hugging Face、MaxText、NVIDIA NeMo和TensorRT-LLM等流行工具集成，轻松部署在资源有限的环境中，如笔记本电脑、台式机、Google Cloud等。

大模型怎么还分“开”和“闭”

　　这一轮生成式AI浪潮由ChatGPT掀起，对大模型的普及和加速，OpenAI的贡献最大。然而，一些声音认为，名为“Open”的模型正变得越来越封闭。Meta、Mistral因开源赢得了不少赞誉。开源是一种“众人拾柴火焰高”的策略，一个开放的生态系统能吸引开发者加入，他们的生产力“反哺”到模型本身。

　　对于Meta开源的LLaMA 2，Yann LeCun表示：“这将改变大模型市场的格局。”斯坦福大学基金会模型研究中心主任Percy Liang也表示：“对于许多应用场景来说，你不需要GPT-4，一个更可定制、更透明的模型——比如Llama 2，可能会帮助公司更快地创造产品和服务。”

　　Gemma（7B）用到6万亿Token，效果和Mistral 7B差不多。这再次证明，数据质量足够好（如Google所说Gemma数据集以数学、代码数据为主），小模型的能力仍然能够持续提升。

　　关于开源与闭源的争论，分歧的声音认为闭源的优势在于可控性和知识产权保护。然而，开源让模型受到公众监督，更加安全。这一路线的分歧来自各自的商业逻辑。无论如何，Google开源Gemma为开发者提供了更多选择，为大模型的开源生态注入了一股新鲜活力。

谷歌曾经Open了哪些AI？

　　纵观Google的历史，其为AI开放开源做出了诸多贡献。首先是Transformers，在“谷歌大脑”于2017年的一篇论文中最先提出（Attention Is All You Need），很快成为自然语言处理和电脑视觉领域的主流方案。目前我们谈论的这些“生成式AI大模型”，几乎都是以Transformers为基础的。

　　其次是TensorFlow，这是一个由“谷歌大脑”团队开发的开源机器学习平台，于2015年首次发布，迅速成为各类“含AI应用”开发者们最常用的创作平台。谷歌还专门为TensorFlow开发了一款“人工智能加速处理器”，TPU。

　　此外，JAX是谷歌开发并开放的一种Python机器学习框架；AlphaFold是一个用来预测蛋白质结构的工具，也属于一种深度学习系统。最早由谷歌在2018年发布，并在2020年更新了第二代版本。在新冠疫情期间，AlphaFold对新冠病毒蛋白质结构的研究起到了重要作用。

　　如今，Google再次推出Gemma模型，抢先了Llama 3。接下来，Meta将会如何应对这一挑战，值得拭目以待。