Loading...
训练模型

新Gemma

Gemma是什么 Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模...

标签:
广告也精彩
广告也精彩

Gemma是什么

Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型,基于与Gemini模型相同的技术,旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型:Gemma 2B 和 Gemma 7B,提供预训练和指令微调版本,支持多种框架,如JAX、PyTorch和TensorFlow,以在不同设备上高效运行。

新Gemma
新Gemma

Gemma的官方入口

  • Gemma的官网主页:https://ai.google.dev/gemma?hl=zh-cn
  • Gemma的Hugging Face模型:https://huggingface.co/models?search=google/gemma
  • Gemma的Kaggle模型地址:https://www.kaggle.com/models/google/gemma/code/
  • Gemma的技术报告:https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf
  • 官方PyTorch实现GitHub代码库:https://github.com/google/gemma_pytorch
  • Gemma的Google Colab运行地址:https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb

Gemma的主要特性

  • 轻量级架构:Gemma模型设计为轻量级,便于在多种计算环境中运行,包括个人电脑和工作站。
  • 开放模型:Gemma模型的权重是开放的,允许用户在遵守许可协议的情况下进行商业使用和分发。
  • 预训练与指令微调:提供预训练模型和经过指令微调的版本,后者通过人类反馈强化学习(RLHF)来确保模型行为的负责任性。
  • 多框架支持:Gemma支持JAX、PyTorch和TensorFlow等主要AI框架,通过Keras 3.0提供工具链,简化了推理和监督微调(SFT)过程。
  • 安全性与可靠性:在设计时,Gemma遵循Google的AI原则,使用自动化技术过滤训练数据中的敏感信息,并进行了一系列安全评估,包括红队测试和对抗性测试。
  • 性能优化:Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化,确保在不同设备上都能实现高性能。
  • 社区支持:Google提供了Kaggle、Colab等平台的免费资源,以及Google Cloud的积分,鼓励开发者和研究人员利用Gemma进行创新和研究。
  • 跨平台兼容性:Gemma模型可以在多种设备上运行,包括笔记本电脑、台式机、物联网设备和云端,支持广泛的AI功能。
  • 负责任的AI工具包:Google还发布了Responsible Generative AI Toolkit,帮助开发者构建安全和负责任的AI应用,包括安全分类器、调试工具和应用指南。

新Gemma
新Gemma

Gemma的技术要点

  • 模型架构:Gemma基于Transformer解码器构建,这是当前自然语言处理(NLP)领域最先进的模型架构之一。采用了多头注意力机制,允许模型在处理文本时同时关注多个部分。此外,Gemma还使用了旋转位置嵌入(RoPE)来代替绝对位置嵌入,以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活,以及在每个Transformer子层的输入和输出都进行了归一化处理。
  • 训练基础设施:Gemma模型在Google的TPUv5e上进行训练,这是一种专为机器学习设计的高性能计算平台。通过在多个Pod(芯片集群)上进行模型分片和数据复制,Gemma能够高效地利用分布式计算资源。
  • 预训练数据:Gemma模型在大量英语数据上进行预训练(2B模型大约2万亿个token的数据上预训练,而7B模型则基于6万亿个token),这些数据主要来自网络文档、数学和代码。预训练数据经过过滤,以减少不想要或不安全的内容,同时确保数据的多样性和质量。
  • 微调策略:Gemma模型通过监督式微调(SFT)和基于人类反馈的强化学习(RLHF)进行微调。这包括使用合成的文本对和人类生成的提示响应对,以及基于人类偏好数据训练的奖励模型。
  • 安全性和责任:Gemma在设计时考虑了模型的安全性和责任,包括在预训练阶段对数据进行过滤,以减少敏感信息和有害内容的风险。此外,Gemma还通过了一系列的安全性评估,包括自动化基准测试和人类评估,以确保模型在实际应用中的安全性。
  • 性能评估:Gemma在多个领域进行了广泛的性能评估,包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比,在MMLU、MBPP等18个基准测试中,有11个测试结果超越了Llama-13B或Mistral-7B等模型。
  • 开放性和可访问性:Gemma模型以开源的形式发布,提供了预训练和微调后的检查点,以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型,推动AI领域的创新。

常见问题

Gemma一词的含义是什么?
Gemma在拉丁语中的意思是“宝石”。
Gemma是开源的吗?
Gemma是开源开放的大模型,用户可在Hugging Face查看和下载其模型。
Gemma模型的参数量是多少?
Gemma目前提供20亿和70亿参数量的模型,后续还会推出新的变体。

数据统计

相关导航

新天壤小白
新天壤小白

天壤小白是什么? 天壤小白是天壤公司开发的一个通用大语言模型,它是一个基于互联网公开数据训练而成的人工智能模型,拥有高达1860亿个参数。这个模型采用了生成式架构,具备强大的语义理解和上下文感知能力,能够精准捕捉文本中的语义关联,并理解用户的指令和意图。 天壤小白应用开发平台是一个专为开发者设计的平台,旨在帮助用户轻松构建、管理和运营基于天壤小白大语言模型的AI应用。该平台利用天壤小白大模型,结合Embedding模型,允许用户通过编写自然语言的方式创建可信赖的商业级AI应用。平台提供了多种应用类型和使用方式,以适应不同的业务场景。 天壤小白应用开发平台的主要功能 应用创建与管理:用户可以创建不同类型的AI应用,包括文本生成型、对话型、搜索型和工作流应用。平台提供了一个直观的界面,让用户能够轻松设置应用的图标、名称和类型。 灵活的模型配置:平台提供了多种版本的天壤小白大语言模型,用户可以根据应用需求选择合适的模型。同时,用户还可以配置模型参数,如模型版本、输入输出长度限制等。 提示词与上下文管理:用户可以设计提示词来指导AI模型生成特定的输出,同时管理上下文信息,确保AI应用在对话中保持连贯性。 敏感词检测:为了确保内容的安全性,平台支持敏感词检测功能,用户可以设置敏感词列表,AI在生成内容时会自动过滤这些词汇。 API调用:平台提供了友好的API接口,开发者可以通过API将AI能力集成到自己的应用中,实现后端或前端的直接调用。 Web App在线访问:用户可以创建Web App,通过链接直接访问AI应用,无需复杂的部署过程。 数据分析:平台提供了应用的数据分析功能,包括用量统计、活跃用户数、用户满意度等,帮助开发者了解应用的表现并进行优化。 文档集功能:支持上传和解析多种格式的文档,如Excel、CSV、JSON等,以及图片和PDF文件,通过OCR技术提取文字。这些文档可以作为AI应用的知识库,提高回答的准确性和相关性。 结构化文档支持:用户可以上传结构化文档,并设置召回字段,使得AI应用能够更准确地理解和回应基于特定字段的查询。

暂无评论

暂无评论...