LLaMA

AI机器学习标注训练平台

简单免费的机器学习模型训练工具

Gemma是什么 Gemma是由谷歌DeepMind和谷歌的其他团队开发的一系列轻量级、先进的开放AI模型，基于与Gemini模型相同的技术，旨在帮助开发者和研究人员构建负责任的AI应用。Gemma模型系列包括两种权重规模的模型：Gemma 2B 和 Gemma 7B，提供预训练和指令微调版本，支持多种框架，如JAX、PyTorch和TensorFlow，以在不同设备上高效运行。 Gemma的官方入口 Gemma的官网主页：https://ai.google.dev/gemma?hl=zh-cn Gemma的Hugging Face模型：https://huggingface.co/models?search=google/gemma Gemma的Kaggle模型地址：https://www.kaggle.com/models/google/gemma/code/ Gemma的技术报告：https://storage.googleapis.com/deepmind-media/gemma/gemma-report.pdf 官方PyTorch实现GitHub代码库：https://github.com/google/gemma_pytorch Gemma的Google Colab运行地址：https://colab.research.google.com/github/google/generative-ai-docs/blob/main/site/en/gemma/docs/lora_tuning.ipynb Gemma的主要特性 轻量级架构：Gemma模型设计为轻量级，便于在多种计算环境中运行，包括个人电脑和工作站。 开放模型：Gemma模型的权重是开放的，允许用户在遵守许可协议的情况下进行商业使用和分发。 预训练与指令微调：提供预训练模型和经过指令微调的版本，后者通过人类反馈强化学习（RLHF）来确保模型行为的负责任性。 多框架支持：Gemma支持JAX、PyTorch和TensorFlow等主要AI框架，通过Keras 3.0提供工具链，简化了推理和监督微调（SFT）过程。 安全性与可靠性：在设计时，Gemma遵循Google的AI原则，使用自动化技术过滤训练数据中的敏感信息，并进行了一系列安全评估，包括红队测试和对抗性测试。 性能优化：Gemma模型针对NVIDIA GPU和Google Cloud TPUs等硬件平台进行了优化，确保在不同设备上都能实现高性能。 社区支持：Google提供了Kaggle、Colab等平台的免费资源，以及Google Cloud的积分，鼓励开发者和研究人员利用Gemma进行创新和研究。 跨平台兼容性：Gemma模型可以在多种设备上运行，包括笔记本电脑、台式机、物联网设备和云端，支持广泛的AI功能。 负责任的AI工具包：Google还发布了Responsible Generative AI Toolkit，帮助开发者构建安全和负责任的AI应用，包括安全分类器、调试工具和应用指南。 Gemma的技术要点 模型架构：Gemma基于Transformer解码器构建，这是当前自然语言处理（NLP）领域最先进的模型架构之一。采用了多头注意力机制，允许模型在处理文本时同时关注多个部分。此外，Gemma还使用了旋转位置嵌入（RoPE）来代替绝对位置嵌入，以减少模型大小并提高效率。GeGLU激活函数取代了标准的ReLU非线性激活，以及在每个Transformer子层的输入和输出都进行了归一化处理。 训练基础设施：Gemma模型在Google的TPUv5e上进行训练，这是一种专为机器学习设计的高性能计算平台。通过在多个Pod（芯片集群）上进行模型分片和数据复制，Gemma能够高效地利用分布式计算资源。 预训练数据：Gemma模型在大量英语数据上进行预训练（2B模型大约2万亿个token的数据上预训练，而7B模型则基于6万亿个token），这些数据主要来自网络文档、数学和代码。预训练数据经过过滤，以减少不想要或不安全的内容，同时确保数据的多样性和质量。 微调策略：Gemma模型通过监督式微调（SFT）和基于人类反馈的强化学习（RLHF）进行微调。这包括使用合成的文本对和人类生成的提示响应对，以及基于人类偏好数据训练的奖励模型。 安全性和责任：Gemma在设计时考虑了模型的安全性和责任，包括在预训练阶段对数据进行过滤，以减少敏感信息和有害内容的风险。此外，Gemma还通过了一系列的安全性评估，包括自动化基准测试和人类评估，以确保模型在实际应用中的安全性。 性能评估：Gemma在多个领域进行了广泛的性能评估，包括问答、常识推理、数学和科学问题解答以及编码任务。Gemma模型与同样规模或更大规模的开放模型进行了性能对比，在MMLU、MBPP等18个基准测试中，有11个测试结果超越了Llama-13B或Mistral-7B等模型。 开放性和可访问性：Gemma模型以开源的形式发布，提供了预训练和微调后的检查点，以及推理和部署的开源代码库。这使得研究人员和开发者能够访问和利用这些先进的语言模型，推动AI领域的创新。 常见问题 Gemma一词的含义是什么？ Gemma在拉丁语中的意思是“宝石”。 Gemma是开源的吗？ Gemma是开源开放的大模型，用户可在Hugging Face查看和下载其模型。 Gemma模型的参数量是多少？ Gemma目前提供20亿和70亿参数量的模型，后续还会推出新的变体。

Watsonx.ai是IBM于5月9日发布的新一代企业级生成式人工智能和机器学习平台，Watsonx.ai将由基础模型驱动的新的生成性人工智能和传统的机器学习结合起来，成为一个跨越人工智能生命周期的强大平台。使用Watsonx.ai，开发人员可以轻松地训练、验证、调整和部署模型，只需用一小部分数据在短期时间内快速建立人工智能应用。预计Watsonx.ai将在7月全面上市。

Runway最新推出的AI视频生成模型

PaLM（Pathways Language Model） 是一种大型语言模型，即 LLM，类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM，超过了5400亿个训练参数。与其他 LLM 一样，PaLM 是一个灵活的系统，可以执行各种文本生成和编辑任务。例如，你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人，或者你可以将它用于诸如总结文本甚至编写代码等任务。（这类似于谷歌今天也为其 Workspace 应用程序（如 Google Docs 和 Gmail）宣布的功能。） 在 2023 谷歌 I/O 大会上，谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2，并正式发布预览版本，改进了数学、代码、推理、多语言翻译和自然语言生成能力。 谷歌将为 PaLM 2 提供四种不同大小的版本，从最小到最大：Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧，可以在移动设备上工作，并且速度足够快，即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调，以更多方式支持整个类别的产品，从而帮助更多人。 PaLM 2的特性 PaLM 2 是谷歌的下一代大语言模型，具有改进的多语言、推理和编码能力。 多语言性： PaLM 2 在多语言文本方面接受了更多的训练，涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本（包括成语、诗歌和谜语）的能力，这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。 推理： PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此，它展示了逻辑、常识推理和数学方面的改进能力。 编程： PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言，但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。

Coze是由字节跳动在海外推出的一个AI聊天机器人和应用程序编辑开发平台，可以理解为字节跳动版的GPTs。无论用户是否有编程经验，都可以通过该平台快速创建各种类型的聊天机器人、智能体、AI应用和插件，并将其部署在社交平台和即时聊天应用程序中，如Discord、WhatsApp、Twitter。 有意思的地方在于，目前Coze提供的是基于OpenAI GPT-4和GPT-3.5的API来创建和使用AI聊天机器人，并未使用自研的云雀大模型。而此前媒体报道字节将于12月底推出一个开放平台并开启公测，允许用户自主创建自定义聊天机器人。如同此前推出的聊天机器人豆包国际版为Cici，后续字节可能推出一个国内版本的Coze，或许会采用云雀大模型的能力。 Coze的主要功能 丰富的插件工具：该平台目前包含 60 多个不同的插件，包括新闻阅读、旅行计划、生产力工具、图像理解 API 和多模态模型 知识库调取和管理：Coze提供易于使用的知识库功能，使 AI 能够与用户自己的数据（如PDF、网页文本）进行交互。可以存储和管理知识中的数据 长期记忆能力：提供便捷的数据库存储能力，可以让 AI 机器人持久记住对话中的关键参数或内容 定时计划任务：通过计划任务功能，用户可以使用自然语言轻松创建复杂的任务，创建好的机器人会准时发送相应的消息内容。 工作流程自动化：轻松创建一个工作流程将创意想法转换为机器人技能，如收集电影评论、起草行业研究报告等 预览和调试：机器人开发完成后，可以发送消息来查看机器人的响应，并根据知识搜索结果和工具响应来排查问题 如何使用Coze创建机器人 访问Coze的官网（coze.com），点击Get started登录/注册账号 选择侧边栏的Bots菜单，点击Create bot，然后添加机器人Logo、名称、描述信息 然后在Persona & Prompt输入框中输入机器人角色和提示词，右侧可预览和调试输出信息 测试无误后可点击右上角的Publish发布创建好的机器人 Coze的适用人群 开发人员：专注于为特定任务调整AI模型和提示词，而不是花费大量时间进行初始开发 企业公司：通过将AI机器人集成到内部程序如客户支持系统、内容创作工具和推荐引擎中，开发创新的应用和服务 研究人员：利用该平台作为实验工具进行各种研究任务，探索自然语言生成和理解 AI爱好者：免费的GPT API，创建自定义机器人用于日常生活、学习和工作中 常见问题 Coze支持哪些大模型？ Coze目前支持通过GPT-3.5和GPT-4模型来构建AI机器人。 Coze是免费的吗？ Coze目前是免费向用户开放的，暂未推出付费版本。 Coze创建的机器人可以发布到哪些平台？ Coze目前支持将创建好的机器人发布到Discord和Cici，后续将支持WhatsApp和Twitter。