昇思MindSpore

Caffe（Convolutional Architecture for Fast Feature Embedding）(快速特征嵌入的卷积架构)是一个开源的深度学习框架，最初由加州大学伯克利分校的Yangqing Jia开发。 2017年4月，Facebook发布了Caffe2，其中包含了递归神经网络（RNN）等新功能。2018年3月底，Caffe2被并入PyTorch。

豆包大模型是什么 豆包大模型是字节跳动推出的AI大模型家族，包括 豆包PixelDance、豆包Seaweed 视频生成、文生图、图生图、同声传译、角色扮演、语音合成、声音复刻、语音识别、Function Call和向量化等多个模型。豆包大模型具备强大的语言理解、生成和逻辑能力，能进行个性化创作、情绪丰富的语音合成、高精度语音识别、多风格图像生成和顶级的视频生成。豆包大模型通过火山引擎提供服务，支持企业和开发者构建智能化应用，推动AI技术在多种业务场景中的落地。 豆包大模型的性能在多个评测中表现优异，例如在包括MMLU、BBH、GSM8K和HumanEval在内的11个业界公认的基准测试集中，Doubao-pro-4k模型的总体得分达到了76.8分，在代码能力、专业知识和指令遵循等方面的显著进步。 豆包大模型的主要功能 通用模型：字节跳动自研LLM模型，支持128K长文本，全系列可精调，具备更强的理解、生成、逻辑等综合能力，适配问答、总结、创作、分类等丰富场景。 视频生成：通过精准语义理解、强大动态及运镜能力创作高质量视频，支持文本和图片生成两种模式。 角色扮演：创作个性化角色，具备上下文感知和剧情推动能力，适合虚拟互动和故事创作。 语音合成：生成自然生动的语音，能表达多种情绪，适用于文本到语音转换。 声音复刻：快速克隆声音，高度还原音色和自然度，支持跨语种迁移，用于个性化语音合成。 语音识别：准确识别和转录语音，支持多语种，适用于语音命令和转录服务。 文生图：将文本转换为图像，擅长图文匹配和中国文化元素创作，用于图像生成和视觉内容创作。 图生图：基于现有图像生成新图像，支持风格变换、扩图、重绘和涂抹等创意操作。 同声传译：提供超低延时且自然高质量的实时翻译，支持跨语言同音色翻译，打破沟通中的语言壁垒。 Function Call：准确识别和抽取功能参数，适合复杂工具调用和智能交互。 向量化：提供向量检索能力，支持LLM知识库的核心理解，适用于多语言处理。 豆包大模型的功能特点 豆包通用模型Pro：字节跳动自研的高级语言模型，支持128K长文本处理，适用于问答、总结、创作等多种场景。 豆包通用模型Lite：轻量级语言模型，提供更低的成本和延迟，适合预算有限的企业使用。 豆包·视频生成模型：利用先进的语义理解技术，将文本和图片转化为引人入胜的高质量视频内容。 豆包·语言识别模型：具备高准确率和灵敏度，能够快速准确地识别和转写多种语言的语音。 豆包·Function Call模型：专为复杂工具调用设计，提供精确的功能识别和参数抽取能力。 豆包·文生图模型：将文字描述转化为精美图像，尤其擅长捕捉和表现中国文化元素。 豆包·语音合成模型：能够合成自然、生动的语音，表达丰富的情感和场景。 豆包·向量化模型：专注于向量检索，为知识库提供核心理解能力，支持多种语言。 豆包·声音复刻模型：仅需5秒即可实现声音的1:1克隆，提供高度相似的音色和自然度。 豆包·同声传译模型：实现超低延迟的实时翻译，支持跨语言同音色翻译，消除语言障碍。 豆包·角色扮演模型：具备个性化角色创作能力，能够根据上下文感知和剧情推动进行灵活的角色扮演。 豆包大模型的产品官网 产品官网：volcengine.com/product/doubao 如何使用豆包大模型 确定需求：明确项目或业务需求，比如是否需要文本生成、语音识别、图像创作、视频生成等。 选择合适的模型：根据需求选择合适的豆包大模型，例如文生图模型、语音合成、视频生成模型等。 注册和访问火山引擎：访问火山引擎官网注册账户，是字节跳动的云服务平台，提供豆包大模型的服务。 申请访问权限：在火山引擎平台上申请使用豆包大模型的权限，填写相关信息和使用场景。 API接入：获取相应的API接口信息，包括API的端点、请求方法和必要的认证信息。 开发和测试：根据API文档开发应用程序，将豆包大模型集成到你的业务流程中。进行充分测试，确保模型的输出符合预期。 部署应用：在测试无误后，将集成了豆包大模型的应用部署到生产环境。 监控和优化：监控应用的性能和模型的效果，根据反馈进行优化。 豆包大模型的产品定价 大语言模型 按tokens使用量付费： Doubao-lite-4k（包括分支版本lite-character）：上下文长度4K、输入0.0003元/千tokens、输出0.0003元/千tokens、后付费、免费额度50万tokens。 Doubao-lite-32k：上下文长度32K、输入0.0003元/千tokens、输出0.0006元/千tokens后付费、免费额度50万tokens。 Doubao-lite-128k：上下文长度128K、输入0.0008元/千tokens、输出0.0010元/千tokens后付费、免费额度50万tokens。 Doubao-pro-4k（包括分支版本pro-character、pro-functioncall）：上下文长度4K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。 Doubao-pro-32k：上下文长度32K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。 Doubao-pro-128k：上下文长度128K、输入0.0050元/千tokens、输出0.0090元/千tokens后付费、免费额度50万tokens。 按模型单元付费：独占的算力资源，更加独立可控 Doubao-lite-4k、Doubao-lite-32k：可承载性能（TPS）3000、按小时60元/个、包月28000元/个。 Doubao-lite-128k：可承载性能（TPS）4500、按小时240元/个、包月112000元/个。 Doubao-pro-4k、Doubao-pro-32k：可承载性能（TPS）3200、按小时160元/个、包月80000元/个。 Doubao-pro-128k：可承载性能（TPS）3500、按小时1200元/个、包月550000元/个。 视觉模型 豆包-文生图模型-智能绘图：推理服务、0.2元/次、后付费、免费额度200次。 语音大模型 Doubao-语音合成：推理服务、5元/万字符、后付费、免费额度5000字符。 Doubao-声音复刻：推理服务、8元/万字符、后付费、免费额度5000字符。 向量模型 Doubao-embedding：最长输入长度4K、输入0.0005元/千tokens、后付费、免费50万tokens。 模型精调 按tokens使用量（训练文本*训练迭代次数）计费，训练完成后出账。 Doubao-lite-4k、Doubao-lite-32k、Doubao-lite-128k：LoRA定价0.03元/千tokens、后付费。 Doubao-pro-4k、Doubao-pro-32k、Doubao-pro-128k：LoRA定价0.05元/千tokens、后付费。 更多模型及定价信息，可访问豆包大模型官网获取最新信息。 豆包大模型的应用场景 内容创作与媒体：使用文生图、图生图、视频生成模型生成文章配图、漫画、海报、短视频等视觉内容。语音合成模型为视频、动画制作配音。 客户服务：通过角色扮演模型提供虚拟客服和聊天机器人服务。使用语音识别和语音合成模型改善语音客服系统。 教育与培训：文生图模型辅助教学材料的制作，如生成教学插图。角色扮演模型创建个性化学习体验和虚拟教师。 娱乐与游戏：在游戏中使用角色扮演模型创建非玩家角色（NPC）的对话和行为。用语音合成模型为游戏角色提供自然的语言交流。 智能助手：结合语音识别和语音合成模型，开发智能个人助理。用文生图模型生成个性化的推荐内容。 市场与广告：用文生图模型自动生成广告创意和营销素材。用通用模型分析消费者反馈，优化广告文案。 企业自动化：通过Function Call模型自动化复杂的工作流程和工具调用。用向量化模型进行高效的信息检索和知识管理。 搜索与推荐：用向量化模型改善搜索引擎的准确性和响应速度。结合通用模型为用户推荐相关内容或产品。 法律与金融：用通用模型进行合同分析、案件研究和合规检查。用语音识别模型转录会议记录和访谈内容。

Leap 提供简单易用的API和SDK，帮助开发人员在几分钟内将人工智能添加到自己的应用程序中，如生成图像、编辑图像、微调模型、检索文本上下文等。 Leap 可以在不编写/少量编写代码的情况下与5000多个应用程序集成。该工具提供Javascript、Python和cURL的API，用户可以通过注册免费试用帐户来试用Leap的功能。 Leap的特色功能 多合一AI功能的API。一个平台的API，用于图像、文本、视频等AI功能实现，无需在单个API之间切换。 内置测试和试玩工作台。在浏览器中使用Leap提供的人工智能模型，然后再将其集成到自己的应用程序中。 与任何应用程序集成。通过提供的Zapier集成，无需编程，便可以将Leap连接到3000多个应用程序。 微调训练自定义模型。使用其Dreambooth微调仪表板和API，可训练自定义的模型，无论是人、宠物、对象或自定义风格。 Leap的产品价格 Leap 的产品定价很简单，提供免费的基础套餐和付费套餐允许用户访问其他高级功能、无限制使用和访问高级队列。 免费套餐 图像生成：在标准队列中生成 100 张图像。 付费套餐 图像生成：每张图像支付 0.005 美元（高级队列）。 模型微调：为每个经过训练的模型版本支付 2 美元（高级队列） 混合图像：每张图片支付 0.01 美元（高级队列）

GoogleJAX是一个用于变换数值函数的机器学习框架，Google称其为为结合了修改版本的Autograd（通过函数微分自动获得梯度函数）和TensorFlow的XLA（加速线性代数）。该框架的设计尽可能遵循NumPy的结构和工作流程，并与TensorFlow和PyTorch等各种现有框架协同工作。 JAX的主要功能是包括： grad：自动微分 jit：编译 vmap：自动矢量化 pmap：SPMD编程

芝士饼是什么 芝士饼是蚂蚁集团（支付宝）推出的一站式 AI 原生应用开发平台，无需任何代码基础，只需通过自然语言，简单几步即可完成应用的创建与发布。芝士饼集成了多种主流大模型，如通义千问、月之暗面等。芝士饼不仅可以帮你轻松创建各类智能体（Agent），支持一键发布到支付宝小程序，还能发布到其他平台，释放无限可能！ 芝士饼的主要功能 0代码开发：用户无需编写代码即可快速搭建AI应用，目前支持对话型、文本型、文生图、图生图和工作流应用。提供配置/编辑应用的能力，可以设置新建 AI 应用时使用的模型、对应的提示词和应用配置参数等信息。 主流大模型集成：平台提供了包括通义千问、月之暗面等在内的一系列主流AI大模型，供用户选择和使用，支持各种AI应用的开发。 应用广场：芝士饼应用广场可以体验各类推荐应用，同时还能克隆这些应用，定制专属于自己的 AI 应用。 应用分发：AI应用支持发布到支付宝小程序、芝士饼应用广场、Web 应用，允许外部用户访问。 知识库：提供了一种直观且用户友好的方式来管理和存储数据，AI 应用能用你自己专属的数据，让机器人使用上传的数据，来回答用户的查询。 模型训练：支持图像大模型，训练自己的专属模型。上传训练数据集，预置训练参数，AI 自动打标，支持模型效果测试，进行优化调整。 个性化定制：用户可以根据需要定制AI应用的性格特点、语言风格等，打造具有个性化特征的AI产品。 芝士饼可以构建哪些应用 对话型应用：对话型应用采用一问一答的模式与用户持续对话。对话型应用可以用在客户服务、在线教育、医疗保健、金融服务等领域，帮助组织提高工作效率、减少人工成本和提供更好的用户体验。 文本型应用：文本型应用是指根据用户提供的信息自动生成高质量文本，例如文章摘要、翻译、新闻媒体、广告、SEO、市场营销等，为行业提供高效、快速的文本生成服务。 文生图型应用：文生图型应用可以根据你输入或选择的文字信息，应用可以自动生成相关图片。文生图型应用提供专业的图像模型生成能力，可以帮你轻松构建应用，如 AI 卡通头像、 AI 营销海报等。 图生图型应用：图生图型应用是指构建的 AI 应用支持用户输入文字的同时，也输入图片，以此综合生成图片。 工作流应用：工作流是指通过可视化的方式，对文本大模型、知识库等功能进行组合，从而实现复杂、稳定的业务流程编排，例如旅行规划、报告分析等。 如何使用芝士饼 产品官网：访问芝士饼官网 knowledgepie.cloud ，注册登录。 选择模板：登录后，可以浏览平台提供的各种AI应用模板。根据需求选择合适的模板作为起点。 定制智能体：选择模板后，可以定制智能体的人设、语言风格、性格特点等，符合品牌或产品定位。 使用AI大模型：芝士饼提供多种主流AI大模型供选择。可以根据应用需求选择合适的模型来增强智能体功能。 0代码搭建：利用平台的0代码特性，通过图形界面拖拽组件、设置参数等方式，快速搭建AI应用。 测试和调整：在搭建过程中，可以不断测试智能体的表现，并根据测试结果进行调整，优化用户体验。 发布应用：完成搭建和测试后，可以一键将AI应用发布到支付宝小程序或其他平台，供用户使用。 芝士饼的应用场景 支付宝小程序开发：用户可以利用芝士饼快速开发支付宝小程序，涵盖电商、服务、娱乐等多个领域。 智能客服：创建智能客服系统，提供24/7的自动化客户支持，处理常见问题和用户咨询。 内容创作辅助：辅助用户进行内容创作，如自动生成文章、设计图像或音乐等创意作品。 教育和培训：开发智能教育应用，提供个性化学习体验，包括语言学习、技能培训等。 健康管理：构建健康咨询和管理应用，提供饮食建议、运动计划和健康监测。 企业自动化：为企业提供自动化解决方案，如自动化报告生成、数据分析和业务流程优化。

Python版本的TensorFlow深度学习API

MLX是由苹果的机器学习研究团队推出的用于机器学习的阵列框架，该开源框架专为 Apple Silicon 芯片而设计优化，从NumPy、PyTorch、Jax和ArrayFire等框架中吸取灵感，提供简单友好的使用方法，帮助开发人员在苹果M系列芯片上有效地开发、训练和部署模型。 MLX的主要功能 熟悉的 API：MLX 有一个紧随 NumPy 的 Python API。MLX 还拥有功能齐全的 C++ API，与 Python API 非常相似。 可组合的函数转换：MLX 支持用于自动微分、自动向量化和计算图优化的可组合函数转换。 惰性计算：MLX 中的计算是惰性计算，数组仅在需要时才会具体化。 动态图构建：MLX 中的计算图是动态构建的。更改函数参数的形状不会触发缓慢的编译，并且调试简单直观。 多设备：可以在任何支持的设备（CPU 和 GPU）上运行。 统一内存：MLX 和其他框架的主要区别在于统一内存模型，阵列共享内存。MLX 上的操作可以在任何支持的设备类型上运行，无需移动数据。