新魔乐社区

豆包大模型是什么 豆包大模型是字节跳动推出的AI大模型家族，包括 豆包PixelDance、豆包Seaweed 视频生成、文生图、图生图、同声传译、角色扮演、语音合成、声音复刻、语音识别、Function Call和向量化等多个模型。豆包大模型具备强大的语言理解、生成和逻辑能力，能进行个性化创作、情绪丰富的语音合成、高精度语音识别、多风格图像生成和顶级的视频生成。豆包大模型通过火山引擎提供服务，支持企业和开发者构建智能化应用，推动AI技术在多种业务场景中的落地。 豆包大模型的性能在多个评测中表现优异，例如在包括MMLU、BBH、GSM8K和HumanEval在内的11个业界公认的基准测试集中，Doubao-pro-4k模型的总体得分达到了76.8分，在代码能力、专业知识和指令遵循等方面的显著进步。 豆包大模型的主要功能 通用模型：字节跳动自研LLM模型，支持128K长文本，全系列可精调，具备更强的理解、生成、逻辑等综合能力，适配问答、总结、创作、分类等丰富场景。 视频生成：通过精准语义理解、强大动态及运镜能力创作高质量视频，支持文本和图片生成两种模式。 角色扮演：创作个性化角色，具备上下文感知和剧情推动能力，适合虚拟互动和故事创作。 语音合成：生成自然生动的语音，能表达多种情绪，适用于文本到语音转换。 声音复刻：快速克隆声音，高度还原音色和自然度，支持跨语种迁移，用于个性化语音合成。 语音识别：准确识别和转录语音，支持多语种，适用于语音命令和转录服务。 文生图：将文本转换为图像，擅长图文匹配和中国文化元素创作，用于图像生成和视觉内容创作。 图生图：基于现有图像生成新图像，支持风格变换、扩图、重绘和涂抹等创意操作。 同声传译：提供超低延时且自然高质量的实时翻译，支持跨语言同音色翻译，打破沟通中的语言壁垒。 Function Call：准确识别和抽取功能参数，适合复杂工具调用和智能交互。 向量化：提供向量检索能力，支持LLM知识库的核心理解，适用于多语言处理。 豆包大模型的功能特点 豆包通用模型Pro：字节跳动自研的高级语言模型，支持128K长文本处理，适用于问答、总结、创作等多种场景。 豆包通用模型Lite：轻量级语言模型，提供更低的成本和延迟，适合预算有限的企业使用。 豆包·视频生成模型：利用先进的语义理解技术，将文本和图片转化为引人入胜的高质量视频内容。 豆包·语言识别模型：具备高准确率和灵敏度，能够快速准确地识别和转写多种语言的语音。 豆包·Function Call模型：专为复杂工具调用设计，提供精确的功能识别和参数抽取能力。 豆包·文生图模型：将文字描述转化为精美图像，尤其擅长捕捉和表现中国文化元素。 豆包·语音合成模型：能够合成自然、生动的语音，表达丰富的情感和场景。 豆包·向量化模型：专注于向量检索，为知识库提供核心理解能力，支持多种语言。 豆包·声音复刻模型：仅需5秒即可实现声音的1:1克隆，提供高度相似的音色和自然度。 豆包·同声传译模型：实现超低延迟的实时翻译，支持跨语言同音色翻译，消除语言障碍。 豆包·角色扮演模型：具备个性化角色创作能力，能够根据上下文感知和剧情推动进行灵活的角色扮演。 豆包大模型的产品官网 产品官网：volcengine.com/product/doubao 如何使用豆包大模型 确定需求：明确项目或业务需求，比如是否需要文本生成、语音识别、图像创作、视频生成等。 选择合适的模型：根据需求选择合适的豆包大模型，例如文生图模型、语音合成、视频生成模型等。 注册和访问火山引擎：访问火山引擎官网注册账户，是字节跳动的云服务平台，提供豆包大模型的服务。 申请访问权限：在火山引擎平台上申请使用豆包大模型的权限，填写相关信息和使用场景。 API接入：获取相应的API接口信息，包括API的端点、请求方法和必要的认证信息。 开发和测试：根据API文档开发应用程序，将豆包大模型集成到你的业务流程中。进行充分测试，确保模型的输出符合预期。 部署应用：在测试无误后，将集成了豆包大模型的应用部署到生产环境。 监控和优化：监控应用的性能和模型的效果，根据反馈进行优化。 豆包大模型的产品定价 大语言模型 按tokens使用量付费： Doubao-lite-4k（包括分支版本lite-character）：上下文长度4K、输入0.0003元/千tokens、输出0.0003元/千tokens、后付费、免费额度50万tokens。 Doubao-lite-32k：上下文长度32K、输入0.0003元/千tokens、输出0.0006元/千tokens后付费、免费额度50万tokens。 Doubao-lite-128k：上下文长度128K、输入0.0008元/千tokens、输出0.0010元/千tokens后付费、免费额度50万tokens。 Doubao-pro-4k（包括分支版本pro-character、pro-functioncall）：上下文长度4K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。 Doubao-pro-32k：上下文长度32K、输入0.0008元/千tokens、输出0.0020元/千tokens后付费、免费额度50万tokens。 Doubao-pro-128k：上下文长度128K、输入0.0050元/千tokens、输出0.0090元/千tokens后付费、免费额度50万tokens。 按模型单元付费：独占的算力资源，更加独立可控 Doubao-lite-4k、Doubao-lite-32k：可承载性能（TPS）3000、按小时60元/个、包月28000元/个。 Doubao-lite-128k：可承载性能（TPS）4500、按小时240元/个、包月112000元/个。 Doubao-pro-4k、Doubao-pro-32k：可承载性能（TPS）3200、按小时160元/个、包月80000元/个。 Doubao-pro-128k：可承载性能（TPS）3500、按小时1200元/个、包月550000元/个。 视觉模型 豆包-文生图模型-智能绘图：推理服务、0.2元/次、后付费、免费额度200次。 语音大模型 Doubao-语音合成：推理服务、5元/万字符、后付费、免费额度5000字符。 Doubao-声音复刻：推理服务、8元/万字符、后付费、免费额度5000字符。 向量模型 Doubao-embedding：最长输入长度4K、输入0.0005元/千tokens、后付费、免费50万tokens。 模型精调 按tokens使用量（训练文本*训练迭代次数）计费，训练完成后出账。 Doubao-lite-4k、Doubao-lite-32k、Doubao-lite-128k：LoRA定价0.03元/千tokens、后付费。 Doubao-pro-4k、Doubao-pro-32k、Doubao-pro-128k：LoRA定价0.05元/千tokens、后付费。 更多模型及定价信息，可访问豆包大模型官网获取最新信息。 豆包大模型的应用场景 内容创作与媒体：使用文生图、图生图、视频生成模型生成文章配图、漫画、海报、短视频等视觉内容。语音合成模型为视频、动画制作配音。 客户服务：通过角色扮演模型提供虚拟客服和聊天机器人服务。使用语音识别和语音合成模型改善语音客服系统。 教育与培训：文生图模型辅助教学材料的制作，如生成教学插图。角色扮演模型创建个性化学习体验和虚拟教师。 娱乐与游戏：在游戏中使用角色扮演模型创建非玩家角色（NPC）的对话和行为。用语音合成模型为游戏角色提供自然的语言交流。 智能助手：结合语音识别和语音合成模型，开发智能个人助理。用文生图模型生成个性化的推荐内容。 市场与广告：用文生图模型自动生成广告创意和营销素材。用通用模型分析消费者反馈，优化广告文案。 企业自动化：通过Function Call模型自动化复杂的工作流程和工具调用。用向量化模型进行高效的信息检索和知识管理。 搜索与推荐：用向量化模型改善搜索引擎的准确性和响应速度。结合通用模型为用户推荐相关内容或产品。 法律与金融：用通用模型进行合同分析、案件研究和合规检查。用语音识别模型转录会议记录和访谈内容。

SkyAgents是什么 SkyAgents 是昆仑万维推出的 AI Agent 开发平台，基于昆仑万维的「天工大模型」，具备自主学习和独立思考的能力。用户可以通过自然语言和简单的操作，无需编码，快速构建个性化的 AI Agents，完成包括行业研究、单据填写、商标设计等在内的多种私人定制需求。企业用户也可以将 SkyAgents 能力拼装成企业 IT、智能客服、企业培训等个性化应用，支持一键服务部署。SkyAgents 的特点包括模块化任务处理、个性化定制、第三方工具调用等，降低大模型技术的应用门槛，推动 AI 技术的广泛应用。 SkyAgents的主要功能 零代码构建 AI Agents：SkyAgents 支持用户通过自然语言和简单的操作来构建 AI Agents，无需编程知识，非专业用户也能轻松上手。 模块化任务处理：平台将 AI 任务进行了高度模块化，用户可以将不同任务分解为多个模块，通过操作系统模块的方式实现执行。 个性化定制：用户可以根据自己的需求进行个性化定制，无论是个人用户还是企业用户，可以通过简单的自然语言操作快速部署属于自己的 AI 助手。 企业级应用与一键部署：企业用户可以将 SkyAgents 的能力按需拼装成企业 IT、智能客服、企业培训、HR、法律顾问等个性化的应用，支持一键服务部署。 知识库构建与大规模数据导入：SkyAgents 支持导入多种格式和来源的数据和知识，为 AI Agents 提供更全面、更准确的信息支持。 第三方工具调用：平台支持第三方工具的调用，使 AI Agents 可以轻松调用各类工具，如票务平台、电子支付等，为用户提供更加便捷的服务。 个性化 AI Agents 一键分享：用户可以轻松创建自己的 AI 伴侣、有缘机伴或暖心家园等个性化应用，通过链接的方式分享给其他人。 智能对话与信息处理：SkyAgents 提供智能对话模块，可以通过大语言模型进行处理并回复给用户指定内容。同时，包括信息加工、信息提取、信息分类等模块，实现复杂的信息处理任务。 高性能大模型支持：SkyAgents 基于昆仑万维的天工大模型，具备自主学习和独立思考能力，能理解用户指令，自主分析环境，做出合理的决策和行动。 如何使用SkyAgents 访问平台：打开浏览器，访问 SkyAgents 的官方网站：天工 AI 助手。 注册/登录：新用户，需要注册一个账户。点击“短信登录”或“账号登录”，按照提示完成注册流程。已经注册，直接使用账号和密码登录。 创建新的 AI Agent：登录后，看到创建新 Agent 的入口。点击创建新 Agent，进入构建页面。 选择模板或自定义：SkyAgents 提供了多种示例模板，可以选择一个适合需求的模板快速开始。如果有特定的需求，可以选择自定义模块来构建 Agent。 配置 Agent：在构建页面，可以通过拖拽和配置模块来设计 Agent 的工作流程。设置必要的参数，如对话模型选择、温度（控制回复的创意性）、回复字数上限等。 知识库配置：如果Agent需要使用知识库，可配置知识库相似度和单次搜索上限，控制搜索结果的相关性和数量。 模块排布与设计：按照信息流转的顺序进行模块排布，确保 Agents 顺利运行。进行多次调试以满足需求，注意模块的必填信息与核心配置。 测试 Agent：在构建完成后，测试 Agent 确保按照预期工作。根据测试结果调整配置和参数，优化 Agent 性能。 发布和使用：Agent 测试无误，立即发布，可以将 Agent 一键分享给其他人。 SkyAgents的应用场景 客户服务：用SkyAgents构建智能客服机器人，自动回答用户的常见问题，提高客户满意度和服务质量。 个人助理：创建个人助理 Agent，帮助用户管理日程、提醒重要事件、搜索信息等，提高个人效率。 企业自动化：在企业中，SkyAgents可以用来自动化各种工作流程，如订单处理、库存管理、数据分析等，减少人工干预，提高工作效率。 教育和培训：开发教育 Agent，提供个性化的学习建议、课程内容和学习资源，增强学习体验。 市场研究：用SkyAgents收集和分析市场数据，生成行业报告，帮助企业做出更明智的商业决策。 内容创作：用SkyAgents生成文章、设计草图、创作音乐等，辅助创意工作。

Vercel AI SDK是前端网站开发和托管平台及Next.js开发团队「Vercel」推出的，用于快速构建AI聊天机器人网站应用程序的开发套件，可以帮助开发人员使用JavaScript和TypeScript构建对话式的AI用户界面。 Vercel AI SDK的特性 支持React/Next.js、Svelte/SvelteKit和Vue/Nuxt等前端框架，以及Node.js、Serverless和Edge Runtime 内置各种AI模型的适配器，支持LangChain、OpenAI、Anthropic和Hugging Face等提供的大语言模型 提供交互式在线提示playground（sdk.vercel.ai），其中包含20个开源和云LLM。可以实时展示不同对话模型的聊天界面，并且可以快速生成代码。 提供多个AI聊天机器人的模板和示例，你可以克隆/复制Vercel提供的基于不同框架和模型开发的AI聊天机器人的初始模板 如何使用Vercel AI SDK 前提条件需要在电脑上安装Node.js 18+版本，如果要开发基于OpenAI的GPT聊天机器人，需要获得OpenAI API密钥 使用Next.js（pnpm dlx create-next-app my-ai-app）或者Svelte（pnpm create svelte@latest my-ai-app）等框架创建一个全新的项目，并定位到创建好的目录（cd my-ai-app） 安装依赖项，pnpm install ai openai-edge 配置 OpenAI API 密钥，.env.local在项目根目录中创建一个文件并添加您的 OpenAI API 密钥 创建API路由并连接UI，完成后使用pnpm run dev运行启动应用程序

大语言模型（LLM）正在成为一种变革性技术，使开发人员能够构建以前无法构建的应用程序。但是，单独使用这些LLM通常不足以创建一个真正强大的应用程序——当你可以将它们与其他计算或知识来源相结合时，便可能实现其真正的能力。 LangChain是一个用于开发由语言模型驱动的应用程序的框架，允许开发人员将语言模型连接到其他数据源并与其环境相交互。LangChain旨在帮助开发者在以下六个主要领域，按照复杂性递增的顺序： 📃 LLMs and Prompts: 这包括提示管理、提示优化、适用于所有 LLM 的通用界面以及用于处理 LLM 的通用实用程序。 🔗 Chains: 链不仅仅是单个 LLM 调用，而是调用序列（无论是对 LLM 还是对不同的实用程序）。 LangChain 为链提供标准接口、与其他工具的大量集成以及用于常见应用程序的端到端链。 📚 Data Augmented Generation: 数据增强生成涉及特定类型的链，这些链首先与外部数据源交互以获取数据以用于生成步骤。 这方面的例子包括对长文本的总结和对特定数据源的问答。 🤖 Agents: 代理涉及 LLM 做出关于采取哪些行动的决定，采取该行动，看到一个观察，并重复直到完成。LangChain 为代理提供了一个标准接口，可供选择的代理选择，以及端到端代理的示例。 🧠 Memory: 内存是链/代理调用之间持久状态的概念。 LangChain 提供了内存的标准接口、内存实现的集合以及使用内存的链/代理的示例。 🧐 Evaluation: [BETA] 众所周知，生成模型很难用传统指标进行评估。 评估它们的一种新方法是使用语言模型本身进行评估，LangChain 提供了一些提示/链来协助这一点。

Python版本的TensorFlow深度学习API

开源机器学习框架

无问芯穹是什么 Infinigence 无问芯穹是专门大模型应用开发者打造的企业级AI大模型服务平台，专注于AI 2.0时代的解决方案。构建大模型与多种芯片间的高效部署桥梁，推动AGI（通用人工智能）时代的基础设施建设。无问芯穹提供算力推理平台、AI基础设施解决方案以及端上智能一体化解决方案，支持超过20个主流模型和10余种计算卡，实现软硬件联合优化与统一部署。 无问芯穹的主要功能 智算云平台：提供从算力、模型到应用的一站式服务，包括全面的云管平台、强大的基础云产品、一站式AI开发平台、大模型开发平台、大模型应用开发平台以及行业大模型。 国产化AI算力适配和性能优化：对十余种国产AI芯片全面适配，通过算法和编译优化，实现性能提升50%~200%，并实现多源异构国产AI芯片的统一调度和混合精度计算。 Megrez-3B-Omni模型：全球首个端侧全模态理解开源模型，能处理图像、音频和文本三种模态数据，支持中文和英文语音输入，实现模态间的自由切换，并提供直观自然的交互体验。 一站式AI平台（AIStudio）：面向机器学习开发者，提供开发机、任务等功能的企业级开发平台，支持从数据托管、代码开发、模型训练、模型部署的全生命周期工作流。 算力推理平台：提供算力资源的异构纳管、运维和监控能力，以及丰富的算力运营体系。 大模型服务平台（模型即服务，Model as a Service）：提供数据处理、微调、推理等快速便捷的模型调用API，并集成模型与应用结合的最佳实践，提供专家支持与经验的工具化沉淀。 异构芯片混合训练平台：全球首个支持单任务千卡规模异构芯片混合训练的平台，具备万卡扩展性，支持包括AMD、华为昇腾、天数智芯、沐曦、摩尔线程、NVIDIA六种异构芯片在内的大模型混合训练。 “端模型+端软件+端IP”端上智能一体化解决方案：提供包括软件、IP在内的端上智能一体化解决方案，实现多种大模型算法在多元芯片上的高效、统一部署。 无问芯穹的官网地址 官网地址：cloud.infini-ai.com 无问芯穹的应用场景 个人助理：基于语音指令管理日程和提醒，提高生活和工作效率。 智能家居控制：通过语音或图像识别技术控制家中的智能设备，如智能灯泡和智能锁。 车载语音助手：在驾驶时用语音控制导航、音乐播放和电话，提高驾驶安全。 移动设备应用：在手机和平板电脑上提供语音识别和图像识别功能，增强用户体验。 教育辅助：基于语音和图像识别技术辅助语言学习和阅读，特别是对视障人士。 AI模组与终端融合：通过“端侧算力+通信+API”功能的AI模组产品，将大模型能力带入到各种终端设备。