序列猴子

2021年6月，北京智源研究院（BAAI）推出了悟道1.0的后续版本悟道2.0，作为中国第一个超大规模智能模型系统。悟道是一个语言模型，旨在在人类层面的思维上超越 OpenAI 的 GPT-3 和谷歌的 LaMDA。经过4.9TB的图像和文本训练，并在9个基准上超过了最先进（SOTA）水平，悟道比任何同行都更接近于实现通用人工智能（AGI）和人类水平的思维。 悟道接受了4.9 TB高质量英文和中文图像和文本的训练： 1.2TB中文文本数据 2.5TB中文图形数据 1.2TB英文文本数据 悟道是基于开源的 MoE 系统 FastMoE 进行训练的。MoE是一种机器学习技术，其工作原理如下： 将预测建模任务划分为子任务，针对每个子任务训练专家（学习者）模型，开发门控模型，该门控模型基于要预测的输入来学习咨询哪个专家，并组合预测。FastMoE使悟道能够并行咨询不同的专家模型，并切换到预测结果最好的模型。例如，如果输入是英文文本，悟道将使用预测模型，该模型可以在英文文本中生成回应。

Meta（Facebook）推出的AI大语言模型

企业知识库大模型 + 智能的AI问答机器人

腾讯混元大模型是由腾讯自主研发的大语言模型，拥有超千亿参数规模，预训练语料超2万亿tokens，具有强大的中文理解与创作能力、逻辑推理能力，以及可靠的任务执行能力。 腾讯混元的产品功能 多轮对话。具备上下文理解和长文记忆能力，流畅完成各专业领域的多轮问答； 内容创作。支持文学创作、文本摘要、角色扮演能力，流畅、规范、中立、客观； 逻辑推理。准确理解用户意图，基于输入数据或信息进行推理、分析； 知识增强。有效解决事实性、时效性问题，提升内容生成效果； 多模态。支持文字生成图像能力，输入指令即可将奇思妙想变成图画。 腾讯混元的应用场景 文档场景。可提供文档创作、文本润色、文本校阅、表格公式及图表生成等能力，提高创作效率，提升创作体验； 会议场景。可提供会中问答、会议总结、会议待办项整理等能力，简化会议操作并提高会议效率； 广告场景。可提供智能化的广告素材创作，提供AI多模态生成能力，提升营销内容创作工作效率； 营销场景。构建智能导购，帮助商家提升服务质量和服务效率。 腾讯混元的官网入口 用户可通过hunyuan.tencent.com访问腾讯混元大模型的网页，或者微信小程序搜索「腾讯混元助手」，然后申请内测体验即可。

Sora是什么 Sora是由OpenAI研发的AI视频生成模型，具备将文本描述转化为视频的能力，能够创造出既逼真又富有想象力的视频场景。该模型专注于模拟物理世界的运动，旨在帮助人们解决需要现实世界互动的问题。相较于Pika、Runway、PixVerse、Morph Studio、Genmo等只能生成四五秒的AI视频工具，Sora能够生成长达一分钟的视频，同时保持视觉质量和对用户输入的高度还原。除从零开始创建视频，Sora还能基于现有静态图像生成动画，或者扩展和补全现有视频。 需要注意的是，尽管Sora的功能看起来非常强大，但目前还没有正式对外开放，OpenAI正在对其进行红队测试、安全检查和优化。OpenAI的官网上目前只有对Sora的介绍、视频Demo和技术讲解，暂未提供可直接使用的视频生成工具或API。madewithsora.com网站上收集了Sora生成的视频，感兴趣的朋友可以前往观看。 Sora的主要功能 文本驱动的视频生成：Sora 能够根据用户提供的详细文本描述，生成与之相符的视频内容。这些描述可以涉及场景、角色、动作、情感等多个方面。 视频质量与忠实度：生成的视频保持高质量的视觉效果，并且紧密遵循用户的文本提示，确保视频内容与描述相符。 模拟物理世界：Sora旨在模拟现实世界的运动和物理规律，使得生成的视频在视觉上更加逼真，能够处理复杂的场景和角色动作。 多角色与复杂场景处理：模型能够处理包含多个角色和复杂背景的视频生成任务，尽管在某些情况下可能存在局限性。 视频扩展与补全：Sora不仅能从头开始生成视频，还能基于现有的静态图像或视频片段进行动画制作，或者延长现有视频的长度。 Sora的技术原理 OpenAI Sora的技术架构猜想 文本条件生成：Sora模型能够根据文本提示生成视频，这是通过将文本信息与视频内容相结合实现的。这种能力使得模型能够理解用户的描述，并生成与之相符的视频片段。 视觉块（Visual Patches）：Sora将视频和图像分解为小块的视觉块，作为视频和图像的低维表示。这种方法允许模型处理和理解复杂的视觉信息，同时保持计算效率。 视频压缩网络：在生成视频之前，Sora使用一个视频压缩网络将原始视频数据压缩到一个低维的潜在空间。这个压缩过程减少了数据的复杂性，使得模型更容易学习和生成视频内容。 空间时间块（Spacetime Patches）：在视频压缩后，Sora进一步将视频表示分解为一系列空间时间块，作为模型的输入，使得模型能够处理和理解视频的时空特性。 扩散模型（Diffusion Model）：Sora采用扩散模型（基于Transformer架构的DiT模型）作为其核心生成机制。扩散模型通过逐步去除噪声并预测原始数据的方式来生成内容。在视频生成中，这意味着模型会从一系列噪声补丁开始，逐步恢复出清晰的视频帧。 Transformer架构：Sora利用Transformer架构来处理空间时间块。Transformer是一种强大的神经网络模型，在处理序列数据（如文本和时间序列）方面表现出色。在Sora中，Transformer用于理解和生成视频帧序列。 大规模训练：Sora在大规模的视频数据集上进行训练，这使得模型能够学习到丰富的视觉模式和动态变化。大规模训练有助于提高模型的泛化能力，使其能够生成多样化和高质量的视频内容。 文本到视频的生成：Sora通过训练一个描述性字幕生成器，将文本提示转换为详细的视频描述。然后，这些描述被用来指导视频生成过程，确保生成的视频内容与文本描述相匹配。 零样本学习：Sora能够通过零样本学习来执行特定的任务，如模拟特定风格的视频或游戏。即模型能够在没有直接训练数据的情况下，根据文本提示生成相应的视频内容。 模拟物理世界：Sora在训练过程中展现出了模拟物理世界的能力，如3D一致性和物体持久性，表明该模型能够在一定程度上理解并模拟现实世界中的物理规律。 OpenAI官方Sora技术报告：https://openai.com/research/video-generation-models-as-world-simulators 机器之心解读的Sora技术细节：https://www.jiqizhixin.com/articles/2024-02-16-7 赛博禅心 - 中学生能看懂：Sora 原理解读：https://mp.weixin.qq.com/s/KUnXlDlg-Rs_6D5RFpQbnQ Sora的应用场景 社交媒体短片制作：内容创作者快速制作出吸引人的短片，用于在社交媒体平台上分享。创作者可以轻松地将他们的想法转化为视频，而无需投入大量的时间和资源去学习视频编辑软件。Sora还可以根据社交媒体平台的特点（如短视频、直播等）生成适合特定格式和风格的视频内容。 广告营销：快速生成广告视频，帮助品牌在短时间内传达核心信息。Sora可以生成具有强烈视觉冲击力的动画，或者模拟真实场景来展示产品特性。此外，Sora还可以帮助企业测试不同的广告创意，通过快速迭代找到最有效的营销策略。 原型设计和概念可视化：对于设计师和工程师来说，Sora可以作为一个强大的工具来可视化他们的设计和概念。例如，建筑师可以使用Sora生成建筑项目的三维动画，让客户更直观地理解设计意图。产品设计师可以利用 Sora 展示新产品的工作原理或用户体验流程。 影视制作：辅助导演和制片人在前期制作中快速构建故事板，或者生成初步的视觉效果。这可以帮助团队在实际拍摄前更好地规划场景和镜头。此外，Sora还可以用于生成特效预览，让制作团队在预算有限的情况下，探索不同的视觉效果。 教育和培训：Sora 可以用来创建教育视频，帮助学生更好地理解复杂的概念。例如，它可以生成科学实验的模拟视频，或者历史事件的重现，使得学习过程更加生动和直观。 如何使用Sora OpenAI Sora目前暂未提供公开访问使用的入口，该模型正在接受红队（安全专家）的评估，只向少数视觉艺术家、设计师和电影制作人进行测试评估。OpenAI没有指定更广泛的公众可用性的具体时间表，不过可能是2024年的某个时间。若想现在获得访问权限，个人需要根据OpenAI定义的专家标准获得资格，其中包括属于参与评估模型有用性和风险缓解策略的相关专业团体。

AI模型开发社区

OpenBMB全称为Open Lab for Big Model Base，旨在打造大规模预训练语言模型库与相关工具， 加速百亿级以上大模型的训练、微调与推理，降低大模型使用门槛，与国内外开发者共同努力形成大模型开源社区， 推动大模型生态发展，实现大模型的标准化、普及化和实用化，让大模型飞入千家万户。 OpenBMB开源社区由清华大学自然语言处理实验室和智源研究院语言大模型加速技术创新中心共同支持发起。 发起团队拥有深厚的自然语言处理和预训练模型研究基础，近年来围绕模型预训练、提示微调、模型压缩技术等方面在顶级国际会议上发表了数十篇高水平论文。

Jan（Jan.ai）是一个免费开源的本地运行大模型并进行AI聊天对话的工具，可帮助用户在本地电脑（Windows、Mac、Linux）上安装、部署、运行并使用开源版本的ChatGPT替代大模型，如LLaMa、Mistral、Phi-2等20多个模型，也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama，该工具提供了对话UI和API服务器，适合开发者、研究人员或AI爱好者本地体验开源的大模型。 Jan的主要功能 本地运行开源大模型：支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型，可手动导入也可以在模型库下载模型 简洁好用的聊天界面：软件界面清爽简洁、直观易用，直接在本地与开源大模型快速进行对话聊天 支持多个平台：Jan支持在Windows、Mac（Intel、M1/M2/M3）和Linux等操作系统运行，后续还将推出移动端APP。 内置API服务器：与OpenAI API兼容，可通过API获取模型信息、下载、启动、停止模型及聊天等 如何使用Jan 访问Jan的官网（jan.ai），选择对应的电脑操作系统版本，点击Download进行下载 然后安装并打开软件，在软件界面的左下角点击Download your first model 进入模型库Hub界面，选择你感兴趣的模型进行下载，下载完成后点击Use使用该模型 在对话界面输入你的描述即可与你选择的模型进行对话啦 Jan还在持续开发中，后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。