DeepSpeed

10个月前发布 172 0 0

微软开源的低成本实现类似ChatGPT的模型训练

收录时间:
2024-01-21
DeepSpeedDeepSpeed
DeepSpeed
微软开源的低成本实现类似ChatGPT的模型训练

数据统计

相关导航

PaLM 2

PaLM 2

PaLM(Pathways Language Model) 是一种大型语言模型,即 LLM,类似于OpenAI 创建的 GPT 系列或Meta 的 LLaMA 系列模型。谷歌于 2022 年 4 月首次宣布推出 PaLM,超过了5400亿个训练参数。与其他 LLM 一样,PaLM 是一个灵活的系统,可以执行各种文本生成和编辑任务。例如,你可以将 PaLM 训练成像 ChatGPT 这样的对话式聊天机器人,或者你可以将它用于诸如总结文本甚至编写代码等任务。(这类似于谷歌今天也为其 Workspace 应用程序(如 Google Docs 和 Gmail)宣布的功能。) 在 2023 谷歌 I/O 大会上,谷歌 CEO 皮查伊宣布推出对标 GPT-4 的大模型 PaLM 2,并正式发布预览版本,改进了数学、代码、推理、多语言翻译和自然语言生成能力。 谷歌将为 PaLM 2 提供四种不同大小的版本,从最小到最大:Gecko、Otter、Bison 和 Unicorn。Gecko 非常轻巧,可以在移动设备上工作,并且速度足够快,即使在离线时也能在设备上运行出色的交互式应用程序。这种多功能性意味着可以对 PaLM 2 进行微调,以更多方式支持整个类别的产品,从而帮助更多人。 PaLM 2的特性 PaLM 2 是谷歌的下一代大语言模型,具有改进的多语言、推理和编码能力。 多语言性: PaLM 2 在多语言文本方面接受了更多的训练,涵盖 100 多种语言。这显著提高了它在多种语言中理解、生成和翻译细微差别文本(包括成语、诗歌和谜语)的能力,这是一个很难解决的问题。PaLM 2 还通过了“精通”级别的高级语言能力考试。 推理: PaLM 2 的广泛数据集包括科学论文和包含数学表达式的网页。因此,它展示了逻辑、常识推理和数学方面的改进能力。 编程: PaLM 2 在大量公开可用的源代码数据集上进行了预训练。这意味着它擅长 Python 和 JavaScript 等流行的编程语言,但也可以生成 Prolog、Fortran 和 Verilog 等语言的专用代码。
Jan

Jan

Jan(Jan.ai)是一个免费开源的本地运行大模型并进行AI聊天对话的工具,可帮助用户在本地电脑(Windows、Mac、Linux)上安装、部署、运行并使用开源版本的ChatGPT替代大模型,如LLaMa、Mistral、Phi-2等20多个模型,也支持输入自己的OpenAI API Key以运行GPT。相较于AI工具集此前介绍的Ollama,该工具提供了对话UI和API服务器,适合开发者、研究人员或AI爱好者本地体验开源的大模型。 Jan的主要功能 本地运行开源大模型:支持LlaMa、Mistral、Phi-2、DeepSeek、Yi等20多个模型,可手动导入也可以在模型库下载模型 简洁好用的聊天界面:软件界面清爽简洁、直观易用,直接在本地与开源大模型快速进行对话聊天 支持多个平台:Jan支持在Windows、Mac(Intel、M1/M2/M3)和Linux等操作系统运行,后续还将推出移动端APP。 内置API服务器:与OpenAI API兼容,可通过API获取模型信息、下载、启动、停止模型及聊天等 如何使用Jan 访问Jan的官网(jan.ai),选择对应的电脑操作系统版本,点击Download进行下载 然后安装并打开软件,在软件界面的左下角点击Download your first model 进入模型库Hub界面,选择你感兴趣的模型进行下载,下载完成后点击Use使用该模型 在对话界面输入你的描述即可与你选择的模型进行对话啦 Jan还在持续开发中,后续会支持移动端APP、创建AI助理、推理引擎、插件扩展等功能。
DeepFloyd IF

DeepFloyd IF

DeepFloyd IF是由StabilityAI旗下的DeepFloyd研究团队推出的开源的文本到图像生成模型,IF是一个基于级联方法的模块化神经网络。 IF是由多个神经模块(处理特定任务的独立神经网络)构建的,在一个架构内联合起来产生协同效应。 IF以级联方式生成高分辨率图像:从产生低分辨率样本的基础模型开始,然后由一系列的升级模型提升,以创造令人惊叹的高分辨率图像。 IF的基础和超分辨率模型采用扩散模型,利用马尔可夫链步骤将随机噪声引入数据中,然后再反转过程,从噪声中生成新的数据样本。 IF在像素空间内操作,而不是依赖潜伏图像表征的潜伏扩散(如稳定扩散)。

暂无评论

none
暂无评论...