详细介绍分布式机器学习系统的基础概念、分布式训练集群架构、分布式训练并行策略，并以DeepSpeed 为例介绍如何在集群上训练大语言模型。
> 本文全面探讨了卷积神经网络CNN，深入分析了背景和重要性、定义与层次介绍、训练与优化，详细分析了其卷积层、激活函数、池化层、归一化层，最后列出其训练与优化的多项关键技术：训练集准备与增强、损失函数、优化器、学习率调整、正则化技巧与模型评估调优。旨在为人工智能学者使用卷积神经网络CNN提供全面的指
借助So-vits我们可以自己训练五花八门的音色模型，然后复刻想要欣赏的任意歌曲，实现点歌自由，但有时候却又总觉得少了点什么，没错，缺少了画面，只闻其声，却不见其人，本次我们让AI川普的歌声和他伟岸的形象同时出现，基于PaddleGAN构建“靓声靓影”的“懂王”。 PaddlePaddle是百度开源
ChatGPT是一个由 OpenAI训练的大型语言模型，本文将向您展示如何使用 ChatGPT 帮助开发人员完成从编码到文档和测试等各种任务。
本文重点介绍了如何从零训练一个BERT模型的过程，包括整体上BERT模型架构、数据集如何做预处理、MASK替换策略、训练模型和保存、加载模型和测试等。 一.BERT架构 BERT设计初衷是作为一个通用的backbone，然后在下游接入各种任务，包括翻译任务、分类任务、回归任务等。BERT模型架构如下
HUAWEI Health Kit为开发者提供用户自定义的跑步课程导入接口，便于用户在华为运动健康App和华为智能穿戴设备上查看来自生态应用的训练课表，开启科学、适度的运动训练。 跑步课程导入能力支持生态应用在获取用户的华为帐号授权后，将跑步课程数据写入至华为运动健康App，并在已有的华为智能穿戴设
在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方法来创建进程。但有一点需要注意的是，CUDA运行时不支持使用fork，我们可以使用spawn或for
基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N
摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。 本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾
摘要：本文介绍将TensorFlow网络模型迁移到昇腾AI平台，并执行训练的全流程。然后以TensorFlow 1.15训练脚本为例，详细介绍了自动迁移、手工迁移以及模型训练的操作步骤。 本文分享自华为云社区《将TensorFlow模型快速迁移到昇腾平台》，作者：昇腾CANN。 当前业界很多训练脚本
摘要：本文为大家介绍一下深度学习中的混合精度训练，并通过代码实战的方式为大家讲解实际应用的理论，并对模型进行测试。 本文分享自华为云社区《浅谈深度学习中的混合精度训练》，作者：李长安。 1 混合精度训练 混合精度训练最初是在论文Mixed Precision Training中被踢出，该论文对混合精
摘要：CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教程将从理论和代码实战两个方面进行。 本文分享自华为云社区《CosineWarmup理论介绍与代码实战》，作者： 李长安。 CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教
本文介绍MindSpore常用的分布式并行训练技术，以及如何将并行技术应用到大模型预训练中。
基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。
在大语言模型的训练中，经常会看到 Instruct Tuning（指令微调）这个单词，GPT家族中也有一个 InstructGPT的模型（指令微调后的GPT），通过指令微调的LLM会更按照我们期望的方式输出
一：背景 1.讲故事 上个月 .NET调试训练营 里的一位老朋友给我发了一个 8G 的dump文件，说他的程序内存泄露了，一时也没找出来是哪里的问题，让我帮忙看下到底是怎么回事，毕竟有了一些调试功底也没分析出来，说明还是有一点复杂的，现实世界中的dump远比课上说的复杂的多。 还是那句话，找我分析是
摘要：2022年11月18日，来自厦门创新中心的40余位开发者，齐聚华为云鲁班会开发者训练营厦门站，与华为云技术大咖共同探讨技术未来，落地应用交付。 为了抓住新时代IT技术脉搏，一同探讨企业数字化转型中面临的种种问题和困难，2022年11月18日，来自厦门创新中心的40余位开发者，齐聚华为云鲁班会开
前几章我们讨论了RLHF的样本构建优化和训练策略优化，这一章我们讨论两种不同的RL训练方案，分别是基于过程训练，和使用弱Teacher来监督强Student 循序渐进：PRM & ORM 想要获得过程
论文重新审视了深度神经网络中的不确定性估计技术，并整合了一套技术以增强其可靠性。论文的研究表明，多种技术（包括模型正则化、分类器改造和优化策略）的综合应用显着提高了图像分类任务中不确定性预测的准确性 来源：晓飞的算法工程笔记 公众号 论文: SURE: SUrvey REcipes for buil
为视觉语言多模态模型进行偏好优化 训练模型使得它能够理解并预测人类偏好是一项比较复杂的任务。诸如 SFT (Supervised finetuning) 的传统的方法一般都需要耗费较大成本，因为这些算法需要对数据打上特定的标签。而偏好优化 (Preference Optimization) 作为一种
