与#训练营#相关的内容第4页 - PmDaddy

全部分类数据库前端云计算

Pytorch：单卡多进程并行训练

在深度学习的项目中，我们进行单机多进程编程时一般不直接使用multiprocessing模块，而是使用其替代品torch.multiprocessing模块。它支持完全相同的操作，但对其进行了扩展。Python的multiprocessing模块可使用fork、spawn、forkserver三种方法来创建进程。但有一点需要注意的是，CUDA运行时不支持使用fork，我们可以使用spawn或for

自然语言处理 Paddle NLP - 基于预训练模型完成实体关系抽取

基础 [自然语言处理（NLP）](https://www.cnblogs.com/vipsoft/p/17450994.html) [自然语言处理PaddleNLP-词向量应用展示](https://www.cnblogs.com/vipsoft/p/17451860.html) [自然语言处理（N

又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速

摘要：上海人工智能实验室的浦视开源算法体系（OpenMMLab）团队基于昇腾AI发布了MMDeploy 0.10.0版本，该版本已支持OpenMMLab算法仓库在昇腾异构计算架构CANN上的推理部署。本文分享自华为云社区《又一重要进展发布！OpenMMLab算法仓支持昇腾AI训练加速》，作者：昇腾

一文详解TensorFlow模型迁移及模型训练实操步骤

摘要：本文介绍将TensorFlow网络模型迁移到昇腾AI平台，并执行训练的全流程。然后以TensorFlow 1.15训练脚本为例，详细介绍了自动迁移、手工迁移以及模型训练的操作步骤。本文分享自华为云社区《将TensorFlow模型快速迁移到昇腾平台》，作者：昇腾CANN。当前业界很多训练脚本

代码实战带你了解深度学习中的混合精度训练

摘要：本文为大家介绍一下深度学习中的混合精度训练，并通过代码实战的方式为大家讲解实际应用的理论，并对模型进行测试。本文分享自华为云社区《浅谈深度学习中的混合精度训练》，作者：李长安。 1 混合精度训练混合精度训练最初是在论文Mixed Precision Training中被踢出，该论文对混合精

CosineWarmup理论与代码实战

摘要：CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教程将从理论和代码实战两个方面进行。本文分享自华为云社区《CosineWarmup理论介绍与代码实战》，作者：李长安。 CosineWarmup是一种非常实用的训练策略，本次教程将带领大家实现该训练策略。教

解决大模型“开发难”，昇思MindSpore自动并行技术应用实践

本文介绍MindSpore常用的分布式并行训练技术，以及如何将并行技术应用到大模型预训练中。

带你上手基于Pytorch和Transformers的中文NLP训练框架

基于pytorch、transformers做中文领域的nlp开箱即用的训练框架，提供全套的训练、微调模型（包括大模型、文本转向量、文本生成、多模态等模型）的解决方案。

揭秘ChatGPT，如何打造自己的自定义指令

在大语言模型的训练中，经常会看到 Instruct Tuning（指令微调）这个单词，GPT家族中也有一个 InstructGPT的模型（指令微调后的GPT），通过指令微调的LLM会更按照我们期望的方式输出

解密prompt系列34. RLHF之训练另辟蹊径：循序渐进 & 青出于蓝

前几章我们讨论了RLHF的样本构建优化和训练策略优化，这一章我们讨论两种不同的RL训练方案，分别是基于过程训练，和使用弱Teacher来监督强Student 循序渐进：PRM & ORM 想要获得过程

SURE：增强不确定性估计的组合拳，快加入到你的训练指南吧 | CVPR 2024

论文重新审视了深度神经网络中的不确定性估计技术，并整合了一套技术以增强其可靠性。论文的研究表明，多种技术（包括模型正则化、分类器改造和优化策略）的综合应用显着提高了图像分类任务中不确定性预测的准确性来源：晓飞的算法工程笔记公众号论文: SURE: SUrvey REcipes for buil

为视觉语言多模态模型进行偏好优化

为视觉语言多模态模型进行偏好优化训练模型使得它能够理解并预测人类偏好是一项比较复杂的任务。诸如 SFT (Supervised finetuning) 的传统的方法一般都需要耗费较大成本，因为这些算法需要对数据打上特定的标签。而偏好优化 (Preference Optimization) 作为一种

CaiT：Facebook提出高性能深度ViT结构 | ICCV 2021

CaiT通过LayerScale层来保证深度ViT训练的稳定性，加上将特征学习和分类信息提取隔离的class-attention层达到了很不错的性能，值得看看来源：晓飞的算法工程笔记公众号论文: Going deeper with Image Transformers 论文地址：https:/

[大数据][机器学习]之Model Card（模型卡片）介绍

每当我们在公有云或者私有云发布训练好的大数据模型，为了方便大家辨识、理解和运用，参照huggingface所制定的标准制作一个Model Card展示页，是种非常好的模型展示和组织形式。下面就是一个Model Card 的示例，我试着把它翻译成了中文，源网址，并且提供了Markdown的模板，供大

ONNX Runtime入门示例：在C#中使用ResNet50v2进行图像识别

ONNX Runtime简介 ONNX Runtime 是一个跨平台的推理和训练机器学习加速器。ONNX 运行时推理可以实现更快的客户体验和更低的成本，支持来自深度学习框架（如 PyTorch 和 TensorFlow/Keras）以及经典机器学习库（如 scikit-learn、LightGBM、

基于cifar数据集合成含开集、闭集噪声的数据集

前言噪声标签学习下的一个任务是：训练集上存在开集噪声和闭集噪声；然后在测试集上对闭集样本进行分类。训练集中被加入的开集样本，会被均匀得打上闭集样本的标签充当开集噪声；而闭集噪声的设置与一般的噪声标签学习一致，分为对称噪声：随机将闭集样本的标签替换为其他类别；和非对称噪声：将闭集样本的标签替换为特

详解联邦学习中的异构模型集成与协同训练技术

本文将详细介绍联邦学习中的异构模型集成与协同训练技术，包括基本概念、技术挑战、常见解决方案以及实际应用，结合实例和代码进行讲解。

大模型高效微调-LoRA原理详解和训练过程深入分析

博客首发于我的知乎，详见：https://zhuanlan.zhihu.com/p/702629428 一、LoRA原理 LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。 LoRA的本质就是用更少的训练参数来近似LLM全参数微调所

一文教你在MindSpore中实现A2C算法训练

文中的配置定义了 Actor-Critic 算法在 MindSpore 框架中的具体实现，包括 Actor 和 Learner 的设置、策略和网络的参数，以及训练和评估环境的配置。

昇腾开发全流程之 MindSpore华为云模型训练

学会如何安装配置华为云ModelArts、开发板Atlas 200I DK A2，并打通一个训练到推理的全流程思路。 > 在本篇章，首先我们开始进入训练阶段！

# 热门排行

微软 New Bing AI 申请与使用保姆级教程（免魔法） ChatGPT API使用介绍 ChatGPT开发实战一篇带你了解如何使用纯前端类Excel表格构建现金流量表手把手教你玩转 Excel 数据透视表为什么 C# 可能是最好的第一编程语言 .NET 入门到高级路线提高工作效率的神器：基于前端表格实现Chrome Excel扩展插件 React + Springboot + Quartz，从0实现Excel报表自动化用Echarts实现前端表格引用从属关系可视化