理论+实践,带你了解分布式训练

详细介绍分布式机器学习系统的基础概念、分布式训练集群架构、分布式训练并行策略,并以DeepSpeed 为例介绍如何在集群上训练大语言模型。

GitLab 管理 NuGet 包

GitLab 项目提供了上传 NuGet 包的途径,能够在组织内部轻松管理程序包依赖和产出,支持持续集成和发布。同时适合承载无法访问或不在 nuget.org 上的程序包。

生成带重复的笛卡尔乘积过程 Cartesian Product with Repetition

目录What is Cartesian Product with RepetitionCode Demo What is Cartesian Product with Repetition 比如说有两个集合: \(\{1, 2, 3\}\) \(\{A, B, C\}\) 想把他们组合成所有可能组合

【Nano Framework ESP32篇】使用 LCD 屏幕

在开始主题之前,先介绍一个刷固件工具。这个工具在 idf 中是集成的,不过,乐鑫也单独发布了这个工具—— esptool。下载链接:Releases · espressif/esptool · GitHub。这货是用 Python 写的,只是封装成了 exe,方便直接运行罢了。 在使用时,需要 -p

程序员想通过产品挣钱,首先你产品的目标客户得不差钱 (在线客服系统外传1)

在线客服系统我利用业余时间断断续续做了好几年,从一开始的追求完美,到后来的集中精力解决核心问题,从一开始的在每一个用户身上投入大量时间,到后来学会分辨什么是有价值客户,学到很多,成长很多。有许多工程技术上很好,很优秀的产品,甚至一定程度上得到了认可,却无法生存的产品,关门大吉。人们常常说是因为技术人...

Apache IoTDB C# SDK 介绍

最近今天写了IoTDB的三篇相关文章,完成了安装部署和客户端连接:Windows Server上部署IoTDB 集群DBeaver 连接IoTDBDriver将IoTDB注册为Windows服务TsFile 是 IoTDB 的底层数据文件,一种专门为时间序列数据设计的列式文件格式。IoTDB TsF

机器学习数据顺序随机打乱:Python实现

本文介绍基于Python语言,实现机器学习、深度学习等模型训练时,数据集打乱的具体操作~

[转帖]kubectl命令自动补全功能

https://blog.csdn.net/tony_vip/article/details/123889216?spm=1001.2014.3001.5502 管理Kubernetes集群的时候,为了提高使用kubectl命令工具的便捷性,介绍一下kubectl命令补全工具的安装。 1:安装bas

[转帖]Prometheus+Grafana+rabbitmq_prometheus 监控 RabbitMQ

https://www.zhangbj.com/p/1065.html 关于 rabbitmq_prometheus rabbitmq_prometheus是RabbitMQ 3.8.0默认集成的监控插件。 相关文档 https://www.rabbitmq.com/monitoring.html

[转帖]7 个使用 bcc/BPF 的性能分析神器

https://linux.cn/article-9139-1.html 使用伯克利包过滤器Berkeley Packet Filter(BPF)编译器集合Compiler Collection(BCC)工具深度探查你的 Linux 代码。 在 Linux 中出现的一种新技术能够为系统管理员和开发者

[转帖]Kubernetes的Nginx Ingress 0.20之前的版本,upstream的keep-alive不生效

https://www.cnblogs.com/lizexiong/p/15358923.html 1说明 Kubernetes使用nginx-ingress-controller代理到集群内服务的请求,nginx所在的机器上上有大量的time-wait连接。 抓包发现nginx发起的到upstre

[转帖]OpenResty编译安装

https://www.cnblogs.com/lizexiong/p/15012869.html OpenResty 是一个基于 Nginx 与 Lua 的高性能 Web 平台,其内部集成了大量精良的 Lua 库、第三方模块以及大多数的依赖项。用于方便地搭建能够处理超高并发、扩展性极高的动态 We

[转帖]k8spacket 和 Grafana 对 kubernetes 的 TCP 数据包流量可视化

https://devpress.csdn.net/k8s/62ff4fe47e66823466193b95.html 你知道你不看的时候你的k8s集群在做什么吗?谁与他建立 TCP 通信?他调用了谁,例如,来自第三方库? 使用k8spacket和Grafana,您可以可视化集群中的 TCP 流量。

[转帖]增广贤文

增广贤文 https://www.cnblogs.com/zhoading/p/17128159.html 昔时贤文,诲汝谆谆。集韵增广,多见多闻。观今宜鉴古,无古不成今。知己知彼,将心比心。酒逢知己饮,诗向会人吟。相识满天下,知心能几人?相逢好似初相识,到老终无怨恨心。近水知鱼性,近山识鸟音。易涨

[转贴]CPU设计全流程-以Alpha为例

https://zhuanlan.zhihu.com/p/529872958 1、前言 作为一种超大规模集成电路,CPU在过去几十年里始终遵循摩尔定律——每过十八到二十四个月,硅片单位面积上晶体管数量翻倍。从产业界的表现来看,每过一到两年,英特尔、AMD和IBM等公司就会推出自己的新产品。 那么问题

[转帖]Elasticsearch-索引性能调优

1:设置合理的索引分片数和副本数 索引分片数建议设置为集群节点的整数倍,初始数据导入时副本数设置为 0,生产环境副本数建议设置为 1(设置 1 个副本,集群任意 1 个节点宕机数据不会丢失;设置更多副本会占用更多存储空间,操作系统缓存命中率会下降,检索性能不一定提升)。单节点索引分片数建议不要超过

[转帖]Python基础之数据类型(一)

https://www.jianshu.com/p/5c43f6056f77 Python基本数据类型 python系列文档都是基于python3 数字 字符串 列表 元组 字典 集合 一、数字 特性: 只能存放一个值 一经定义,不可更改 直接访问 整型十进制转二进制bin(10)十进制转八进制oc

[转帖]JVM(3)之垃圾回收(GC垃圾收集器+垃圾回收算法+安全点+记忆集与卡表+并发可达性分析......)

《深入理解java虚拟机》+宋红康老师+阳哥大厂面试题2总结整理 一、堆的结构组成 堆位于运行时数据区中是线程共享的。一个进程对应一个jvm实例。一个jvm实例对应一个运行时数据区。一个运行时数据区有一个堆空间。 java堆区在jvm启动的时候就被创建了,其空间大小也就被确定了(堆是jvm管理的最大

kafka学习之三_信创CPU下单节点kafka性能测试验证

# kafka学习之三_信创CPU下单节点kafka性能测试验证 ## 背景 ``` 前面学习了 3controller+5broker 的集群部署模式. 晚上想着能够验证一下国产机器的性能. 但是国产机器上面的设备有限. 所以想着进行单节点的安装与测试. 并且记录一下简单结果 希望对以后的工作有指

[转帖]高可用高并发系统设计概念学习 二

高可用高并发系统设计概念学习 二 前言一、隔离术线程隔离进程隔离集群隔离机房隔离读写隔离动静隔离爬虫隔离 二、超时与重试机制代理层超时与重试客户端超时设置client_header_timeout timeclient_body_timeout timesend_timeout timekeepal