DeepSpeed是一个深度学习优化软件套件，使分布式训练和推理变得简单、高效和有效。它可以做些什么呢？训练/推理具有数十亿或数万亿参数的密集或稀疏模型；实现出色的系统吞吐量并有效扩展到数千个GPU；在资源受限的GPU系统上进行训练/推理；实现前所未有的低延迟和高吞吐量的推理；以低成本实现极限压缩，
最近在搞分布式训练大模型，踩了两个晚上的坑今天终于爬出来了 我们使用 2台 8*H100 遇到过 错误1 10.255.19.85: ncclSystemError: System call (e.g. socket, malloc) or external library call failed
详细介绍分布式机器学习系统的基础概念、分布式训练集群架构、分布式训练并行策略，并以DeepSpeed 为例介绍如何在集群上训练大语言模型。
据说有了它，ChatGPT 就可以靠边站了。因为 Auto-GPT 能更加主动地完成你给他的指定任务，不用做更多的人为干涉，它的推理能力比 ChatGPT 更强，有人用它解放双手做了个 React 网站。当然除了升级的 Auto-GPT 之外，还有 DeepSpeed，它能极大地降低训练成本。这两个
