前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不
本文主要介绍了在使用Python面向对象编程时，如何实现组合关系，同时对比了组合关系和继承关系的优缺点，并讲解了如何通过csv模块来保存Python接收/生成的数据。
本文主要介绍了Python中创建自定义类时如何使用多重继承、菱形继承的概念和易错点，同时讲解了如何使用PyQtGraph库对串口接收的数据进行绘图。
在前端开发中，处理和搜索大量数据时，效率是一个关键因素。二分查找算法是一种高效的查找算法，适用于在有序数组中快速找到目标值。本文将详细介绍二分查找算法的基本原理、实现方法及其在前端开发中的应用。 什么是二分查找？ 二分查找（Binary Search）是一种在有序数组中查找目标值的算法。它通过不断将
本文主要介绍了Python中创建自定义类时鸭子类型的基本定义、特点和应用场景，同时列举了“file-like object“的例子对鸭子类型进行了说明。
前言 在使用 MyBatis 进行持久层开发时，通常会与 Spring 框架集成，以便更好地管理事务和依赖注入。在 MyBatis-Spring 集成中，SqlSession 是一个非常重要的概念。本文将详细介绍 SqlSessionTemplate 和 SqlSessionDaoSupport，并
分页查询 分页查询是处理大量数据时常用的技术，通过分页可以将数据分成多个小部分，方便用户逐页查看。SQLAlchemy 提供了简单易用的方法来实现分页查询。 本篇我们也会在最终实现这样的分页效果： 1. 什么是分页查询 分页查询是将查询结果按照一定数量分成多页展示，每页显示固定数量的记录。分页查询通
FastAdmin是我第一个接触的后台管理系统框架。FastAdmin是一款开源且免费商用的后台开发框架，它基于ThinkPHP和Bootstrap两大主流技术构建的极速后台开发框架，它有着非常完善且强大的功能和便捷的开发体验，使我逐渐喜欢上了它。
写在前面 前段时间跟领导讨论技术债概念时不可避免地提到了代码的质量，而影响代码质量的因素向来都不是单一的，诸如项目因素、管理因素、技术选型、人员素质等等，因为是技术债务，自然就从技术角度来分析，单纯从技术角度来看代码质量，其实又细分很多原因，如代码设计、代码规范、编程技巧等等，但我个人觉得这些都是技
当你使用Edge等浏览器或系统软件播放媒体时，Windows控制中心就会出现相应的媒体信息以及控制播放的功能，如图。 SMTC (SystemMediaTransportControls) 是一个Windows App SDK (旧为UWP) 中提供的一个API，用于与系统媒体交互。接入SMTC的好
最近在复习k8s网络方面的知识，查看之前学习时整理的笔记和文档还有过往自己总结的博客之后发现一个问题，就是在有关flannel和calico这两个k8s网络插件的文章和博客中，会涉及到cni0和docker0这两个网桥设备，但是都没有明确说明他们俩之间的关系，有的甚至将两者混为一谈，这也是我之前的学
前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum
前言 SQL语句中，聚合函数在统计业务数据结果时起到了重要作用，比如计算每个业务地区的业务总数、每个班级的学生平均分以及每个分类的最大值等。然而，今天小编将为大家介绍窗口函数，与聚合函数相比，它们也是一组函数，但在使用方法和适用场景上有所不同。在本章节中，我将重点介绍窗口函数中的RANK和DENSE
现在手机游戏的常规更新方案都是在启动时下载所有资源更新，游戏质量高的、用户粘性大的有底气，先安装2个G，启动再更新2个G，文件小了玩家还觉得品质不行不想玩。 最近在做微信、抖音小游戏，使用他们提供的资源缓存方案，现在要转成Android APP, 也想用这种边下边玩的机制把首包做小。 其实很简单，直
Go语言中的 reflect 包提供了运行时反射机制，允许程序在运行时检查和操作任意对象的数据类型和值。 以下是 reflect 包的一些典型使用场景： 1. 动态类型判断与转换：当需要处理多种类型的变量且具体类型直到运行时才能确定时，可以使用反射来检查变量的实际类型，并在可能的情况下进行类型转换。
当你深夜在浏览器中输入 www.baidu.com 时有没有想过，除了月黑风高的夜和本机的浏览记录，还有谁知道你访问了它呢？要搞清楚这件事，首先我们要了解一下访问网站时，这其中发生了什么。 如果你在 10 年之前访问网站，大概率会在浏览器的地址栏中看到这样的网址 http://www.baidu.c
最近在记录一些简单的结构化日志信息时，用到了sqlite3数据库（保存的信息比较简单，用Mysql，SQL Server，Postgres这些数据库有点小题大做）。 以前开发系统时，用Mysql和Postgres比较多，sqlite3接触不多，这次使用，希望sqlite3也能提供几个基本的功能，比如
依据AWS S3，没有定义修改数据的操作，修改数据时，均需要重新上传对象的数据和元数据。 本文有如下假定： 对象存储服务基于文件语义实现。 接口定义 依据前述，业界主流对象存储服务比如AWS S3并未定义修改对象数据的操作，而国内的各家公有云对象存储服务，提供了对象的修改对象数据的操作。 国内的公有
在Java中实现大数据推荐算法时，通常会使用一些开源的机器学习库，如Apache Mahout、Weka、DL4J（DeepLearning4j，用于深度学习）或者Spark MLlib（用于在Spark集群上运行）。由于完整实现一个大数据推荐算法的代码量可能非常大，并且需要配合具体的数据集和环境进
TCP粘包是指在使用TCP协议进行数据传输时，发送方连续发送的多个数据包在接收方收到时被黏合成一个大的数据包。这种现象可能会导致接收方无法正确解析数据，从而影响应用程序的正常运行。
