前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不
当有千万条海量数据时，前端调取接口发现接口响应的太慢，前端这时让你优化一下接口，你说有几千万条数据，觉得自己尽力了，前端觉得你好菜，别急，读完这篇文章，让前端喊你一声：大佬，厉害！！！ 常用的方法总结 通过合理的分页加载、索引优化、数据缓存、异步处理、压缩数据等手段，可以有效地优化接口性能，提升系统
首先聊下node.js的优缺点和应用场景 Node.js的优点和应用场景 Node.js作为后端开发的选择具有许多优点，以下是其中一些： 高性能： Node.js采用了事件驱动、非阻塞I/O模型，使得它能够处理大量并发请求而不会阻塞线程，从而具有出色的性能表现。 轻量级和高效： Node.js的设计
前情引子 in 会不会走索引？很多人肯定会回答、废话、如果命中了索引、那肯定会走。 其实我和大多数人一样、一开始也是这么想的、直至有一个血淋淋的案子让我有所改观、有所思考。 背景介绍 业务的工单表、我们分了64张、以userId作为分表键、业务实际场景中未使用到搜索引擎、主要是一些B端业务。 业务有
在前端开发中，处理和搜索大量数据时，效率是一个关键因素。二分查找算法是一种高效的查找算法，适用于在有序数组中快速找到目标值。本文将详细介绍二分查找算法的基本原理、实现方法及其在前端开发中的应用。 什么是二分查找？ 二分查找（Binary Search）是一种在有序数组中查找目标值的算法。它通过不断将
在前端开发中，性能优化是一个永恒的话题。回流（Reflow）与重绘（Repaint）是两个重要的概念，它们直接影响着页面的渲染性能和用户体验。本文将详细介绍回流与重绘的概念、触发条件及其优化方法。 一、回流（Reflow）（重排） 1.1 概念 回流，又称重排（Reflow），是指当DOM的变化引起
前段时间写过一篇介绍神经网络的入门文章：神经网络极简入门。那篇文章介绍了神经网络中的基本概念和原理，并附加了一个示例演示如何实现一个简单的神经网络。 不过，在那篇文章中并没有详细介绍神经网络在训练时，是如何一步步找到每个神经元的最优权重的。本篇介绍神经网络训练时，常用的一种权重更新的方式--梯度下降
相信不少同学都有欧阳这种情况，年初的时候给自己制定了一份关于学习英语和源码的详细年度计划。但是到了实际执行的时候因为各种情况制定的计划基本都没有完成，年底回顾时发现年初制定的计划基本都没完成。痛定思痛，第二年年初决定再次制定一份学习英语和源码的详细年度计划，毫无疑问又失败了。
在现代前端开发中，优化应用性能是一个至关重要的任务。Webpack 作为一个强大的打包工具，为我们提供了代码分割和懒加载的功能，可以显著提升应用的加载速度和用户体验。本文将深入解析 Webpack 的代码分割和懒加载技术，帮助开发者更好地理解和应用这些技术。 什么是代码分割？ 代码分割（Code S
前端如何存储处理后端返回的错误信息，并按不同来源绑定到页面，例如显示在不同输入框的周围。这样即可实现清晰的错误显示。
相信你最近应该看到了不少介绍Vue Vine的文章，这篇文章我们另辟蹊径来讲讲Vue Vine是如何实现在一个文件里面写多个vue组件。
#### 前提提要: .java文件通过java -c 生成.class文件,这部分并非是JVM需要处理的部分,JVM处理的部分是基于生成的class文件,生成的部分是由编译器来负责 一个字节码文件的主要组成部分 使用工具说明 idea的JclassLib插件 使用步骤: 运行代码(只要你更新了代码
上篇文章中我们讲了使用scoped后，vue是如何给CSS选择器添加对应的属性选择器[data-v-x]。这篇文章我们来接着讲vue是如何给html增加自定义属性data-v-x
前置知识 混合精度训练 在参数存储时采取fp32, 开始进行fp/bp时转成fp16运算, 拿到fp16梯度后再转回fp32更新参数. ZeRO对显存占用的估算: 模型状态: Weights(fp16)、grad(fp16) 和 MasterWeights(fp32 模型参数备份)，momentum
源码地址 V8源码Array 710行开始为sort()相关 Array.sort()方法是那种排序呢？ 去看源码主要是源于这个问题 // In-place QuickSort algorithm. // For short (length <= 22) arrays, insertion sort
前段时间翻到几条留言，问： “配置即代码和基础设施即代码一样吗？” “配置即代码是什么？怎么都是基础设施即代码？” 我们都是知道，DevOp的快速发展，让服务器管理与配置的时间大大减少，配置即代码和基础设施即代码作为DevOps的重要实践，在其中起到了关键性作用。 不少人将二者看作是一件事，配置即大
前段时间写了一篇文章《C++面向对象语言自制多级菜单》，文中指出了可以将HeleMenu库进行移植，现已完成技术思路，特此记录。 一、特性 基本与上一篇文章指出的一致，只是将菜单显示和响应函数合二为一 二、代码实现 基本与上一篇文章指出的一致，只是考虑到右值和左值的问题，将形参改为了const类型
前提: Xcode 16.0 beta 设置 Scheme设置中勾选Malloc Scribble、Malloc Stack Logging。 这么做是为了在Memory Graph、Profile中追溯数据在哪句代码生成。 此设置会导致App硬盘占用异常增多，调试完毕之后需要把选项关闭。 Allo
作为一名前端开发者，vscode想必大家应该都接触过，就像大多数 IDE 一样，VSCode 也有一个扩展和主题市场，包含了数以千计质量不同的插件。 作为一名熟练掌握各种前端开发工具安装和卸载的大师兄来说，为大家安利好玩有用的工具插件是我义不容辞的责任，所以我精挑细选了九款必备的vscode插件 C
