前置知识 Activation 激活指的是一些在fp时计算得到的临时tensor, 会用于bp时的计算. 如果能在fp计算后把临时tensor缓存下来就可以加速bp, 缺点在于激活会占用大量显存. 以一层transformer结构为例分析下各层存在的激活. 简单部分的分析这里忽略. 主要分析下几个不
有关Transforms使用的简介
https://zhuanlan.zhihu.com/p/447836322 目录 收起 一、XLNet的优势 1）独得AR与AE两大绝学 2）集成了Tansformer-XL 二、XLNet的结构特点 1） 置换语言模型（PermutationLanguage Modeling，PLM） 2）
