随着预训练视觉模型的兴起，目前流行的视觉微调方法是完全微调。由于微调只专注于拟合下游训练集，因此存在知识遗忘的问题。论文提出了基于权值回滚的微调方法OLOR（One step Learning, One step Review），把权值回滚项合并到优化器的权值更新项中。这保证了上下游模型权值范围的一
论文提出了一种可扩展的多数据集目标检测器(ScaleDet)，可通过增加训练数据集来扩大其跨数据集的泛化能力。与现有的主要依靠手动重新标记或复杂的优化来统一跨数据集标签的多数据集学习器不同，论文引入简单且可扩展的公式来为多数据集训练产生语义统一的标签空间，通过视觉文本对齐进行训练，能够学习跨数据集的
论文重新审视了深度神经网络中的不确定性估计技术，并整合了一套技术以增强其可靠性。论文的研究表明，多种技术（包括模型正则化、分类器改造和优化策略）的综合应用显着提高了图像分类任务中不确定性预测的准确性 来源：晓飞的算法工程笔记 公众号 论文: SURE: SUrvey REcipes for buil
定义 适配器模式是一种结构型设计模式，它允许将一个类的接口转换为客户端希望的另一个接口。适配器使得原本由于接口不兼容而不能一起工作的类可以协同工作。通过创建适配器类，可以将现有类的接口转换成目标接口，从而使这些类能够在一起工作。 为什么使用适配器模式 兼容性 适配器模式能够解决由于接口不兼容而无法直
论文将Multiscale Vision Transformers (MViTv2) 作为图像和视频分类以及对象检测的统一架构进行研究，结合分解的相对位置编码和残差池化连接提出了MViT的改进版本 来源：晓飞的算法工程笔记 公众号 论文: MViTv2: Improved Multiscale Vi
定义 抽象工厂模式是一种创建型设计模式，它提供一个接口，用于创建一系列相关或依赖的对象，而无需指定它们的具体类。抽象工厂模式将对象的创建过程抽象化，允许子类通过实现具体工厂类来定制对象的创建。 为什么使用抽象工厂模式 产品族的一致性 抽象工厂模式确保同一产品族中的对象之间的一致性。 部分遵循开闭原则
最近好久没有写博客了，浅浅记录下如何将OpenAI-Whisper做成Web服务吧 介绍 在这篇指导性博客中，我们将探讨如何在Python中结合使用FastAPI和OpenAI-Whisper。OpenAI-Whisper是一个前沿的语音识别模型，而FastAPI是一个高性能的现代Web框架，专
论文提出了多尺度视觉Transformer模型MViT，将多尺度层级特征的基本概念与Transformer模型联系起来，在逐层扩展特征复杂度同时降低特征的分辨率。在视频识别和图像分类的任务中，MViT均优于单尺度的ViT。 来源：晓飞的算法工程笔记 公众号 论文: Multiscale Vision
定义 工厂方法模式是一种创建型设计模式，它定义了一个用于创建对象的接口，但由子类来决定实例化哪一个类。工厂方法使得类的实例化延迟到子类，这样可以让客户端在不需要知道具体类的情况下创建对象。工厂方法模式通过使用继承和多态性，允许子类来控制对象的创建方式，能够更好地应对对象创建的复杂性和变化性。 为什么
定义 简单工厂模式（Simple Factory Pattern）是一种创建型设计模式，它定义一个用于创建对象的接口，但由一个单独的类来实现实际创建的工作。简单工厂模式通过在一个类中集中管理对象的创建过程，可以减少客户端与具体类之间的耦合，使得代码结构更加清晰和易于维护。通过专门定义一个类来负责创建
论文提出了用于快速图像分类推理的混合神经网络LeVIT，在不同的硬件平台上进行不同的效率衡量标准的测试。总体而言，LeViT在速度/准确性权衡方面明显优于现有的卷积神经网络和ViT，比如在80%的ImageNet top-1精度下，LeViT在CPU上比EfficientNet快5倍 来源：晓飞的算
定义 装饰模式（Decorator Pattern），又称为包装模式，是一种结构型设计模式。它允许在不改变现有对象结构的情况下，动态地添加新的功能。通过将每个功能封装在单独的装饰器类中，并且这些装饰器类通过引用原始对象来实现功能的组合，从而提供了灵活性和可扩展性的优势。装饰模式避免了通过继承方式增加
CaiT通过LayerScale层来保证深度ViT训练的稳定性，加上将特征学习和分类信息提取隔离的class-attention层达到了很不错的性能，值得看看 来源：晓飞的算法工程笔记 公众号 论文: Going deeper with Image Transformers 论文地址：https:/
论文基于实验验证，为数据需求预测这一问题提供了比较有用的建议，详情可以直接看看Conclusion部分。 来源：晓飞的算法工程笔记 公众号 论文: How Much More Data Do I Need? Estimating Requirements for Downstream Tasks 论
CvT将Transformer与CNN在图像识别任务中的优势相结合，从CNN中借鉴了多阶段的层级结构设计，同时引入了Convolutional Token Embedding和Convolutional Projection操作增强局部建模能力，在保持计算效率的同时实现了卓越的性能。此外，由于卷积的
作者发现深层ViT出现的注意力崩溃问题，提出了新颖的Re-attention机制来解决，计算量和内存开销都很少，在增加ViT深度时能够保持性能不断提高 来源：晓飞的算法工程笔记 公众号 论文: DeepViT: Towards Deeper Vision Transformer 论文地址：https
之前我们聊过如何使用LangChain给LLM（大模型）装上记忆，里面提到对话链ConversationChain和MessagesPlaceholder，可以简化安装记忆的流程。下文来拆解基于LangChain的大模型记忆方案。
DPP能够对目标检测proposal进行非统一处理，根据proposal选择不同复杂度的算子，加速整体推理过程。从实验结果来看，效果非常不错 来源：晓飞的算法工程笔记 公众号 论文: Should All Proposals be Treated Equally in Object Detectio
在Web安全领域，不足的日志记录和监控是一个重要的安全隐患，它可能导致攻击者能够更隐蔽地进行攻击，同时增加了攻击被检测和响应的难度。以下是对Web攻击中不足的日志记录和监控漏洞的详细介绍。 一、日志记录不足的问题 日志缺失或不完整 关键操作未记录：如用户登录、敏感数据访问、系统管理员操作等关键操作未
论文主要处理Vision Transformer中的性能问题，采用推理速度不同的级联模型进行速度优化，搭配层级间的特征复用和自注意力关系复用来提升准确率。从实验结果来看，性能提升不错 来源：晓飞的算法工程笔记 公众号 论文: Not All Images are Worth 16x16 Words:
