基于Spring-AOP的自定义分片工具

基于,spring,aop,自定义,分片,工具 · 浏览次数 : 359

小编点评

**作者:陈昌浩** **背景:** 随着数据量的增长,系统在与其他系统交互时,批量接口会出现超时现象。 **Spring-AOPAOP(面向切面编程):** AOP是一种编程思想,是面向对象编程(OOP)的一种补充。面向对象编程将程序抽象成各个层次的对象,而面向切面编程是将程序抽象成各个切面。 **功能实现自定义分片处理:** * **MethodPartAndRetryer**注解:定义了重试参数,例如重试次数、重试间隔时间和分片大小。 * **around**方法:这是一个分片处理器的实现方法,它使用**MethodPartAndRetryer**注解设置的参数来决定是否进行分片处理。 * **isHandler**方法:用于判断是否需要进行分片处理。 * **getCurrentMethod**方法:用于获取要分片方法的签名。 **使用配置文件:** 可以使用配置文件设置重试参数,例如重试次数、重试间隔时间和分片大小。 **示例代码:** ```java @MethodPartAndRetryer(parts=100) public Boolean writeBackOfGoodsSN(List<SerialDTO> listSerial,ObCheckWorker workerData) { // ... } ``` **结论:** 通过自定义分片工具,可以快速地对老代码进行分片处理,而且增加了重试机制,提高了程序的可用性,提高了对老代码的重构效率。

正文

作者:陈昌浩

1 背景

随着数据量的增长,发现系统在与其他系统交互时,批量接口会出现超时现象,发现原批量接口在实现时,没有做分片处理,当数据过大时或超过其他系统阈值时,就会出现错误。由于与其他系统交互比较多,一个一个接口做分片优化,改动量较大,所以考虑通过AOP解决此问题。

2 Spring-AOP

AOP (Aspect Orient Programming),直译过来就是 面向切面编程。AOP 是一种编程思想,是面向对象编程(OOP)的一种补充。面向对象编程将程序抽象成各个层次的对象,而面向切面编程是将程序抽象成各个切面。

Spring 中的 AOP 是通过动态代理实现的。 Spring AOP 不能拦截对对象字段的修改,也不支持构造器连接点,我们无法在 Bean 创建时应用通知。

3 功能实现

自定义分片处理分三个部分:自定义注解(MethodPartAndRetryer)、重试器(RetryUtil)、切面实现(RetryAspectAop)。

3.1 MethodPartAndRetryer

源码

@Target(ElementType.METHOD)
@Retention(RetentionPolicy.RUNTIME)
@Documented
public @interface MethodPartAndRetryer {
    /**
     * 失败重试次数 
     * @return
     */
    int times() default 3;
    /**
     * 失败间隔执行时间 300毫秒
     * @return
     */
    long waitTime() default 300L;
    /**
     * 分片大小     
     * @return
     */
    int parts() default 200;
}

 

@interface说明这个类是个注解。
@Target是这个注解的作用域

public enum ElementType {
    /** 类、接口(包括注释类型)或枚举声明   */
    TYPE,
    /** 字段声明(包括枚举常量) */
    FIELD,
    /** 方法声明 */
    METHOD,
    /** 正式的参数声明 */
    PARAMETER,
    /** 构造函数声明 */
    CONSTRUCTOR,
    /** 局部变量声明 */
    LOCAL_VARIABLE,
    /** 注释类型声明*/
    ANNOTATION_TYPE,
    /** 程序包声明 */
    PACKAGE,
    /**类型参数声明*/
    TYPE_PARAMETER,
    /**类型的使用*/
    TYPE_USE
}
@Retention注解的生命周期

public enum RetentionPolicy {
    /** 编译器处理完后不存储在class中*/
    SOURCE,
    /**注释将被编译器记录在类文件中,但不需要在运行时被VM保留。 这是默认值*/
    CLASS,
    /**编译器存储在class中,可以由虚拟机读取*/
    RUNTIME
}

 

  • times():接口调用失败时,重试的次数。
  • waitTime():接口调用失败是,间隔多长时间再次调用。
  • int parts():进行分片时,每个分片的大小。

3.2 RetryUtil

源码

public class RetryUtil<V> {

    public Retryer<V> getDefaultRetryer(int times,long waitTime) {
        Retryer<V> retryer = RetryerBuilder.<V>newBuilder()
                .retryIfException()
                .retryIfRuntimeException()
                .retryIfExceptionOfType(Exception.class)
                .withWaitStrategy(WaitStrategies.fixedWait(waitTime, TimeUnit.MILLISECONDS))
                .withStopStrategy(StopStrategies.stopAfterAttempt(times))
                .build();
        return retryer;
    }
}

 

说明

  • RetryerBuilder:是用于配置和创建Retryer的构建器。
  • retryIfException:抛出runtime异常、checked异常时都会重试,但是抛出error不会重试。
  • retryIfRuntimeException:只会在抛runtime异常的时候才重试,checked异常和error都不重试。
  • retryIfExceptionOfType:允许我们只在发生特定异常的时候才重试。
  • withWaitStrategy:等待策略,每次请求间隔。
  • withStopStrategy:停止策略,重试多少次后停止。

3.3 RetryAspectAop

源码:

public class RetryAspectAop {
      public Object around(final ProceedingJoinPoint point) throws Throwable {
        Object result = null;
        final Object[] args = point.getArgs();
        boolean isHandler1 = isHandler(args);
        if (isHandler1) {
            String className = point.getSignature().getDeclaringTypeName();
            String methodName = point.getSignature().getName();
            Object firstArg = args[0];
            List<Object> paramList = (List<Object>) firstArg;
            //获取方法信息
            Method method = getCurrentMethod(point);
            //获取注解信息
            MethodPartAndRetryer retryable = AnnotationUtils.getAnnotation(method, MethodPartAndRetryer.class);
            //重试机制
            Retryer<Object> retryer = new RetryUtil<Object>().getDefaultRetryer(retryable.times(),retryable.waitTime());
            //分片
            List<List<Object>> requestList = Lists.partition(paramList, retryable.parts());
            for (List<Object> partList : requestList) {
                args[0] = partList;
                Object tempResult = retryer.call(new Callable<Object>() {
                    @Override
                    public Object call() throws Exception {
                        try {
                            return point.proceed(args);
                        } catch (Throwable throwable) {
                            log.error(String.format("分片重试报错,类%s-方法%s",className,methodName),throwable);
                            throw new RuntimeException("分片重试出错");
                        }
                    }
                });
                if (null != tempResult) {
                    if (tempResult instanceof Boolean) {
                        if (!((Boolean) tempResult)) {
                            log.error(String.format("分片执行报错返回类型不能转化bolean,类%s-方法%s",className,methodName));
                            throw new RuntimeException("分片执行报错!");
                        }
                        result = tempResult;
                    } else if (tempResult instanceof List) {
                        if(result ==null){
                            result =Lists.newArrayList();
                        }
                        ((List) result).addAll((List) tempResult);
                    }else {
                        log.error(String.format("分片执行返回的类型不支持,类%s-方法%s",className,methodName));
                        throw new RuntimeException("不支持该返回类型");
                    }
                } else {
                    log.error(String.format("分片执行返回的结果为空,类%s-方法%s",className,methodName));
                    throw new RuntimeException("调用结果为空");
                }
            }
        } else {
            result = point.proceed(args);
        }
        return result;
    }
    private boolean isHandler(Object[] args) {
        boolean isHandler = false;
        if (null != args && args.length > 0) {
            Object firstArg = args[0];
            //如果第一个参数是list 并且数量大于1
            if (firstArg!=null&&firstArg instanceof List &&((List) firstArg).size()>1) {
                isHandler = true;
            }
        }
        return isHandler;
    }
    private Method getCurrentMethod(ProceedingJoinPoint point) {
        try {
            Signature sig = point.getSignature();
            MethodSignature msig = (MethodSignature) sig;
            Object target = point.getTarget();
            return target.getClass().getMethod(msig.getName(), msig.getParameterTypes());
        } catch (NoSuchMethodException e) {
            throw new RuntimeException(e);
        }
    }
}

 

说明:

getCurrentMethod:获取方法信息即要做分片的批量调用的接口。
isHandler1:判断是否要做分片处理,只有第一参数是list并且list 的值大于1时才做分片处理。
around:具体分片逻辑。

  1. 获取要分片方法的参数。
  2. 判断是否要做分片处理。
  3. 获取方法。
  4. 获取重试次数、重试间隔时间和分片大小。
  5. 生成重试器。
  6. 根据设置的分片大小,做分片处理。
  7. 调用批量接口并处理结果。

4 功能使用

4.1 配置文件

 

4.2 代码示例

@MethodPartAndRetryer(parts=100)
public Boolean writeBackOfGoodsSN(List<SerialDTO> listSerial,ObCheckWorker workerData)

 

只要在需要做分片的批量接口方法上,加上MethodPartAndRetryer注解就可以,重试次数、重试间隔时间和分片大小可以在注解时设置,也可以使用默认值。

5 小结

通过自定义分片工具,可以快速地对老代码进行分片处理,而且增加了重试机制,提高了程序的可用性,提高了对老代码的重构效率。


 

与基于Spring-AOP的自定义分片工具相似的内容:

基于Spring-AOP的自定义分片工具

作者:陈昌浩 1 背景 随着数据量的增长,发现系统在与其他系统交互时,批量接口会出现超时现象,发现原批量接口在实现时,没有做分片处理,当数据过大时或超过其他系统阈值时,就会出现错误。由于与其他系统交互比较多,一个一个接口做分片优化,改动量较大,所以考虑通过AOP解决此问题。 2 Spring-AOP

Spring 面向切面编程AOP 详细讲解

1. Spring 面向切面编程AOP 详细讲解 @目录1. Spring 面向切面编程AOP 详细讲解每博一文案2. AOP介绍说明2.1 AOP的七大术语2.2 AOP 当中的 切点表达式3. 使用Spring 对 AOP 的实现使用3.1 准备工作3.2 Spring 基于AspectJ的AO

Java面试题:Spring框架除了IOC和AOP,还有哪些好玩的设计模式?

Spring是一个基于Java的企业级应用程序开发框架,它使用了多种设计模式来实现其各种特性和功能。本文将介绍一些在Spring中使用的常见设计模式以及相应的代码示例和说明。

聊聊Spring IOC容器的注入方式

为什么要说这个? 对于Spring体系而言,我个人认为最重要的就是IOC容器,其次才是AOP、Context等模块;因为这些模块功能是或搭建或集成在IOC容器这个基础设施之上的。 直接基于Spring框架体系做开发时,可以通过常用的JavaConfig或XML方式将对象的生命周期及装配由容器原生的接

基于 Spring Cloud 的微服务脚手架

基于 Spring Cloud 的微服务脚手架 作者: Grey 原文地址: 博客园:基于 Spring Cloud 的微服务脚手架 CSDN:基于 Spring Cloud 的微服务脚手架 本文主要介绍了基于 Spring Cloud Finchley 和 Spring Boot 2.0.x 版本

基于Spring Cache实现Caffeine、jimDB多级缓存实战

在早期参与涅槃氛围标签中台项目中,前台要求接口性能999要求50ms以下,通过设计Caffeine、ehcache堆外缓存、jimDB三级缓存,利用内存、堆外、jimDB缓存不同的特性提升接口性能, 内存缓存采用Caffeine缓存,利用W-TinyLFU算法获得更高的内存命中率;同时利用堆外缓存降低内存缓存大小,减少GC频率,同时也减少了网络IO带来的性能消耗;利用JimDB提升接口高可用、高并

基于Spring事件驱动模式实现业务解耦

事件驱动模式 举个例子🌰 大部分软件或者APP都有会有会员系统,当我们注册为会员时,商家一般会把我们拉入会员群、给我们发优惠券、推送欢迎语什么的。 值得注意的是: 注册成功后才会产生后面的这些动作; 注册成功后的这些动作没有先后执行顺序之分; 注册成功后的这些动作的执行结果不能互相影响; 传统写法

基于Spring事务的可靠异步调用实践

SpringTxAsync组件是仓储平台组(WMS6)自主研发的一个专门用于解决可靠异步调用问题的组件。 通过使用SpringTxAsync组件,我们成功地解决了在仓储平台(WMS6)中的异步调用需求。经过近二年多的实践并经历了两次618活动以及两次双11活动,该组件已经在我们的所有应用中稳定运行并

聊聊Spring Cloud Gateway

Spring Cloud Gateway是基于Spring Boot 2.0、Spring WebFlux和Project Reactor等技术开发的网关,它不仅提供了统一的路由请求的方式,还基于过滤链的方式提供了网关最基本的功能;解决了Spring Cloud Zuul的性能问题。

Spring源码阅读系列--全局目录

> 阅读之前要注意的东西:本文就是主打流水账式的源码阅读,主导的是一个参考,主要内容需要看官自己去源码中验证。全系列文章基于 spring 源码 5.x 版本。 写在开始前的话: 阅读spring 源码实在是一件庞大的工作,不说全部内容,单就最基本核心部分包含的东西就需要很长时间去消化了: - be