百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术流 > 正文

SpringBatch从入门到放弃010- 通过一个例子看多线程的配置

citgpt 2024-06-27 19:58 7 浏览 0 评论

在Spring Batch 中开启多线程需要两个两个值:

  • throttleLimit:线程数(最佳线程数目 = ((线程等待时间+线程CPU时间)/线程CPU时间 )* CPU数目)
  • taskExecutor:如果是多线程,需要将这个参数设置成线程池,默认是一个简单异步执行器

现在我们开始今天的Demo, 这个Demo实现一个SB功能,就是多线程从数据库读出来数据,然后在Writer答应出读出的对象。

SpringBatch从入门到放弃010- 通过一个例子看多线程的配置

话不多说,先创建一个Spring -Batch的工程(SpringBatch从入门到放弃001- HelloWorld)。

配置一个Reader,我们选用JdbcPagingItemReader,这里需要注意的是对于多线程Batch,需要考虑Reader的线程安全问题,因为在多线程情况下,会导致Reader中的 如果你还不知道那些Reader 实现线程安全的,可以参考另一文章:SpringBatch从入门到放弃006- ItemReader

?

其实实现Reader线程安全问题非常简单,我们打开JdbcPagingItemReader的源码,在Javadoc 里面是这样描述:这是一个线程安全的实现在调用open()方法之间,如果在多线程中使用,需要设置saveState=false(但是这样就会不支持重启)。

?

那么他是如何线程安全的呢?,继续看源码,在AbstractPagingItemReader.doRead()方法中我们看到了synchronized,这里是不是恍然大悟?

?

Processor 没有要求是线程安全的,所以定义成普通的就好了, Writer 要求线程安全,但是我们需求不需要线程安全,所以也定义成常规的就好了。

?

核心的配置来了,我们首先定义了一个线程池ThreadPoolTaskExecutor,然后将这个任务执行线程池定义到Step中去,在给step 设置throttleLimit 设置成5。这样就实现了多线程。

?

我们注意到reader是分页读,每次读取3个元素,chunkSize 是 5 ,代表每五次写一次,那么Reader/Processor/Writer 是怎么匹配执行的呢?这里先卖个关子后边的章节我们会说到。

定义一个Junit,查看运行结果。

?

我们可以看到多个线程在执行Job。

?

这一节只是简单介绍一个Spring Batch 多线程的配置,下个章节鹏哥将通过源码,像大家展示,Spring Batch 多线程是怎么实现的。

相关推荐

js中arguments详解

一、简介了解arguments这个对象之前先来认识一下javascript的一些功能:其实Javascript并没有重载函数的功能,但是Arguments对象能够模拟重载。Javascrip中每个函数...

firewall-cmd 常用命令

目录firewalldzone说明firewallzone内容说明firewall-cmd常用参数firewall-cmd常用命令常用命令 回到顶部firewalldzone...

epel-release 是什么

EPEL-release(ExtraPackagesforEnterpriseLinux)是一个软件仓库,它为企业级Linux发行版(如CentOS、RHEL等)提供额外的软件包。以下是关于E...

FullGC详解  什么是 JVM 的 GC
FullGC详解 什么是 JVM 的 GC

前言:背景:一、什么是JVM的GC?JVM(JavaVirtualMachine)。JVM是Java程序的虚拟机,是一种实现Java语言的解...

2024-10-26 08:50 citgpt

使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
跨域(CrossOrigin)

1.介绍  1)跨域问题:跨域问题是在网络中,当一个网络的运行脚本(通常时JavaScript)试图访问另一个网络的资源时,如果这两个网络的端口、协议和域名不一致时就会出现跨域问题。    通俗讲...

微服务架构和分布式架构的区别

1、含义不同微服务架构:微服务架构风格是一种将一个单一应用程序开发为一组小型服务的方法,每个服务运行在自己的进程中,服务间通信采用轻量级通信机制(通常用HTTP资源API)。这些服务围绕业务能力构建并...

深入理解与应用CSS clip-path 属性
深入理解与应用CSS clip-path 属性

clip-pathclip-path是什么clip-path 是一个CSS属性,允许开发者创建一个剪切区域,从而决定元素的哪些部分可见,哪些部分会被隐...

2024-10-25 11:51 citgpt

HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
Request.ServerVariables 大全

Request.ServerVariables("Url")返回服务器地址Request.ServerVariables("Path_Info")客户端提供的路...

python操作Kafka

目录一、python操作kafka1.python使用kafka生产者2.python使用kafka消费者3.使用docker中的kafka二、python操作kafka细...

Runtime.getRuntime().exec详解

Runtime.getRuntime().exec详解概述Runtime.getRuntime().exec用于调用外部可执行程序或系统命令,并重定向外部程序的标准输入、标准输出和标准错误到缓冲池。...

promise.all详解 promise.all是干什么的
promise.all详解 promise.all是干什么的

promise.all详解promise.all中所有的请求成功了,走.then(),在.then()中能得到一个数组,数组中是每个请求resolve抛出的结果...

2024-10-24 16:21 citgpt

Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解

取消回复欢迎 发表评论: