百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术流 > 正文

还不会文件分片处理?3分钟带你实现SpringBatch的文件分片

citgpt 2024-06-27 19:59 10 浏览 0 评论

SpringBatch从入门到放弃011- 文件分区处理

昨天鹏哥写了一个关于数据库分区处理的例子,有朋友反馈说项目不会用文件分区的方法,今天鹏哥就带大家一起看看Batch是如何实现文件分区处理的。

使用技术:
1. Spring Boot
2. Spring Batch

先来一波需求分析。我们这个例子实现一个简单的需求,就是将一个目录下边的文件读出来,在每一行前边加上读这行文件的线程名称,然后打印出来。所以我们第一先在resource下边新建三个文件:

还不会文件分片处理?3分钟带你实现SpringBatch的文件分片

?

文件里面写几行数据:

?

好了,准备工作已经做完了,下边开始干活吧。

Step 1: 新建一个Spring Boot的工程,引入Spring Batch 的依赖

如果一直关注鹏哥的话,这一步应该不在话下了,已经成为每天的必修课了。如果还不会请自觉面壁思过,然后重读文章SpringBatch从入门到放弃001- HelloWorld

Step 2: 配置文件的分区规则

这里鹏哥采用一个文件一个分区的方式,使用Batch自带的MultiResourcePartitioner 来实现分区规则,这里有个小的知识点就是如何根据路径获取Resource[] 。keyName 是我们要往ExecuteContext 里面放置参数时的key,在下边Reader里面读取这个参数时需要。

?

Step 3: 配置Reader/Processor/Writer

因为是读文件,我们选用FlatFileItemReader 作为我们的Reader 实现。同时传入Context 中的文件路径作为Resource 。这里只是一个文件路径,Spring 会自动帮我们把文件的路径转化为一个Resource对象。

?

Processor 则是在每一行读出的数据前边加上鹏哥的网名。

?

Writer 是在每一行的前边加上当前线程的名称。

?

Step 4:为Step 添加Listener

参照前边数据库分区的例子SpringBatch从入门到放弃011- 一个典型的数据库分片处理的例子

Step 5:定义执行业务逻辑的Step

定义方法和之前数据库分区的一样。?

Step 6: 定义执行Step的Handler

我们使用TaskExecutorPartitionHandler 作为我们的载体。

?

Step 7: 定义master Step

?

Step 8: 组装Job

?

Step 9:测试Job,并查看结果

我们在Listener 中打印出来每一个线程对应的Step Name和ExecuteContext 的值。分析日志我们看出,三个文件我们分了三片执行,每一片使用那个线程,执行那个文件也清晰的反应在了日志里面。

?

在来看Writer 里面打印出来的日志,也能看出多线程执行了程序,每个线程执行执行了什么内容,也能清晰的反应。

?

好了,今天的文件分区执行的例子已经分享完了,现实项目中可以直接按照这个例子配置即可,当然因为不同的需求不同,分区规则肯定也不同,这个需要每个项目自己客户化的。

为了排版美观,鹏哥采用了图片的形式在展示源码,有需要源码的鹏哥,可以联系鹏哥索取。

相关推荐

js中arguments详解

一、简介了解arguments这个对象之前先来认识一下javascript的一些功能:其实Javascript并没有重载函数的功能,但是Arguments对象能够模拟重载。Javascrip中每个函数...

firewall-cmd 常用命令

目录firewalldzone说明firewallzone内容说明firewall-cmd常用参数firewall-cmd常用命令常用命令 回到顶部firewalldzone...

epel-release 是什么

EPEL-release(ExtraPackagesforEnterpriseLinux)是一个软件仓库,它为企业级Linux发行版(如CentOS、RHEL等)提供额外的软件包。以下是关于E...

FullGC详解  什么是 JVM 的 GC
FullGC详解 什么是 JVM 的 GC

前言:背景:一、什么是JVM的GC?JVM(JavaVirtualMachine)。JVM是Java程序的虚拟机,是一种实现Java语言的解...

2024-10-26 08:50 citgpt

使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
  • 使用Spire.Doc组件利用模板导出Word文档
跨域(CrossOrigin)

1.介绍  1)跨域问题:跨域问题是在网络中,当一个网络的运行脚本(通常时JavaScript)试图访问另一个网络的资源时,如果这两个网络的端口、协议和域名不一致时就会出现跨域问题。    通俗讲...

微服务架构和分布式架构的区别

1、含义不同微服务架构:微服务架构风格是一种将一个单一应用程序开发为一组小型服务的方法,每个服务运行在自己的进程中,服务间通信采用轻量级通信机制(通常用HTTP资源API)。这些服务围绕业务能力构建并...

深入理解与应用CSS clip-path 属性
深入理解与应用CSS clip-path 属性

clip-pathclip-path是什么clip-path 是一个CSS属性,允许开发者创建一个剪切区域,从而决定元素的哪些部分可见,哪些部分会被隐...

2024-10-25 11:51 citgpt

HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
  • HCNP Routing&Switching之OSPF LSA类型(二)
Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
  • Redis和Memcached的区别详解
Request.ServerVariables 大全

Request.ServerVariables("Url")返回服务器地址Request.ServerVariables("Path_Info")客户端提供的路...

python操作Kafka

目录一、python操作kafka1.python使用kafka生产者2.python使用kafka消费者3.使用docker中的kafka二、python操作kafka细...

Runtime.getRuntime().exec详解

Runtime.getRuntime().exec详解概述Runtime.getRuntime().exec用于调用外部可执行程序或系统命令,并重定向外部程序的标准输入、标准输出和标准错误到缓冲池。...

promise.all详解 promise.all是干什么的
promise.all详解 promise.all是干什么的

promise.all详解promise.all中所有的请求成功了,走.then(),在.then()中能得到一个数组,数组中是每个请求resolve抛出的结果...

2024-10-24 16:21 citgpt

Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解
  • Content-Length和Transfer-Encoding详解

取消回复欢迎 发表评论: