前置 创建实体类及初始化集合 12345678910111213static class User { public User(String name, Integer age) { this.name = name; this.age = age; // 忽略 get、set、toString、constructor } private static List<User&g...

一、前言：环境准备 蓝色字体可点击，安装包下载 Linux MySql 5.7 canal 1.1.4 canal-admin 1.1.4 kafka_2.12-2.5.0 apache-zookeeper-3.6.0 二、名词解释 canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 canal-admin 设计上是为canal提供整体配置管理、节点运维等面向运维的功能，提供相对友好的W...

一、简介SpringBoot框架中已经集成了redis，在1.x.x的版本时默认使用的jedis客户端，现在是2.x.x版本默认使用的lettuce客户端，两种客户端的区别如下： Jedis和Lettuce都是Redis Client Jedis 是直连模式，在多个线程间共享一个 Jedis 实例时是线程不安全的， 如果想要在多线程环境下使用 Jedis，需要使用连接池，每个线程都去拿自己的 Jedis 实例，当连接数量增多时，物理连接成本就较高了。 Lettuce的...

RestTemplate是Spring提供的用于访问Rest服务的客户端，RestTemplate提供了多种便捷访问远程Http服务的方法,能够大大提高客户端的编写效率。 我基于RestTemplate编写了一个工具类，方便使用。工具类提供之提供了GET、POST、DELETE请求方法，其他方法自行补充 Application启动类中实例RestTemplate 1234567891011121314@SpringBootApplication@RestCont...

JSch是Java Secure Channel的缩写。JSch是一个SSH2的纯Java实现。它允许你连接到一个SSH服务器，并且可以使用端口转发，X11转发，文件传输等，当然你也可以集成它的功能到你自己的应用程序。 本文只介绍如何使用JSch实现的SFTP功能。 SFTP是Secure File Transfer Protocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。SFTP 为 SSH的一部份，是一种传输文件到服务器的安全方式。SFTP是...

unitTestBase类，其他test类集成Base类 1234567891011121314151617181920212223242526272829303132333435363738394041424344454647484950515253545556575859606162636465666768697071727374757677787980818283848586878889909192939495969798991001011021031041051...

初始化、添加、切换数据源 1234567891011121314151617181920212223// 初始化默认MYSQL连接MysqlDataSourceUtil.getInstance().initDataSource();// 初始化默认HIVE连接HiveDataSourceUtil.getInstance().initDataSource();// 初始化其他MYSQL连接sourceService service = (sourceService) Sp...

pom.xml（SpringBoot版本1.5.9） 12345<!-- 集成mongodb --><dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-mongodb</artifactId></dependency> 配置文件 1234...

123456789@Bean(name = "crawlExecutorPool") public ExecutorService crawlExecutorPool() { // 获取Java虚拟机的可用的处理器数，最佳线程个数，处理器数*2。根据实际情况调整 int curSystemThreads = Runtime.getRuntime().availableProcessors() * 2; Syste...