flink mysql数据接入的方法

这篇文章主要讲解了“flink mysql数据接入的方法”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“flink mysql数据接入的方法”吧！一.api方式接入1.添加依赖

com.alibaba.ververica

flink-connector-mysql-cdc

1.1
.
0

2.API代码public

static

void

main(String[] args)
throws

Exception {

SourceFunction sourceFunction = MySQLSource.builder()

.hostname(
"localhost"
)

.port(
3306
)

.databaseList(
"test"
)

.tableList(
"test"
)

.deserializer(
new

StringDebeziumDeserializationSchema())

.build();

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

env.addSource(sourceFunction)

.print().setParallelism(
1
);

env.execute();

}
二.sql方式接入1.添加jar包至lib下flink-sql-connector-mysql-cdc_1.1.0.jar2.mysql中创建表香港云主机create

table

test(
id
INT
,
name

varchar
(100),
description
varchar
(100),
weight
DECIMAL
(10,3)
)
3.创建元数据CREATE

TABLE

mysql_test (

id
INT

NOT

NULL
,

name

STRING,

description STRING,

weight
DECIMAL
(10,3)
)
WITH

(

'connector'

=
'mysql-cdc'
,

'hostname'

=
'localhost'
,

'port'

=
'3306'
,

'username'
=
'root'
,

'password'
=
'root'
,

'database-name'

=
'test'
,

'table-name'

=
'test'
);
4.使用查询sqlSELECT

id,
UPPER
(
name
), description, weight
FROM

mysql_test;
5.增加和删除表字段测试增加不影响删除表字段后，会出错[ERROR] Could not execute SQL statement. Reason:
org.apache.kafka.connect.errors.DataException: name is not a valid field name注：mysql的版本如果是8.0，flink端链接会出错com.github.shyiko.mysql.binlog.network.AuthenticationException: Client does not support authentication protocol requested by server; consider upgrading MySQL client出现上述问题的原因是：mysql8 之前的版本中加密规则是mysql_native_password,而在mysql8之后,加密规则是caching_sha2_password把mysql用户登录密码加密规则还原成mysql_native_password解决方案：在mysql中执行以下命令alter user ‘root’@’%’ identified with mysql_native_password by ‘root’; 修改认证规则flush privileges; 刷新权限感谢各位的阅读，以上就是“flink mysql数据接入的方法”的内容了，经过本文的学习后，相信大家对flink mysql数据接入的方法这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是开发云，小编将为大家推送更多相关知识点的文章，欢迎关注！

相关推荐: java如何使用StringBuilder反转字符串

这篇文章主要为大家展示了“java如何使用StringBuilder反转字符串”，内容简而易懂，条理清晰，希望能够帮助大家解决疑惑，下面让小编带领大家一起研究并学习一下“java如何使用StringBuilder反转字符串”这篇文章吧。使用 StringBui…