本篇文章给大家分享的是有关flink 1.11中的CDC是什么意思，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等，用户可以在以下的场景下使用CDC：使用flink sql进行数据同步,可以将数据从一个数据同步到其他的地方，比如mysql、elasticsearch等。可以 香港云主机在源数据库上实时的物化一个聚合视图因为只是增量同步，所以可以实时的低延迟的同步数据使用EventTime join 一个temporal表以便可以获取准确的结果flink 1.11 将这些changelog提取并转化为table apa和sql，目前支持两种格式：Debezium和Canal，这就意味着源表不仅仅是append操作，而且还有upsert、delete操作。接下来我们使用canal为例简单介绍下CDC的使用canal 格式：简单讲下几个核心的字段:type : 描述操作的类型，包括‘UPDATE’, ‘INSERT’, ‘DELETE’。data : 代表操作的数据。如果为’INSERT’，则表示行的内容；如果为’UPDATE’，则表示行的更新后的状态；如果为’DELETE’，则表示删除前的状态。old ：可选字段，如果存在，则表示更新之前的内容，如果不是update操作，则为 null。完整的语义如下;canal 格式也是作为一种flink的格式，而且是source，所以也就是涉及到读取数据的时候进行反序列化，我们接下来就简单看看CanalJson的反序列化的实现。具体的实现类是CanalJsonDeserializationSchema。我们看下这个最核心的反序列化方法：以上就是flink 1.11中的CDC是什么意思，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注开发云行业资讯频道。
Hi-C数据处理分析的利器Juicer是怎样的，针对这个问题，这篇文章详细介绍了相对应的分析和解答，希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。通过Hi-C数据可 香港云主机以分析TAD,chromatin loops等染色质空间结构的基本单元…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
