这篇文章主要介绍“如何实现从RDBMS到Hadoop的实时流传输”，在日常操作中，相信很多人在如何实现从RDBMS到Hadoop的实时流传输问题上存在疑惑，小编查阅了各式资料，整理出简单好用的操作方法，希望对 香港云主机大家解答”如何实现从RDBMS到Hadoop的实时流传输”的疑惑有所帮助！接下来，请跟着小编一起来学习吧！Kafka用武之地：整体解决方案架构下图显示了在整体解决方案架构中，RDBMS的业务数据传递到目标 Hive 表格结合了 Kafka ， Flume和Hive交易功能。7步实时流传输到Hadoop现在深入到解决方案的详细信息，我会告诉你如何简单几步实时流输数据到Hadoop。1. 从关系数据库管理系统(RDBMS)提取数据所有关系数据库都有一个记录最近交易的日志文件。 我们的传输流解决方案的***步是，在能够传到Hadoop的信息格式中获得这些交易。 讲完提取机制得单独占用一篇博文–所以 如果你想了解更多此过程的信息， 请联系我们。2. 建立Kafka Producer发布消息到Kafka主题的过程被称为“生产者”。“主题”是Kafka保存的分类消息。 RDBMS的交易将被转换为Kafka话题。 对于该例，让我们想一想销售团队的数据库，其中的交易是作为Kafka主题发表的。 建立Kafka生产者需要以下步骤：3. 设置 Hive接下来，我们将在Hive中创建一张表，准备接收销售团队的数据库事务。 在这个例子中，我们将创建一个客户表：为了让Hive能够处理交易， 配置中需要以下设置：hive.txn.manager = org.apache.hadoop.hive.ql.lockmgr.dbtxnmanager4.设置Flume Agent，从Kafka到Hive流传输现在让我们来看看如何创建Flume代理，实现从Kafka主题中获取数据，发送到Hive表。遵循步骤来设置环境，然后建立Flume代理：接着，如下创建一个log4j属性文件：然后为Flume代理使用下面的配置文件：5.开启Flume代理使用如下命令开启Flume代理：$ /usr/hdp/apache-flume-1.6.0/bin/flume-ng agent -n flumeagent1 -f ~/streamingdemo/flume/conf/flumetohive.conf6.开启Kafka Stream如下示例，是一个模拟交易消息， 在实际系统中需要由源数据库生成。 例如，以下可能来自重复SQL交易的Oracle数据流，这些交易已提交到数据库， 也可能来自GoledenGate。7.接收Hive数据以上所有完成， 现在从Kafka发送数据， 你会看到，几秒之内，数据流就发送到Hive表了。到此，关于“如何实现从RDBMS到Hadoop的实时流传输”的学习就结束了，希望能够解决大家的疑惑。理论与实践的搭配能更好的帮助大家学习，快去试试吧！若想继续学习更多相关知识，请继续关注开发云网站，小编会继续努力为大家带来更多实用的文章！
随着计算机网络与信息化的不断发展,DT时代数据资源的多样性、庞大性、分布广泛性，导致信息安全问题日趋复杂,计算机网络的开放框架所带来的威胁层出不穷。面对严峻的网络安全形势,传统的信息安全系统从架构和强度上已经难有大的突破。人们在信息安全的实践中逐渐认识到,大多…
免责声明：本站发布的图片视频文字，以转载和分享为主，文章观点不代表本站立场，本站不承担相关法律责任；如果涉及侵权请联系邮箱：360163164@qq.com举报，并提供相关证据，经查实将立刻删除涉嫌侵权内容。
微信扫一扫 
