flume如何安装并整合kafka

这篇文章给大家分享的是有关flume如何安装并整合kafka的内容。小编觉得挺实用的，因此分享给大家做个参考，一起跟随小编过来看看吧。Flume agent之间的通信（参考图书）cd /data/
wget http://mirrors.hust.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
tar axf apache-flume-1.8.0-bin.tar.gz
cd apache-flume-1.8.0-binvim /etc/profilesource /etc/profilecd ${FLUME_HOME}/conf/
cp flume-env.sh.template flume-env.sh
修改 flume-env.sh验证安装
flume-ng version
cd ${FLUME_HOME}/conf/
添加配置文件
vim avro.conf“#测试agent.sources.avroSrc.type用avro，然后报错
#org.apache.avro.AvroRuntimeException: Excessively large list #allocation request detected: 1863125517 items! Connection #closed”运行flume agent
flume-ng agent -f /data/apache-flume-1.8.0-bin/conf/avro.conf -n agent -Dflume.root.logger=INFO,console使用Telnet连接测试
telnet localhost 6200

查看
cd ${FLUME_HOME}/conf/
添加配置文件
vim exec.conf运行flume agent
flume-ng agent -f /data/apache-flume-1.8.0-bin/conf/exec.conf –name agentexec -Dflume.root.logger=INFO,console测试

尴尬，只获取到了一部分（暂时没有占到解决方法）前提：安装kafka集群
cd ${FLUME_HOME}/conf/
添加配置文件
vim single_agent.conf创建文件存放目录（所有节点）启动kafka集群创建kafka的topic查看topic创建kafka的consumer（新窗口）启动flume的agent写入测试
[root@master conf]# echo “hello ,test flume spooldir source” >> /tmp/spooldir/spool.txt
flume-ng信息

kafka信息
前提：安装hbase集群
cd ${FLUME_HOME}/conf/
mkdir hbase && cd hbase
添加配置文件，这里需要两个agent端
hbase-back.conf用于收集本地数据，hbase-front.conf用于将数据写入hbase
vim hbase-back.confvim hbase-front.conf创建本地文件和目录
mkdir -pv /tmp/test/data && touch /tmp/test/data/data.txt
创建hbase中的表
hbase shell
创建表
create ‘access_log’,’t’
查看
list

启动back agent启动后会报错18/01/22 22:29:28 WARN sink.AbstractRpcSink: Unable to create Rpc client using hostname: 192.168.3.58, port: 9999
org.apache.flume.FlumeException: NettyAvroRpcClient { host: master, port: 9999 }: RPC connection error这是因为avro连接没有完成，现在只启动了sink端，没有s 香港云主机ource端，等启动了front后就会显示连接上了

启动front agent向本地文件中追加内容，然后在hbase中查看写入的过程中两个agent不会打印日志
查看hbase中的数据flume向hbase中写入日志会有一定时间的延迟
原理和写入hbase一样，理解了hbase写入流程就很好理解写入其它服务了，详细配置参考官方文档。
前提：安装hadoop集群
cd ${FLUME_HOME}/conf/
mkdir hdfs && cd hdfs
添加配置文件，这里需要两个agent端
hadoop-back.conf用于收集本地数据，hadoop-front.conf用于将数据写入hadoop
vim hadoop-back.confvim hadoop-front.conf创建本地目录并修改权限创建hdfs中的目录并修改权限
向本地目录中写入文件查看hdfs中的文件和文件信息感谢各位的阅读！关于“flume如何安装并整合kafka”这篇文章就分享到这里了，希望以上内容可以对大家有一定的帮助，让大家可以学到更多知识，如果觉得文章不错，可以把它分享出去让更多的人看到吧！

相关推荐: Centos7搭建RabbitMQ集群及单机多节点部署和rabbitmq理论解析

本片博客简单介绍rabbitmq单节点以及集群的配置安装，使用和rabbitmq的命令，和图形界面简单的介绍使用话不多说直接进入正题，首先介绍下rabbitmq：rabbitmq的历史：RabbitMQ是一个由erlang开发的AMQP（Advanced Me…