Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系统


这期内容当中小编将会给大家带来有关Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系统,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。由于logstash内存占用较大,灵活性相对没那么好,ELK正在被EFK逐步替代.其中本文所讲的EFK是Elasticsearch+Fluentd+Kfka,实际上K应该是Kibana用于日志的展示,这一块不做演示,本文只讲述数据的采集流程.dockerdocker-composeapache kafka服务数据的产生使用cadvisor采集容器的监控数据并将数据传输到Kafka.数据的传输链路是这样: Cadvospr->Kafka->Fluentd->elasticsearch每一个服务都可以横向扩展,添加服务到日志系统中.docker-compose.yml其中:cadvisor产生的数据会传输到192.168.1.60这台机器的kafka服务,topic为kafeidouelasticsearch指定为单机模式启动(discovery.type=single-node环境变量),单机模式启动是为了方便实验整体效果fluent.conf其中:type为copy的插件是为了能够将fluentd接收到的数据复制一份,是为了方便调试,将数据打印在控制台或者存储到文件中,这个配置文件默认关闭了,只提供必要的es输出插件.
需要时可以将@type stdout这一块打开,调试是否接收到数据.输入源也配置了一个http的输入配置,默认关闭,也是用于调试,往fluentd放入数据.
可以在linux上执行下面这条命令:target_index_key参数,这个参数是将数据中的某个字段对应的值作为es的索引,例如这个配置文件用的是machine_name这个字段内的值作为es的索引.开发云主机域名在包含docker-compose.yml文件和fluent.conf文件的目录下执行:
docker-compose up -d在查看所有容器都正常工作之后可以查看一下elasticsearch是否生成了预期中的数据作为验证,这里使用查看es的索引是否有生成以及数据数量来验证:也可以直接在浏览器输入http://192.168.1.60:9200/_cat/indices?v查看结果,会更方便.可以看到我这里是用了machine_name这个字段作为索引值,查询的结果是生成了一个叫55a4a25feff6的索引数据,生成了1条数据(docs.count)到目前为止kafka->fluentd->es这样一个日志收集流程就搭建完成了.当然了,架构不是固定的.也可以使用fluentd->kafka->es这样的方式进行收集数据.这里不做演示了,无非是修改一下fluentd.conf配置文件,将es和kafka相关的配置做一下对应的位置调换就可以了.鼓励多看官方文档,在github或fluentd官网上都可以查找到fluentd-es插件和fluentd-kafka插件.上述就是小编为大家分享的Elasticsearch+Fluentd+Kafka怎么搭建分布式日志系统了,如果刚好有类似的疑惑,不妨参照上述分析进行理解。如果想知道更多相关知识,欢迎关注开发云行业资讯频道。

相关推荐: 测试MarkDown的代码示例分析

这期内容当中小编将会给大家带来有关测试MarkDown的代码示例分析,文章内容丰富且以专业的角度为大家分析和叙述,阅读完这篇文章希望大家可以有所收获。上述就是小编为大家分享的测试MarkDown的代码示例分析了,如果刚好有类似的疑惑,不妨参照上述分析进行理解开…

免责声明:本站发布的图片视频文字,以转载和分享为主,文章观点不代表本站立场,本站不承担相关法律责任;如果涉及侵权请联系邮箱:360163164@qq.com举报,并提供相关证据,经查实将立刻删除涉嫌侵权内容。

(0)
打赏 微信扫一扫 微信扫一扫
上一篇 05/17 10:24
下一篇 05/17 10:24

相关推荐