logstash的基本使用 一.logstash filter插件概述 数据从源传输到存储的过程中，logstash的filter过滤器能够解析各种事件，识别已命名的字段结构，并将它们转换成通用格式，以便轻松，更快速地分析和实现商业价值。 常用的插件如下所示: (1)利用grok从非结构化数据中派生出结构; (2)利用geoip从IP地址分析出地理坐标; (3)利用useragent从请求中分析操…

部署logstash 一.数据格式分类 1.开场白 在互联网当中，我们查询的信息主要包括文章，音乐，视频，图片，网站信息等等。 传统意义上我们会将要查询的数据分为三大类，即结构化数据，非结构化数据和半结构化数据。 2.结构化数据 含义: 所谓的结构化数据我们一般会用特定的结构来组织和管理数据。 表现形式: 它一般表现为二维的表结构。 例如存储学生信息，它包括学生姓名，年龄，身份证号，家庭住址，监护…

配置filebeat实战案例 一.filebeat的输入源(input)配置案例 1.从标准输入读取数据 [root@elk101.oldboyedu.com ~/conf]# vim stdin-to-console.yaml [root@elk101.oldboyedu.com ~/conf]# [root@elk101.oldboyedu.com ~/conf]# cat stdin-to-…

部署filebeat 一、beats简介 Beats可以将数据直接发送到Elasticsearch或通过Logstash发送，您可以在此处进一步处理和增强数据，然后再在Kibana中进行可视化。 常用的Beats如下所示: 审计数据(Audit data): Auditbeat 日志文件(Log files): Filebeat 云数据(Cloud data): Functionbeat 监控检查…

ElasticSearch7.9之后版本的集群角色 一.配置角色的方式发生改变 1.角色的定义方式发生改变 在Elastic Stack 7.9之后的发布中，我们可以直接在Elasticsearch的配置文件中配置Node的角色 （node roles）。 这是一个新的变化。在 7.9 发布版之前，我们使用 node.master: true 这样的方式来定义一个 master 节点，但是从 7.…

ElasticSearch的工作原理篇 一.正排索引和倒排索引 1.提出问题：分片底层是如何工作的？ 分片是ElasticSearch最小的工作单元，但是究竟什么是一个分片，它是如何工作的？ 传统的数据库每个字段存储单个值，但这对全文检索并不够，文本字段的每个单词需要被搜索，对数据库意味着需要单个字段有索引多值的能力。 最好的支持是一个字段多个值需求的数据结构是倒排索引。 1.正排索引（forwa…

ElasticSearch的Restful API基本使用 [前置知识] 1.RESTful风格程序 REST(英文全称为:"Representational State Transfer")指的是一组架构约束条件和原则。它是一种软件架构风格（约束条件和原则的集合，但并不是标准）。 REST通过资源的角度观察网络，以URI对网络资源进行唯一标识，响应端根据请求端的不同需求，通过…

ElasticSearch集群部署 一.集群脚本准备 1.配置免密登录 [root@elk101.oldboyedu.com ~]# ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa [root@elk101.oldboyedu.com ~]# [root@elk101.oldboyedu.com ~]# ssh-copy-id elk101.o…

ElasticStack的应用场景及基础环境构建 一.为什么需要日志收集系统 1.企业的架构图画图说明，为引入下面的痛点 2.没有日志分析工具之前，运维工作存在哪些痛点？ - 痛点1：生产出现故障后，运维需要不停的查看各种不同的日志进行分析？是不是毫无头绪？ - 痛点2：项目上线出现错误，如何快速定位问题？如果后端节点过多、日志分散怎么办？ - 痛点3：开发人员需要实时查看日志但又不想给服务器的登…

kafka集群的压力测试 一.为什么要对kafka集群进行压测 (1)了解当前集群的处理能力的上限; (2)当修改集群的配置参数后，协助运维人员参考调优的结果; (3)以后参考压测的结果对集群进行扩容，留下有效的证据; 二.测试kafka的案例 install -d /tmp/kafka-test/ vi oldboyedu-kafka-test.sh inohup kafka-consumer-…