大数据时代里,运维工程师的自我修养
“凡是过去,皆为序曲”
---莎士比亚
前言:本文其实是给公司写的一篇文章,不过因为时间仓促,当时文章并没有关于代码的分析,只是关于数据的展示,不过觉得很有价值,所以再做分享。
了解我的人,当然知道,本宝宝要大家跟我做的第一件事是什么~
首先,大家跟我念,Python大fa好。
本文皆是一家之言,如有偏颇还望指正。
在笔者的看来,如果数据不能可视化话,那么很大程度来说就是在扯淡,当然数据可视化也仅仅是万里长征第一步。数据就像一堆堆的石子,也许不能就这一篇文章带领大家观其全貌,但至少管中窥豹,可见一斑。
那么数据到底长什么样呢?
如果你Excel足够牛逼我想你是能够用excel做出足够厉害的图的,但也只是足够而已。
但这只是冰山一角,还远远不够,工具谁能用,怎么用是一个层次,在这基础上再次利用则是另一个层次,为了文章篇幅,本文主要着重于后者并将视线锁定在日志数据,其他数据暂不考虑。
日志的数据至少得有三个作用
一:数据应该能说明问题或者现象。
二:数据应该能解决问题。
三:数据应该能预测与预防问题。
第一点很好理解那就是,数据在可视化的过程能够很直观的说明问题或者现象,即使通过最基本的提取过滤,我们能够知道在一段时间内多大的访问量,客户端的设备是什么,响应时间多少,在往下细化,应该是每个ip的访问次数,并且访问了什么内容,常访问什么内容,在知道响应时间的前提上,了解哪个访问链接耗时最长等等,以及一些可能职责之外的事,具体细节请自行脑洞。
注:不要问我为什么不用ELK自带的热点图,两个字,任性~


