SPLUNK 4.3强势登陆 3月01

Tags

Related Posts

SPLUNK 4.3强势登陆

mf700-02786844

2012年1月,Splunk发布了最新版本4.3,得知新版本的发布后,我马上到Splunk的官网下载并安装到自己的虚拟机上做了一番测试理解。

下面我们就Splunk 4.3的新特性和新功能进行逐一尝鲜。

新功能

用户界面增强

新版本全面增加了对iOS系统设备的浏览支持,使用基于html5的UI,在苹果的IPhone及IPAD上都可以访问splunk 的web界面,这在iOS横行的年代着实提高了用户对Splunk的可操作性。

而在其他的操作界面上,Splunk 4.3也在之前版本的基础上做了很大改进,主要包括:

  • 搜索栏与时间操作栏的集成,使Splunk的搜索页面更加连贯美观,界面浑然一体。

  • 将仪表台编辑、告警编辑、预约搜索等高能按钮统一到界面上的同一个按钮,便于用户的理解和操作。


  • 在对仪表盘进行编辑时,可以对仪表盘中的视图进行随意的拖拽和细节编辑,增加了用户对仪表盘进行编辑时的直观度和灵活性。
  • 在各界面上增加了大量直观的操作按钮,更便于用户对自己的Splunk进行快速操作。


  • 增加了搜索结果导出的功能,使用户可以随意导出搜索结果为特定格式,供数据探讨及存档使用。


  • 极大简化了保存特定搜索的流程,提高编辑效率。
  • 更丰富的告警分类模式,使各种告警类别一目了然。

  • 现在用户自己可以对界面上方讨厌的信息提示进行编辑了,在后台的管理->用户界面->Bulletin Messages中可以对界面的提示信息进行随意的修改,以后再也不用看到那些无关紧要的信息占据着自己的Splunk界面了。


新特性-Bloom Filters提高搜索效率

新版本的Splunk会为各种搜索建立buckets,这种机制可以大幅提高Splunk的搜索效率。

而设置的方法也是非常简单,首先修改/opt/splunk/etc/system/default/limits.conf文件,[search]段落中use_bloomfilter的值,设置为true/false来确定是否打开bloom filters功能;然后修改每一个app中的indexes.conf文件,通过设置bloomHomePath的值来定义bloom filters文件的路径,修改createBloomfilter的值来设置是否建立一个bloom filters文件。

新特性- Real time backfill完整数据视图

当开始进行一次实时搜索时,可以设置Splunk是否将开始时间点之前,指定的时间窗口大小之内的事件也显示出来。例如,选择实时搜索时间间隔为5分钟,开始实时搜索的时间点为12:00,则可以设置,在开始进行搜索时,是否将11:55–12:00以内符合条件的事件也显示出来。可以通过修改/opt/splunk/etc/system/default/limits.conf文件,[realtime]段落中的default_backfile值来设置是否开启realtime backfill特性。

新功能-导入数据预览

在旧版本的Splunk中,有时会发生这样的情况:当我们把所有的数据都导入到Splunk中进行索引后,发现Splunk的处理结果与我们预想的情况并不一致,那么这时如果对已经导入的数据进行删除操作或是调整都会非常困难,并且也白白浪费掉License的流量。

在Splunk 4.3中,用户可以在正式导入数据前先进行一次测试,预览Splunk对导入数据处理的结果,导入数据预览可以有效避免导入数据时的失误。

用户在点击数据导入->文件或目录界面中的新建按钮时,会弹出数据预览的界面,选择一个希望导入Splunk的文件样本,按continue继续。

选择新数据的来源类型,可以创建新的来源类型,也可以使用预定义好的来源类型,如果预览的结果不符合实际需求,可以通过预定义来源类型来对Splunk的处理结果进行调整。

数据预览界面,可以预览Splunk对数据的时间戳判断以及断行的情况,对于Splunk无法正确判别的事件,会产生一个提示并将文件的修改时间作为该事件的时间戳。


若需要对导入数据的处理结果进行调整,点击预览界面左上角的adjust timestamp and event break settings连接,打开的调整界面可以对数据的断行以及时间戳判别进行调整。

数据处理结果调整完成后,点击预览界面右下角的continue按钮继续,如果之前选择预览数据时来源类型为新类型,则为可以将调整完成的数据保存为一个新的来源类型,保存完成后便可以利用新建的数据来源类型模板来批量导入新的数据了,批量导入数据时还可以将来源类型设置为之前保存好的来源类型模板。

新功能- Per-result alerting针对特定事件告警

Per-result alerting功能可以实时的根据特定事件产生告警,例如,实时搜索客户端地址为192.168.100.120的连接请求,(index=”test1″ clientadr=”192.168.100.120″),一旦发生这样的事件便产生一条告警信息。




新功能-多用户时区

在大型网络中会有处于不同时区的用户对系统数据进行访问,所以Splunk在新版本中开始支持可以针对不同的用户设置不同时区,以便处于不同时区的用户在对数据进行查看时可以根据自己所处的时区获得正确的时间。

新功能-结构化格式文件处理

由于越来越多的IT数据采用结构化格式,例如XML及JSON,为了更好地解析这些数据,Splunk提供了新的命令spath用于对结构化格式的数据进行处理。

其中input表示源数据的字段名,output表示输出数据的字段名,path可以指出源数据的路径。例如对于XML数据:

可以用语句…| spath output=company path=results.result.field.value,将value的值赋给变量company,继而可以在后面的语句中对字段company的数据进行处理。

这一新的命令大大提高了Splunk对结构化格式数据的处理能力,也让用户处理当前大量存在的结构化IT数据时增加了更多的方法,例如一些应用及设备配置。

其他新特性

除了上面描述的功能之外,Splunk 4.3还加入了LDAP的用户身份认证方式的支持,以及对IPv6的支持,同时,Splunk网页界面现在更符合第508节合规中的要求。

将xml转换为excel表格

有时我们会遇到这样的问题,某些日志或配置文件是用xml格式进行保存的,但是对于一些并不习惯xml格式,或是根本就看不懂xml格式的人员来说(例如我),阅读这些数据就显得比较痛苦,因为很多的元素及值并不是工整排列的,这与我们曾经遇到过一些工整的数据相比阅读起来要吃力得多。

在Splunk 4.3中,这个问题得到了很好得解决,在这里我们简单的以MSN的聊天记录为例子,看看Splunk 4.3如何把混乱的xml格式的聊天记录输出成为更易于阅读的工整表格。

首先我们看看MSN的聊天记录原本是什么样子的,用文本编辑器随便打开一个MSN聊天记录文件xxxx.xml:

这是什么。。?xml格式的聊天记录排列混乱,虽然看得到聊天的内容,但是每一句话的具体时间、发送方、接收方都很难看清楚,不过没问题,现在我们可以用Splunk对这些内容进行简单的处理更方便我们查看:

把数据导入到Splunk以后用Spath语句对内容稍作处理,搜索语句如下:


完成后的显示结果与我们日常看到的聊天记录格式便一致了。

下面我们把这段聊天记录导出成为excel的表格格式,点击文本框上方的“导出”按钮,输入导出结果的文件名,选择导出格式为CSV。

输出后结果如下,然后我们可以便用excel来对CSV文件进行阅读、修改或是存档了。

更灵活的告警

下面来看看Splunk 4.3新的告警功能,新的告警系统现在可以支持针对特定事件进行实时的告警,用户设置好一个特定的事件以后,Splunk会进行一个实时的检测,一旦检测到有这样的结果返回时,便会触发一条告警。

以上面的数据为例,2月20号会有一个用户现场培训,我们可以事先在Splunk中预先把包含关键字“用户”或“客户”这样的信息定义成为一个实时告警,以表达我们对这类信息的重视,那么Splunk一旦发现有这样的信息产生时,便会进行实时告警。

首先在搜索栏中使用如下搜索语句:

得到返回结果后点击搜索栏右下方的“创建”->“Alert”按钮来建立一个告警。

输入告警的名称,在“计划任务”栏选择”Trigger in real-time whenever a result matches”,设定一旦有该类型事件产生便出发一条告警信息。


为该告警设置细节,例如发送Email、执行脚本等等,完成。随后我们手动在这个MSN的聊天记录里加上一条信息包含“用户”关键字的信息,查看一下Splunk的告警管理器以及邮箱,嗯,告警已经实时产生了。


除此之外,在上面例子的聊天记录中我还了解到,3月15日变形金刚5上映,可是现在才2月初,万一我到时忘记了去看首映怎么办?没关系,Splunk可以设置安计划任务进行搜索,只要在建立告警时选择“Run on a schedule once every…”的计划任务类型,并设定好相应的计划任务。如果熟悉Linxu的Cron任务调度命令的同学在这里必定能快速设定好自己所需要的告警时间,否则,也可以使用Splunk已经预先设定好的搜索计划,如每天、每小时等。


都设置好以后,Splunk就会在指定的时间里执行搜索并发出相应的告警,在这里我们设置的是在2月13日和3月13日这两天里每5分钟就搜索并告警一次,这就不怕3月15日变形金刚5首映之前我会忘记这件事情啦。

结束语

前面我们只是用了一个简单的MSN聊天记录的例子来对Splunk 4.3的一些新功能进行测试,其实未必有实际的意义,但从测试功能我们确实可以看到,新版本的Splunk有了很多的变化的改进。

总体来说,Splunk 4.3较之前版本无论在操作性和界面美观都有了很大提高,并且还增加了如结构化格式文件处理、针对事件产生告警以及导入数据预览等新的功能,解决了我们在之前的版本里发现的一些局限性。可以说,进入4.3时期的Splunk给了我们耳目一新的感觉,使用户在使用时方法更加灵活多变,正如Splunk官网的的总结所说:

Splunk 4.3 – Easier to use, more powerful and now mobile. It’s the best Splunk yet.

By Peter