项目用了memcached缓存,但是在过完年回来上班的第二天项目首页挂了,重启后5分钟又挂了,大家着急的在找各种原因。
有一年多的下载日志准备一次性的导入到es,虽然通过redis削峰,但是出问题后发现日志信息都堆积在redis缓存里,logstash的indxer处理不过来就导致记日志挂了。
之前写了一篇博客如何编写logstash-filter插件,这个插件装上之后对数据进行过滤和添加列方便统计;但是现在有一个新的需求,es里已经存有一年的数据了,装上logstash-filter插件之后需要把数据重新导入一遍,在不打乱原有结构的前提下分析统计数据。找了两天解决办法,最后找到了写一个elasticsearch插件来分析统计数据。
将memcached集成到spring项目中,并封装成通用方法给项目提供缓存支持!
本文教你如何编写logstash-filter插件,是我在实际的开发经验中汲取的一些经验,现在分享一下!
使用nginx logstash redis elasticsearch kibana搭建自己的日志平台,直接先看效果图