Quantcast
Channel: 猎豹移动技术博客 » Java
Viewing all articles
Browse latest Browse all 2

[flume-ng]使用memory channel和retail解决file channel的io问题

0
0

今天发现线上的服务器使用flume收集到的log比当前时间延后了几个小时,在公司服务端同事的帮助下,改进了flume的收集机制,最终使io回复到了无压力的状态。

以下是本次修改的过程和总结:

问题排查: flume收集到的log时间比当前时间延后了3个小时,经过登陆服务器查看,发现线上io已经遇到瓶颈。

iotop

QQ图片20141019002241-iotop

iostat QQ图片20141019002230

通过以上命令得知,当前io WRITE的速度大概在1M ~ 2M左右,接近达到了机械盘随机io的峰值,那么是不是flume产生了大量的随机io呢?…


Viewing all articles
Browse latest Browse all 2

Latest Images

Trending Articles





Latest Images