日志写得太多 排查反而更慢
关键的那几行被重复记录淹掉,翻起来自然费劲。
线上出了问题,第一反应是去看日志,可翻了几千行才找到真正有用的那几行,半小时过去,故障还在,人也开始慌。
日志不是越多越好,每一行都要写盘、要传输、要建索引,写入量上去之后,磁盘和汇总端先扛不住,拖慢的是整个服务。
重复信息最占地方,同一条报错在循环里打了几百遍,关键的那一次被淹掉,看的人只能靠猜,最后靠时间戳去推断先后。
级别用得含糊也会添乱,什么都按最高级别打,真正严重的告警混在寻常记录里,筛选等于没有筛,值班的人反而更容易漏看。
缺少上下文同样麻烦,只写失败不写参数,只写异常不写请求编号,看到记录也不知道当时在做什么,复现更无从谈起。
排查靠的是把一次请求串起来,带上统一的编号,从入口到出口一路能对上,比单纯堆数量有用得多,也省去逐条翻找。
该留的留够时间,该删的定期清理,按天切分、按级别分流,磁盘不会被撑满,检索也快得多,老记录查起来同样方便。
敏感内容不要进日志,账号、口令、住址这类信息一旦写进去,清理成本远高于当初省下的那点方便,出了事还要额外解释。
所以日志的价值在于能用,而不在于多,把该记的记清楚,把重复的压下去,排查才真的快,磁盘也不至于天天告急。
本文由本站编辑部整理撰写,内容仅作知识分享,不构成医疗、投资、法律建议,转载请注明出处。
读者留言 · 3 条
日
后端开发
我们加了请求编号之后,定位问题快了一倍,确实不该只堆数量。
排
运维值班
循环里刷屏的报错最要命,后来加了限流,看着清爽多了。
线
测试工程师
敏感字段不进日志这条要写进规范,清理起来太麻烦。
留言为读者个人观点,不代表本站立场。