运维与排障 / 2026-05-30
journalctl 的四个过滤姿势:把三千行日志收成三行
排障时真正省时间的不是看日志,是把无关的行剔掉。四个参数组合,覆盖大部分日常问题。
机器出问题时,journalctl 一屏一屏地滚,人眼在里面找关键字,效率极低。真正的技巧是先缩小范围,再看内容。
姿势一:按时间窗
# 出事的前后十分钟,最常用
journalctl --since "10 min ago"
# 指定区间
journalctl --since "2026-05-29 22:10" --until "2026-05-29 22:30"
时间窗的前提是你知道"什么时候开始不对"。不知道的话,先看 uptime 和最近一次重启时间,从那儿往后看。
姿势二:按服务与优先级
journalctl -u nginx -u php-fpm --since "1 hour ago"
journalctl -p err -b # 本次启动以来的所有 error 及以上
-b 是"本次 boot",配合 -p err 能把开机以来真正的错误一次列出来。这个组合几乎是我所有排障的第一步。
姿势三:按内核与硬件
journalctl -k -b | grep -iE "error|warn|ata|nvme|oom"
硬盘掉线、网卡重置、OOM 杀进程,都只在内核日志里。应用日志干净但服务莫名重启,八成要来这里找。
姿势四:结构化输出
journalctl -u myapp -o json | jq -r '.MESSAGE' | sort | uniq -c | sort -rn | head
同一类报错刷屏时,先统计再读。通常前三条就是根因,后面几千条是它的重复。
顺带两个设置
日志长期占用可以设上限,不然 /var/log/journal 会慢慢吃满根分区:
# /etc/systemd/journald.conf
SystemMaxUse=500M
MaxRetentionSec=2week
改完 systemctl restart systemd-journald。
另外一个习惯:排障结束后把关键日志片段贴进笔记。下次遇到同样现象,直接搜自己写过的那段,比重新翻一遍快得多。
顺序比参数重要
排障时最容易犯的错是"上来就 journalctl -xe 然后翻几十屏"。有效的顺序是:先定时窗,再定单元,最后定关键词。
# 1. 时窗:只看故障前后 5 分钟
journalctl --since "2026-10-18 09:20" --until "2026-10-18 09:30"
# 2. 单元:锁定是哪个服务
journalctl -u nginx --since "-30m" -p warning
# 3. 关键词:锁定错误类型
journalctl -u php-fpm8.2 --since "-2h" | grep -iE "oom|segfault|timeout"
三步下来通常 3 分钟能定位到单元,剩下才是看细节。
四个常用姿势
| 目的 | 命令 |
|---|---|
| 最近一次启动以来的日志 | journalctl -b |
| 上一次启动(崩溃前) | journalctl -b -1 |
| 按优先级过滤 | journalctl -p err -b |
| 实时跟踪某个单元 | journalctl -u x -f |
-b -1 是最有用的一个:服务重启后,当前 boot 的日志里已经没有崩溃现场了,必须回到上一次启动。
磁盘与保留
/var/log/journal 会一直涨。设上限:
journalctl --vacuum-size=200M
journalctl --vacuum-time=14d
--vacuum-size 是"总量压到 200M",--vacuum-time 是"只留 14 天"。两个都配在 /etc/systemd/journald.conf 里(SystemMaxUse=、MaxRetentionSec=),否则重启后设置就丢了。
一个判断技巧
日志里出现 OOM、segfault、connection reset by peer 时,先别改配置——先看频率和时窗。同一条错误每 5 分钟一次,通常是健康检查或定时任务;集中在某一分钟爆发,才是真故障。频率本身就是线索。