Bobay Stack 波贝自建栈

运维与排障 / 2026-05-30

journalctl 的四个过滤姿势:把三千行日志收成三行

排障时真正省时间的不是看日志,是把无关的行剔掉。四个参数组合,覆盖大部分日常问题。

6 MIN READ BY BOBAY.TOP 更新于 2026-06-04 ↖ 全部笔记
journalctl 的四个过滤姿势:把三千行日志收成三行

机器出问题时,journalctl 一屏一屏地滚,人眼在里面找关键字,效率极低。真正的技巧是先缩小范围,再看内容。

姿势一:按时间窗

# 出事的前后十分钟,最常用
journalctl --since "10 min ago"

# 指定区间
journalctl --since "2026-05-29 22:10" --until "2026-05-29 22:30"

时间窗的前提是你知道"什么时候开始不对"。不知道的话,先看 uptime 和最近一次重启时间,从那儿往后看。

姿势二:按服务与优先级

journalctl -u nginx -u php-fpm --since "1 hour ago"
journalctl -p err -b          # 本次启动以来的所有 error 及以上

-b 是"本次 boot",配合 -p err 能把开机以来真正的错误一次列出来。这个组合几乎是我所有排障的第一步。

姿势三:按内核与硬件

journalctl -k -b | grep -iE "error|warn|ata|nvme|oom"

硬盘掉线、网卡重置、OOM 杀进程,都只在内核日志里。应用日志干净但服务莫名重启,八成要来这里找。

姿势四:结构化输出

journalctl -u myapp -o json | jq -r '.MESSAGE' | sort | uniq -c | sort -rn | head

同一类报错刷屏时,先统计再读。通常前三条就是根因,后面几千条是它的重复。

顺带两个设置

日志长期占用可以设上限,不然 /var/log/journal 会慢慢吃满根分区:

# /etc/systemd/journald.conf
SystemMaxUse=500M
MaxRetentionSec=2week

改完 systemctl restart systemd-journald。

另外一个习惯:排障结束后把关键日志片段贴进笔记。下次遇到同样现象,直接搜自己写过的那段,比重新翻一遍快得多。

顺序比参数重要

排障时最容易犯的错是"上来就 journalctl -xe 然后翻几十屏"。有效的顺序是:先定时窗,再定单元,最后定关键词。

# 1. 时窗:只看故障前后 5 分钟
journalctl --since "2026-10-18 09:20" --until "2026-10-18 09:30"

# 2. 单元:锁定是哪个服务
journalctl -u nginx --since "-30m" -p warning

# 3. 关键词:锁定错误类型
journalctl -u php-fpm8.2 --since "-2h" | grep -iE "oom|segfault|timeout"

三步下来通常 3 分钟能定位到单元,剩下才是看细节。

四个常用姿势

目的命令
最近一次启动以来的日志journalctl -b
上一次启动(崩溃前)journalctl -b -1
按优先级过滤journalctl -p err -b
实时跟踪某个单元journalctl -u x -f

-b -1 是最有用的一个:服务重启后,当前 boot 的日志里已经没有崩溃现场了,必须回到上一次启动。

磁盘与保留

/var/log/journal 会一直涨。设上限:

journalctl --vacuum-size=200M
journalctl --vacuum-time=14d

--vacuum-size 是"总量压到 200M",--vacuum-time 是"只留 14 天"。两个都配在 /etc/systemd/journald.conf 里(SystemMaxUse=、MaxRetentionSec=),否则重启后设置就丢了。

一个判断技巧

日志里出现 OOM、segfault、connection reset by peer 时,先别改配置——先看频率和时窗。同一条错误每 5 分钟一次,通常是健康检查或定时任务;集中在某一分钟爆发,才是真故障。频率本身就是线索。

systemd日志排障

参考

systemd journalctl 手册 ↗