服务器故障排查，很多人第一反应登录机器查看日志。日志量少的时候还好，直接tail -f实时观察。一旦体量变大，几十GB文件，几十台机器日志汇总在一起，人工翻看完全不现实。日志解析工具、日志内容解读，两件事配套使用，要读懂日志字段，再挑选合适工具处理。
先讲日志阅读。Nginx访问日志最常用，默认combined格式示例：127.0.0.1 - - [10/Nov/2024:14:32:10 +0800] "GET /index.html HTTP/1.1" 200 612 "-" "Mozilla/5.0"。拆开来看，remote_addr是客户端IP，后面两个短横线代表用户标识、认证用户，无登录场景显示-。方括号是请求时间与时区。引号内请求行，包含请求方法、路径、协议版本。紧随其后状态码，200正常、301重定向、404页面缺失、500服务内部错误、502后端宕机、504网关超时。之后响应体大小，单位字节。末尾两组引号，分别是Referer来源页面，User-Agent客户端标识。排查故障重点看状态码、请求路径；流量统计场景，客户端IP、User-Agent价值更高。
错误日志和访问日志相互独立。访问日志记录访问主体、访问结果；错误日志记录服务器自身故障。Nginx错误日志格式：时间、日志级别、进程ID、错误描述，附带客户端IP与请求信息。日志级别从低到高：debug、info、notice、warn、error、crit、alert、emerg，生产环境一般设置warn，级别过低日志量爆炸，级别太高丢失关键报错。查看错误日志优先看error、crit级别，warn类记录下来持续观察。
Linux系统日志，auth.log值得重点关注。记录全部认证事件，SSH登录、sudo提权、新建用户、密码修改。grep "authentication failure"筛选登录失败记录，短时间同一IP大量失败请求，大概率暴力破解。grep "session opened"查看成功登录，对照时间、来源IP，快速识别陌生登录。文件默认保存近几周记录，更早日志压缩成auth.log.1.gz，历史查询使用zgrep检索。
Apache日志结构和Nginx接近，分为访问日志、错误日志两类。访问日志支持common、combined格式，字段含义基本一致：客户端IP、时间、请求行、状态码、响应大小；combined额外增加Referer、User-Agent。错误日志描述信息比Nginx丰富，附带模块名称和详细上下文。同时维护Nginx、Apache，两边日志字段对照阅读，理解成本不高。
看懂日志，再考虑工具选型。主流方案分三类，设计思路不同，适配场景不一样。
ELK Stack功能覆盖最全。Elasticsearch存储检索，Logstash采集解析，Kibana可视化展示。优势是生态成熟，查询能力强，可处理PB级数据，适合中大型系统复杂聚合统计。缺点资源开销大，Elasticsearch占用大量内存CPU，部署调优门槛高，至少三台机器部署更稳定。采集端搭配Filebeat，Go语言开发，内存占用约40MB，部署在边缘节点资源消耗低。Logstash擅长解析，Grok插件拆分非结构化日志，资源消耗高于Filebeat，一般部署在中心节点。
PLG栈是另一条路线，Promtail+Loki+Grafana。设计思路和ELK完全相反，Loki不索引全文，只索引标签，日志原文压缩存储。存储成本低于ELK，查询逻辑先按标签过滤，再在筛选后的日志流检索内容。运维排错，先缩小范围查找细节，这套方案足够，整体轻量很多。Promtail部署各机器采集日志，Grafana统一可视化，日志、监控指标在同一面板联动查看。中小团队，或是资源受限环境，PLG性价比优于ELK。
Graylog处于两者中间。查询性能不错，实时分析有时比ELK更快，自带轻量采集器Sidecar，部署难度低于ELK。内置流处理、告警，不用额外搭建规则引擎。中小团队场景，运维复杂度低于ELK，功能完整度高于纯Loki方案，属于折中选择。
采集工具选型也要权衡。Filebeat轻量稳定，和Elastic生态适配，但是数据转换能力弱，复杂解析交给Logstash。Fluentd插件生态丰富，号称日志瑞士军刀，上千插件覆盖绝大多数数据源和目标存储。Vector是后起工具，Rust编写，内存占用仅5MB，吞吐量在主流采集器里靠前，适合资源紧张、追求高性能的部署环境。选型看后端存储、日志解析需求，边缘服务器可用资源。
2026年一个明显变化，结构化日志从推荐变成默认规范。过去习惯输出纯文本日志，依靠正则解析，正则写错字符，整条日志解析失败。现在很多应用直接输出JSON日志，字段自带名称，时间戳、日志级别、接口路径、状态码、客户端IP、耗时，日志生成阶段就完成结构化，采集工具不用复杂解析，直接读取字段。新服务开发，直接JSON输出日志，后续对接各类日志平台都省事。
如果只是偶尔查询日志，搭建完整日志平台太重。Nginx、Apache日志，grep、awk、sort、uniq组合命令就能处理大部分需求。统计访问最多IP：awk '{print $1}' access.log | sort | uniq -c | sort -nr | head。检索500报错：grep " 500 " access.log。实时跟踪错误日志：tail -f error.log。无需额外安装程序，任意Linux机器自带。工具价值在于自动化查询和告警，少量临时排查，手动命令反而更快。