引言：容器日志的"甜蜜烦恼"

"容器挂了！快去查日志！"——运维同事的这声呼喊，揭开了我们团队在生产环境遇到的典型场景。当数百个Docker容器日夜不停地吐出日志时，我们突然发现某个服务的磁盘空间被20GB的日志文件塞满。这种"甜蜜的烦恼"正是容器化架构带来的新挑战：如何在不影响业务的前提下，让日志既能充分记录关键信息，又不会成为系统资源的"吸血鬼"？

一、为什么需要日志轮转？（危机驱动）

去年双十一大促期间，我们的电商平台就曾因日志爆盘导致支付服务宕机。事后分析发现，某个Java应用的容器在48小时内产生了：
- 15个日志文件
- 单个文件最大达到3.7GB
- 总共消耗89%的磁盘空间

这促使我们建立了两条铁律：
1. 空间管控：单个容器日志不得占用超过500MB磁盘空间
2. 时间留存：生产环境日志至少保留7天

二、Docker原生日志驱动配置（基础方案）

在/etc/docker/daemon.json中配置全局策略：

json { "log-driver": "json-file", "log-opts": { "max-size": "100m", "max-file": "5", "compress": "true" } }

参数解读：
- max-size：触发轮转的单个文件阈值（支持KB/MB/GB单位）
- max-file：保留的历史文件个数（旧文件自动删除）
- compress：启用gzip压缩历史日志（可节省40-70%空间）

重启Docker生效：systemctl restart docker

血泪教训：某次直接修改daemon.json导致容器重启，后改为先对关键容器做迁移再操作

三、进阶方案：logrotate与Docker的协同作战（组合拳）

对于系统级日志（如/var/lib/docker/containers//.log），我们采用Linux自带的logrotate：

shell

/etc/logrotate.d/docker

/var/lib/docker/containers//.log {
daily
rotate 30
compress
delaycompress
missingok
copytruncate
size 100M
}

关键技巧：
1. copytruncate：避免重启容器（相比create模式）
2. delaycompress：允许排查最新日志时不需解压
3. size与daily双保险：满足任一条件即触发轮转

四、K8s环境下的日志管理（云原生实践）

当容器编排升级到Kubernetes后，我们采用Sidecar模式处理日志：

yaml
apiVersion: apps/v1
kind: Deployment
spec:
template:
spec:
containers:
- name: main-app
image: myapp:1.0
volumeMounts:
- name: log-volume
mountPath: /var/log/app

  - name: logrotate-sidecar
    image: alpine/logrotate:3.12.0
    volumeMounts:
    - name: log-volume
      mountPath: /logs
    - name: config-volume
      mountPath: /etc/logrotate.d/app
    command: ["/bin/sh", "-c", "while true; do sleep 86400; logrotate -vf /etc/logrotate.d/app; done"]

优势分析：
- 容器内日志与主机解耦
- 可定制化每个Pod的轮转策略
- 结合EFK栈实现日志集中管理

五、性能优化与监控（闭环管理）

通过Grafana建立日志监控看板，重点关注：
1. 磁盘水位预警：当/var/log使用率>80%触发告警
2. 日志增长率：突然增加的日志量可能预示业务异常
3. 轮转成功率：检测logrotate cron任务执行状态

我们设计的健康检查脚本：

bash

!/bin/bash

checkloghealth.sh

THRESHOLD=90
CURRENT=$(df /var/log | awk '{print $5}' | tail -1 | tr -d '%')

if [ $CURRENT -ge $THRESHOLD ]; then
docker ps --format '{{.Names}}' | xargs -I {} docker inspect {} --format \
'{{.LogPath}}' | xargs ls -lh > /tmp/logreport$(date +%s).txt

aws s3 cp /tmp/logreport*.txt s3://our-log-backup/emergency/
slack-alert "日志磁盘紧急告警！使用率 ${CURRENT}%"
fi

结语：平衡的艺术

经过半年的实践，我们总结出日志管理的"三态平衡"原则：
1. 完整性：确保故障时可追溯
2. 可用性：避免日志拖累系统性能
3. 经济性：控制存储成本

最终我们的日志系统实现了：
- 95%的日志查询响应时间<2秒
- 日志存储成本降低63%
- 因日志导致的故障归零

正如一位资深SRE所说："好的日志系统就像优秀的图书管理员——既不会漏掉任何重要记录，又能在你需要时快速找到那本'书'。"而这背后，正是科学轮转策略的支撑。