一、系统卡顿的核心指标监控
当系统出现卡顿时，首先需要建立完整的监控指标体系：
Linux系统关键指标采集示例
top -n 1 -b | grep "Cpu(s)"
vmstat 1 5
iostat -x 1 3- CPU利用率：用户态/内核态时间比超过70%需预警
- 内存压力：Swap使用率持续>10%表明内存不足
- I/O等待：%iowait持续>5%需检查存储性能
二、硬件资源瓶颈深度排查
2.1 CPU性能分析
使用perf工具进行CPU热点分析
perf record -F 99 -g -- your_application
perf report --no-children常见问题包括：
- 高频上下文切换（context switch > 10k/s）
- 缓存命中率低（L3 cache miss > 5%）
- CPU频率缩放（cpufreq governor设置不当）
2.2 内存泄漏检测
// 使用Valgrind检测内存泄漏
valgrind --leak-check=full ./your_program重点关注：
- RSS内存持续增长不释放
- Page Fault频率异常（major fault > 100/s）
- Slab分配器碎片化
三、软件层性能问题定位
3.1 锁竞争分析
// Java应用锁竞争检测
jstack <pid> | grep -A 10 "BLOCKED"典型症状包括：
- 线程Dump显示大量BLOCKED状态
- 锁等待时间超过业务容忍阈值
- 分布式锁网络延迟过高
3.2 数据库性能优化
-- 慢查询分析（MySQL示例）
SELECT FROM performance_schema.events_statements_summary_by_digest
ORDER BY SUM_TIMER_WAIT DESC LIMIT 10;关键优化点：
- 索引缺失或失效（检查key_len字段）
- 连接池配置不当（max_connections设置）
- 事务隔离级别过高
四、架构设计缺陷排查
| 问题类型 | 检测方法 | 优化方案 |
|---|---|---|
| 单点瓶颈 | 流量监控突刺 | 引入读写分离/分片 |
| 级联故障 | 调用链分析 | 实现熔断降级 |
五、实战优化案例
案例：某电商系统在促销期间出现周期性卡顿，通过以下步骤定位：
- 使用
sar -P ALL 1发现CPU3核心100%利用率 perf top显示spinlock争用- 代码审查发现分布式锁未设置超时
- 优化后QPS从1200提升至6500
评论