翻车Case

OpenAI 宕机思考丨Kubernetes 复杂度带来的服务发现系统的风险和应对措施

以 Nacos 为代表的独立服务发现系统架构简单，在 Kubernetes 中选择独立服务发现系统可以帮助增强业务可靠性、可伸缩性、性能及可维护性，对于规模大、增长快、稳定性要求高的业务来说是一个较理想的服务发现方案。

https://mp.weixin.qq.com/s/iZOB2zR78TrhRvubHjcaaA

数据库清理

并发问题

1. 队列的用户均分导致重入，时间短频率高，历史采用redis作为队列cpu飙升

2. k8s部署各种configMap挂载，supervisor启动并发执行，导致修改脚本未执行启动数据错误

3. 对数据库修改的返回结果不做验证，无法判断是否可以继续，导致并发问题

异常暂停

1. 内存泄露、错误导致程序退出，进行中数据状态无法修正

2. 部署未优雅退出导致数据状态异常
1. 要定期扫表处理异常状态数据，补偿用户（从用户侧，定时任务侧，自己的管理系统为用户处理）
2. 大规模数据操作未在预期时间执行完成，到用户使用高峰导致阻塞

非预期异常

1. 队列任务执行中，新增用户磁盘空间不足清理磁盘操作，每次都走清理不下去浪费时间导致队列阻塞

2. 修改系统配置或者机器配置未做备份，执行异常无法回退