周五的17:27分一切准备就绪再过3分钟下班铃声就要响起马上就要躺在沙发上享受周末时光了。突然手机上叮叮的短信声此起彼伏我心头一紧不会出幺蛾子了吧。打开手机50多条未读短信映入眼帘点击一看是大量接口超时的预警信息被迫加班的周五来了。事件经过1.立即查看应用日志发现了大量和外部接口交互通过域名请求的异常HttpClientErrorException。2.联系外部系统对接人将错误日志信息进行同步。3.因为所有的请求都是通过nginx代理出去的继续查看nginx的error日志发现了大量的Connection refused错误并且上游的ip地址都是同一个A。4.继续执行ping命令发现ping A不通ping 域名可通但是指向的ip是B。5.立即对nginx做了reload处理交易恢复正常。6.外部系统对接人反馈域名绑定了多个运营商其中一家运营商网络断了ip A导致了此次事故。事件原因1.外部系统网络故障了其中一家运营商网络故障但是其他运营商仍可提供服务。2.内部系统中nginx代理请求时请求的域名但是未进行dns的配置默认ip的ttl是永久的仅在nginx启动或者reload的时候才会触发dns查询重新解析新的ip。事件总结1.督促外部系统对接方保证网络质量增加预警机制及时同步异常信息。2.内部系统进行改造nginx增加resolver机制定期刷新dns缓存遇到异常时能够自动切换可用服务商ip。Nginx配置DNS缓存1.resolver命令属于核心模块ngx_http_core_module可在http、server、location使用用法参考官方文档https://nginx.org/en/docs/http/ngx_http_core_module.html#resolverSyntax: resolver address ... [validtime] [ipv4on|off] [ipv6on|off] [status_zonezone]; Default: — Context: http, server, location2.nginx中在location中配置dns解析逻辑。1若nginx中不配置resolver 命令proxy_pass中的域名仅在nginx启动或者reload时执行dns查询且获取到的ip的ttl时间为永久。2配置resolver时可指定dns的ip地址有效时间是否使用ipv6地址等下面的含义为向10.48.189.10的dns服务器解析域名并且缓存时间设置60s60s内从缓存获取ip60s后缓存时效待下一请求时触发执行dns的解析。ipv6off指过滤掉ipv6的ip针对自身系统不支持ipv6场景3resolver_timeout 指定dns查询超时时间4为要访问的域名设置变量关键5proxy_pass使用变量进行访问location /test { resolver 10.48.189.10 valid60s ipv6off;#使用DNS服务器缓存30秒 resolver_timeout 3s;#设置DNS查询超时时间 set $test_upstream api.weixin.qq.com;#使用变量定义域名,必须设置 proxy_pass https://$test_upstream; }3.通过tcpdump抓包完成验证当触发dns查询时会看到发往该dns ip服务器的流量。tcpdump -i any -n host 10.48.189.10 and port 53 -i any包含所有网卡 -n直接显示源地址和目标地址ip host指定目标主机ip port指定目标主机端口17:46:52.233008 IP 10.20.1.10.56782 10.48.189.10.domain: 11102 [1au] A? api.weixin.qq.com. (46) 17:46:52.252963 IP 10.48.189.10.domain 10.20.1.10.56782: 11102 3/0/1 A 101.91.37.13, A 101.89.47.18, A 101.91.34.103 (94)