一条光纤传输中断后,如何引发了全网VoLTE瘫痪?

网优雇佣军 2021-04-06

2020年6月15日,美国运营商T-Mobile发生了一起罕见的网络重大事故。全国范围内的语音和短信服务中断长达12小时。事后,美国FCC主席公开表示这起重大网络事故“不可接受”,并随后对T-Mobile展开了调查。


全国范围,中断12小时,连911也无法拨打......如此严重的网络事故成为了全球运营商鲜活的反面教材,那背后到底是什么原因导致的?



不久前,运营商Orange在对这起全球瞩目的重大网络事故进行研究后,详细透露了这起事故的来龙去脉。

T-Mobile网络架构简介

T-Mobile的语音网络包括VoLTE、VoWiFi和2/3G CS网络,VoLTE语音业务通过4G LTE基站和传输网络连接到IMS,2/3G电路交换网关、WiFi网关与LTE核心网和IMS互联互通。网络内绝大多数手机会同时注册和连接到LTE和2/3G电路交换网络,如果VoLTE和VoWiFi呼叫失败或超时,或者在没有LTE和WiFi覆盖的情况下,手机会通过2/3G网络进行语音业务。


同时,T-Mobile传送网的路由器采用OSPF(Open Shortest Path First,开放式最短路径优先)路由协议,即给每一条链路分配一个权重,网络始终选择一个权重最小的路径来传输数据流量。


如上图,连接每个路由器的每条链路都分配了一个代表其权重的数字。要将数据从西雅图传输到迈阿密,网络会选择累积权重最小的路径,即会经由洛杉矶的路由器转发到迈阿密。而一旦西雅图与洛杉矶之间的链路中断,网络会选择另一条累积权重最小的路由来替代,即经由丹佛和纽约的路由器转发到迈阿密。

故障过程分析

1
美国东部时间2020年6月15日 12:33,T-Mobile在亚特兰大地区的VoLTE网络的一条光纤传输链路发生故障。如上所述,按T-Mobile的网络路由策略,当这条链路发生故障后,网络会根据OSPF协议重新选择一条备用路由来传输数据,从而缓解故障影响。

2
但万万没想到,T-Mobile工程师当初错误配置了这条备用路由上的其中一台路由器的权重,导致数据流量流向了一台无法处理大量呼叫信令流量的路由器,使得整个亚特兰大地区的4G语音和数据业务中断。


3
亚特兰大地区的所有4G手机向IMS发起VoLTE注册时失败,当手机通过4G网络注册失败超时后,又开始尝试通过Wi-Fi网络向IMS重新注册,但仍然注册失败,从而引发了信令流量拥塞。

3
12:45,12分钟后,中断的光传输链路恢复,此时通过WiFi注册失败的手机又重新尝试通过VoLTE注册,但因路由器权重配置错误,VoLTE重新注册再次失败,这进一步加剧了信令流量拥塞。

4
此时,T-Mobile工程师判断认为故障原因可能仍然由光传输故障引起,于是,又手动关闭了这条刚恢复的光传输链路,以继续试图通过其他路由传输数据。但这让网络故障又回到了初始状态,整个亚特兰大地区的移动用户无法连接4G网络,被迫再次通过WiFi建立呼叫,结果依然失败..... 再次加剧信令拥塞。

5
工程师们认识到判断错误,在一个小时后再次开启这条光传输链路,使得亚特兰大地区的手机又再一次重新尝试VoLTE注册,再再次加剧了网络信令拥塞。

6
就这样,在“Wi-Fi注册”与“VoLTE注册”之间来回折腾,循环“震荡”,导致部署在亚特兰大地区的IMS系统严重拥塞后,流量开始重定向到其他地区的IMS注册系统,从而引发了信令风暴蔓延到全国。


7
15:00左右,T-Mobile分布于全美的IMS注册节点变得越来越拥塞,最终导致全国范围内的VoLTE和VoWiFi语音注册失败,从而引发了一场全网VoLTE瘫痪的重大网络事故。

8
事故还在继续蔓延。
当手机无法连接VoLTE和VoWiFi后,大量的手机回落到2/3G网络,这也造成了2/3G网络拥塞。

9
直到6月16日凌晨1点左右,T-Mobile在动用了数百名工程师之后,与供应商和合作伙伴一起终于将问题解决。网络恢复正常。

简单的讲,整个事故的过程是:

一条光纤传输链路发生中断,同时因为人为配置错误导致备份链路也失效了,引发了信令流量风暴蔓延全国,使得全国范围内的IMS系统发生严重拥塞,从而导致全国范围内的VoLTE业务瘫痪。

一条光纤传输链路中断,一次人为配置错误,就引发一场如此大规模的网络事故。进入5G时代,不仅网络更加复杂,而且对网络的稳定性和可靠性要求更高,这起刚好发生在5G商用元年的重大事故自然引起了全球运营商的高度关注。甚至有运营商以此为鉴,专门针对网络故障展开了专项研究。

希望下一次,一条小小光纤链路,一次不经意的人为错误,再也不会引起如此重大的网络故障。

本文参考:
June 15, 2020 T-Mobile Network Outage Report,FCC
How the T-Mobile outage of 2020 went down,Brigette Cardinaeal ,Orange

网优雇佣军投稿邮箱:wywd11@126.com
长按二维码关注
通信路上,一起走!
网优雇佣军 通信、科技、未来!通信路上,一起走!
评论
热门推荐
相关推荐
X
广告
我要评论
0
3
点击右上角,分享到朋友圈 我知道啦
请使用浏览器分享功能 我知道啦