通信产业报(通信产业报社长)

 

日本、加拿大的两起重大通信事故，暴露了通信网的哪些脆弱？

通信网络的中断就是通信人的灾难。近日，日本、加拿大先后发生的两起重大通信故障，引起了业界的震动。

两起通信事故，都造成了超大规模用户的长时间断网，还涉及了银行、政府等部门的行业应用停顿，引起了社会的广泛关注。在通信由硬变软的大趋势下，通信网络越来越高级、智能的今天，十天之内发生的两起重大事故，不得不发人深省。那么，两次通信事故暴露了通信网的哪些软肋与脆弱？启示什么？

两场突如其来的网络静默

日本时间7月2日凌晨1点35分，日本运营商KDDI的移动网络发生大规模通信故障，全日本约3915万手机用户无法正常通信，作为日本第二大移动运营商，KDDI旗下手机用户数量大约有3100万人，加上租用KDDI线路的其他运营商在内，受影响的用户数量多达3915万人，这相当于日本人口的1/3左右。

不同于此前NTT DoCoMo部分用户断网，此次KDDI通信故障几乎是其全部移动用户断网。同时，事故还造成部分银行自动取款机、铁路货运的物流信息系统也受到影响，引发物流迟滞，邮件和包裹投递可能出现延误。

对此，KDDI公司在事故发生的第二天立即召开了记者会，KDDI的高桥社长鞠躬向社会表达了歉意，并表示，这是迄今为止我们公司历史上最大的通信故障。为了防止再次发生，会在公司内采取彻底对应措施，真的很抱歉。

然而，令业界更为震惊的是，如此大范围通信故障的恢复过程更为艰难。7月3日傍晚，KDDI方面表示已经完成了全面范围的系统修复工作，但由于通信量有限，完全恢复信号还需要时间，然而直至4日上午，仍有不少人反映语音通话还是无法接通，最终在4日下午，距离故障发生62个小时后，KDDI表示已在全国范围内基本恢复。这场全国范围内的通信故障给日本全社会造成的极大的不便和损失，无疑是空前的。

时隔仅一周，加拿大最大电信运营商之一罗杰斯电讯公司（Rogers）于当地时间7月8日凌晨，也发生了重大网络故障。

据悉，罗杰斯的互联网自星期五凌晨4点以后几乎完全中断。此次网络故障造成国内数百万用户无法上网、打电话。另外，加拿大电子转账系统Interac无法使用，多伦多和弗雷德里克顿等城市的罗杰斯用户甚至无法拨打911；连接爱德华王子岛与大陆的联邦大桥无法处理借记卡付款；许多银行和金融机构的网络出现故障；渥太华公交局的一些电话服务停止；CBC在安大略省基奇纳市的电台停播。

罗杰斯公司向客户道歉并表示，故障影响了蜂窝、互联网和有线电视服务，公司正在抢修，但仍未找到故障原因，并表示其技术团队正在为尽快恢复服务全力以赴。

事实上，2021年4月，罗杰斯也发生一场全国性的服务中断，导致大量国人无法拨打电话、发送短信或访问他们的互联网浏览器。那么，在通信事故频发发生的背后，通信基础网络的软肋在哪？

通信网络的关键七寸是什么？

回看KDDI通信故障，对于发生此次通信事故的原因，KDDI官方称是在通信设备维护期间，将语音转换为数据的交换设备器发生了故障，为了减少系统的负载，限制了数据分布进而导致大面积通信故障发生。7月2日凌晨，KDDI组织工程师对连接全国移动核心网和中继网络的一个核心路由器进行割接，将老旧的核心路由器更换为新产品，而割接过程的失败成为这次通信故障的主要原因。

而围绕加拿大Rogers的故障原因，日前Rogers总裁兼首席执行官Tony Staffieri在接受媒体采访时也指出，8日凌晨的事故发生前，Rogers当时正在对核心网络进行更新升级，在此过程中引发路由器出现故障，网络中涉及大量的软件和硬件，最终，在断开某些特定设备的连接并重新定向了流量后，网络和服务恢复正常。

据悉，核心路由器又称骨干路由器，是位于网络中心的路由器，而作为整个网络的交通枢纽，运营商的核心路由器需要承担最重的信息转发任务，在性能、速度、延迟等方面要求颇高，任何一个环节的缺陷都可能带来难以估量的风险。

赛迪智库无线电管理研究所副所长彭健在接受《通信产业报》全媒体记者采访时指出，核心路由器割接失败的主要原因通常有三点，一是新的核心路由器本身存在故障问题；二是割接准备工作不充分，比如割接前没有进行模拟测试，验证割接方案的可行性；三是在割接过程中出现了操作失误。

事实上，目前运营商的网络故障多与核心路由器有关，去年10月，日本通信运营商NTT docomo发生通信故障，200万用户受影响；2020年美国互联网服务提供商CenturyLink数据中心的错误配置导致多个网站受到影响，我国也曾出现网络割接失败的情况，2022年1月中国电信在实施网络工程割接时出现异常情况，影响部分地区宽带用户互联网访问，在0时51分网络恢复正常，故障历时16分钟。

而对于设备商来说，核心路由器领域一直是IP领域的技术制高点，是厂商技术底蕴和研发实力的集中体现。在国内运营商路由器市场中，最早又思科、上海诺基亚贝尔占据主导，然而，在近十年间的快速发展，以华为、新华三、中兴为代表的国内厂商逐步成为了市场主角。

值得关注的是，网络故障的发生向来是祸不单行，在KDDI的通信故障修复中，正是因为信令风暴的出现，使得整个通信故障的修复时间长达62小时。

具体来看，在核心路由器割接失败后，导致VoLTE交换机报错，大量VoLTE链接断线，于是工程师紧急换回旧的路由器，此前断网的大量移动终端几乎同时向VoLTE节点发起注册信令，占用了大量网络资源，当信令流量超出网络的信令处理能力后，变引发了网络拥塞乃至宕机，信令风暴的出现再次引发了VoLTE交换节点拥塞，大量用户无法进行VoLTE通信。

据悉，信令消息处理（SMH）由消息路由、消息鉴别和消息分配三部分功能组成。信令风暴则是指网络收到的终端信令请求超过了网络各项信令资源的处理能力而导致网络服务出现问题。

而为了应对突发的信令风暴，KDDI于7月2日凌晨3:00后开始从无线侧、VoLTE核心网侧同时实施流量控制策略，通过限流的方式减轻用户数据库负荷，以缓解网络拥塞，这也造成了日本全国范围内数据通信与语音通信难以连接的关键。

业内专家指出，在VoLTE交换机拥塞发生后，尽管实施了接入限制、流控控制、断开部分PGW网元等措施，但VoLTE交换机和用户数据库的负荷并没有得到充分缓解，直到故障持续2天多后，KDDI才进一步发现其18台VoLTE交换机中有6台VoLTE交换机向用户数据库不断发送不必要的多余信令，断开这6台VoLTE交换机后，其余VoLTE交换机和用户数据库的负载大幅降低到故障发生前的水平。

随后，7月3日上午11点，KDDI宣布日本西部基本完成网络修复工作，下午5点30分，日本东部基本完成。7月4日下午4点，距离故障发生62个小时后，KDDI表示已在全国范围内基本恢复通信保障。

时至今日，网络已经成为消费者生活中必不可少的基础服务，也正因此，每一次的通信故障都会给全体电信人再次敲响警钟，那么在两大通信事故的背后，又有哪些启示？

启示：业务堆叠下的网络乘法题

5G时代，通信网络发生了根本的变化。网络层面，上网需求激增，而短信、语音业务都在向新模式转移，云化时代运营商承载网络的响应度要变高;企业级市场，数字化转型浪潮下，千行百业对ICT基础设施提出了新的要求，客户需求和关注点更加个性化和差异化，做好网络保障，对于运营商不仅是加法题，更是乘法题。

野村综研数字化总监陶旭骏认为，在人们生活生产中越来越多的依赖移动网络的情况下，通信网络的安全保障上升到有史以来的最高级别。尤其在全社会防疫状态下，移动通信网络的有效保证更是占据十分重要的地位，通信网络安全性已成为社会的底盘基座。虽然通信故障是小概率事件，但此次事件提醒业界，如何做好故障备案，值得业界考虑。

聚焦中国，在云与5G时代，发展数字经济成为了我国十四五期间的重要战略规划，而网络基础设施作为数字世界的底座，需要足够安全坚实，才能支撑云计算、5G、IoT等数字业务开花结果。

纵观两起重大通信故障事件，无不是与核心路由器紧密相关。无疑，在以数据为主要承载的软件通信网，核心路由器是重大风险点。核心路由器的强壮，直接关系通信网的健康。

据《通信产业报》全媒体记者了解到，在核心网路由器市场，大容量、可扩容、重智能已成为主流核心路由器厂商的标配。其中，华为NetEngine5000E核心路由器支持单框、背靠背和多框集群模式，实现按需扩展，帮助企业用户轻松应对互联网流量快速增长和未来业务发展；中兴通讯ZXR10 T8000致力于构建扁平化网络，实现全业务统一承载，提供面向未来的网络无缝演进解决方案；上海贝尔7950扩展路由系统借助的芯片，软件和系统集成创新构建具有足够空间的核心网络。

谈及启示，彭健提出四个观点：

一是对网络进行升级和割接等维护时应该安排在网络闲时进行，并且要做好充分的准备工作，将有可能出现的断网等影响降到最低。

成本不变的行业是指具有水平的长期供给曲线的行业，它的扩大并不会引起投入品价格的上升或下降。

二是要适当增加成本，确保网络有足够的冗余和备份机制，包括核心网、传输网、接入网等。

三是要提升网络运维的智能化水平，依靠大数据和智能算法，实现主动预防性运维，提升网络运行质量，使能高效运维。

四是高度重视核心网的安全运行，核心网相对于承载网和接入网是整个通信网络中的中枢和大脑，一旦出现问题将影响整个网络，需要不断推动核心网架构的迭代升级，向架构简单、运维方便、智能开放、安全可靠和低成本为目标的智简网络演进。

三分靠建设，七分靠运维。是业内人士对于运营商网络建设的概括，作为国之重器的电信级路由器，稳定性、可靠性都的最高标准要求已经不言而喻，与此同时，强化网络的弹性和灵活性、强调网络要具备可编程能力、从连接到智联，这些在数字时代也已成为保障网络平稳运行的关键。

采写：党博文

编辑：博文

指导：新文

4千万用户两天断网：日本史上最大通信事故教训什么？

习近平：不断做强做优做大我国数字经济

去内卷专家谈：在新赛道中重构竞争优势

去内卷专家谈：从抢客户到运营客户

去内卷专家谈：数字化转型需要自我革命式调整

去内卷专家谈：转型希望在于专业化运营公司

新航道大家谈：优化KPI考核，释放运营商创新能力

新航道大家谈：告别战略舒适区，启动增长新范式

新航道大家谈：充分认识数字经济复杂性

新航道大家谈：四方面入局数字经济主战场

新航道大家谈：运营商如何获取数字经济红利？

新航道大家谈：多维度拓展垂直行业市场

新航道大家谈：重新定义运营商社会化企业角色

用新眼光看新发展：三大运营商董事长同台路演数字经济（附全文）

实录：三大运营商董事长与投资人的Q&A

运营商军团：如何打？怎么赢？

运营商物联网迷局：从连接到价值

5G专网：杀手级应用的增长之惑？

运营商专业公司：如何走出舒适区？（附竞争力榜）

运营商云：如何画好第二增长曲线？

算力网络为运营商第二曲线增长注入新动能

用户突破3亿之后：天翼物联如何飞得更高？

构筑大联接物联底座：联通雁飞如何顺风高翔？

联通智慧应急军团：为平安中国贡献数字力量

跌倒七次，站起来八次。人们买东西是因为他们自己的原因，而不是你推销的原因。

联通智慧法务军团：赋能全链条法务数字化

将心理学的真知灼见应用于金融学的行为经济学，在过去的十年里蒸蒸日上。