Optus查明全国性故障原因，称“路由信息发生变化”是罪魁祸首

edith921

Optus称，“例行软件升级”后的“路由信息变更”是上周全国性网络中断的幕后原因，那次中断影响到1020万澳洲人和40万家企业。

该公司表示，这次故障的规模之大意味着Optus技术人员不得不实际重新连接或重启系统，也意味着对故障原因的调查“花费的时间比我们希望的要长”。

Optus表示，该公司已对其网络进行了改造，以解决这一问题，避免再次发生，并将“继续投资”以提高其网络的弹性和服务。

此前，作为对上周三网络中断的补偿，Optus从本周一起向用户额外提供了200GB的数据。

在Optus周一披露这一消息之前，专家们曾推断这次故障很可能是“常规软件升级出了问题”。

上周三，电信分析师和专家向Optus首席执行官Kelly Bayer Rosmarin提出了软件升级的理论，但被她否认了。

Optus因此次断网事件正面临着一系列询问和调查，其中包括参议院将于本周五举行的首次公开听证会。

Bayer Rosmarin是目前唯一确认出席的证人。

Optus在一份声明中表示，它支持并将“全力配合”政府和参议院正在进行的审查。

https://www.abc.net.au/news/2023 ... e-upgrade/103099902

wanshibugong

希望调查能尽快结束，给民众一个合理的解释！

kolinxu

没事，罚酒三杯就好。。。

请各位用户高抬贵手，放该公司一马

总有刁民要害朕

肯定是华为路由器!

hxyconan

outage 那么久是无法接受的。说明release management有很大问题，change前准备混乱，出错以后无法回滚，也没有冗余……

rayki

路由信息难道不是持续变更的么？ 这个说辞实在太冠冕堂皇了，忽悠非IT人士的。 无语

sandro0713

真被我们猜着了，那天早上我们部门聊天的时候就猜估计哪条关键的BGP路由写错了

静好如初

真相大白了？

CLZ58322

sandro0713 发表于 2023-11-13 19:22
真被我们猜着了，那天早上我们部门聊天的时候就猜估计哪条关键的BGP路由写错了 ...

什么叫写错了呀？这个软件更新好像是roll out globally, 为什么只有optus 出了问题呀？aging hardware 也会有影响？求解释！

rayki

理论上Optus这个体量可能很多路由要自己写，通过其他ISP骨干路由器学习过来的不用，理解上应该是自己的路由写成loop了. 具体怎么发生的，不知道，也没有任何解释.  这个新闻简直连给大众科普都省了，佩服，佩服.

明明是human error导致了这个路由loop不说，不解释，为什么需要14个小时恢复也不说，哈哈，nb

vch801

凌晨四点做change 的一般都是小罗罗，出了事只会喊救命。
可惜，这次大拿们都联系不到了！
以前我们用Telstra是时候，某关键技术居然只有一个人能整明白。

dootbear

sandro0713 发表于 2023-11-13 19:22
真被我们猜着了，那天早上我们部门聊天的时候就猜估计哪条关键的BGP路由写错了 ...

就是，我们当天就讨论了bgp的问题了。

dootbear

rayki 发表于 2023-11-13 19:28
理论上Optus这个体量可能很多路由要自己写，通过其他ISP骨干路由器学习过来的不用，理解上应该是自己的路由 ...

需要14个小时是因为要dispatch 人员到全国各地的主要机房，physical reboot 那些路由器。

dootbear

vch801 发表于 2023-11-13 19:30
凌晨四点做change 的一般都是小罗罗，出了事只会喊救命。
可惜，这次大拿们都联系不到了！
以前我们用Tels ...

经常的事情。

一般这些大神一间公司只有一两个。

zzn

静好如初 发表于 2023-11-13 19:23
真相大白了？

具体问题也还是没解释清楚。

llave

hxyconan 发表于 2023-11-13 18:19
outage 那么久是无法接受的。说明release management有很大问题，change前准备混乱，出错以后无法回滚，也 ...

服务器重启一遍需要的时间，不是普通电脑可以比拟的。更何况这次是一个巨型网络。

sandro0713

rayki 发表于 2023-11-13 19:28
理论上Optus这个体量可能很多路由要自己写，通过其他ISP骨干路由器学习过来的不用，理解上应该是自己的路由 ...

这种骨干网的关键BGP路由要convergence需要很长时间的。不过我没想到需要这么久，看来ISP的复杂程度还是远超我的想象

天朝屁民

dootbear 发表于 2023-11-13 19:36
需要14个小时是因为要dispatch 人员到全国各地的主要机房，physical reboot 那些路由器。

...

我是网络工程师，我表示这种操作根本无法理解。。。

但凡有OOB (out of band management)都不需要物理重启设备，别提什么自动化刷配置，最差手动上去更改错误的路由也不至于14小时。。。

一司机

总有刁民要害朕 发表于 2023-11-13 18:17
肯定是华为路由器!

肯定是中国的但不是华为，optus用的是陆游器，南宋的

天朝屁民

sandro0713 发表于 2023-11-13 19:56
这种骨干网的关键BGP路由要convergence需要很长时间的。不过我没想到需要这么久，看来ISP的复杂程度还是 ...

啥啊，bgp收敛很快的，14小时outage简直不可想象

fastfish

dootbear 发表于 2023-11-13 19:37
经常的事情。

一般这些大神一间公司只有一两个。

想起悉尼火车的一个Signal Engineer临时生病请假导致铁路瘫痪的问题。

一司机

dootbear 发表于 2023-11-13 18:36
需要14个小时是因为要dispatch 人员到全国各地的主要机房，physical reboot 那些路由器。

...

为什么到今天他家的电话和网依然很大问题还没有解决？

天朝屁民

rayki 发表于 2023-11-13 19:28
理论上Optus这个体量可能很多路由要自己写，通过其他ISP骨干路由器学习过来的不用，理解上应该是自己的路由 ...

就是排错花了太多太多时间，估计是人为change写错了关键路由，然后做change的人由于某种原因offline，排错的人两眼一抹黑不知道从何排起，再加上OOB可能不是真的OOB，导致失去了关键设备的access

如果这样我不奇怪的，外包就是这样的

天朝屁民

显然最大的症结在于管理，懂的都懂

baldman

what the hell is that

sandro0713

天朝屁民 发表于 2023-11-13 20:05
啥啊，bgp收敛很快的，14小时outage简直不可想象

BGP收敛确实快，不过Optus这么大的ISP肯定比CCIE lab里面的case复杂多少倍吧。
当然我们聊天猜BGP路由写错了的时候我也说那一两个小时也就恢复了啊，一下down了14个小时确实不是我这NP都过期多少年了的外行能理解的范围了

天朝屁民

sandro0713 发表于 2023-11-13 20:11
BGP收敛确实快，不过Optus这么大的ISP肯定比CCIE lab里面的case复杂多少倍吧。
当然我们聊天猜BGP路由写 ...

亲测J家M级路由器，和任何一个ISP之间起BGP收几十万条公网路由整个过程也就几分钟

所以Optus这个，呵呵呵

sandro0713

天朝屁民 发表于 2023-11-13 20:22
亲测J家M级路由器，和任何一个ISP之间起BGP收几十万条公网路由整个过程也就几分钟

所以Optus这个，呵呵 ...

那就是troubleshooting传统问题了，动手改的过程只需要几秒钟，知道改哪条用了13个小时59分钟

caibutou2008

坛子里的大神当天就已经猜中了 {:14_841:}

punky

sandro0713 发表于 2023-11-13 20:11
BGP收敛确实快，不过Optus这么大的ISP肯定比CCIE lab里面的case复杂多少倍吧。
当然我们聊天猜BGP路由写 ...

体量肯定更大，但还真不一定有CCIE LAB复杂