Отключение электроэнергии стало семиминутным обратным отсчетом
Примерно в 07:08 BST во вторник произошел сбой в местной электросети, затронувший зону Google Cloud europe-west2-b в Лондоне. Аккумуляторы ИБП сработали немедленно — это стандартная реакция. Однако ни основной, ни резервный контроллеры генераторов не запустили дизель-генераторы, из-за чего объект остался работать только на аккумуляторах.
Это семиминутное окно оказалось критическим. Центр обработки данных проработал на аккумуляторах около семи минут, прежде чем заряд иссяк, погрузив всю зону во тьму. Важно отметить, что аккумуляторы не вышли из строя; отказали системы запуска генераторов, что вызвало каскад неожиданных отключений.
Revolut, финтех-гигант, обслуживающий миллионы клиентов, немедленно ощутил последствия. Пользователи сообщали о массовых проблемах:
- Ошибки при входе в систему
- Блокировка денежных переводов
- Отклонение карточных платежей
Изначально Revolut сослался на «нарушение работы сервиса», прежде чем связать длительный простой с Google Cloud. Инцидент быстро подчеркнул хрупкость надежды на даже самую сложную облачную инфраструктуру, когда единая точка отказа — например, контроллер генератора — может спровоцировать столь значительный сбой.
Две исправные зоны оказались недостаточно исправными
Мультизональные регионы обещают отказоустойчивость: если одна зона выходит из строя, рабочие нагрузки переносятся на другие. Регион Google Cloud europe-west2 в Лондоне имеет три такие зоны (a, b и c). Когда зона b отключилась, система должна была бесшовно переключиться на зоны a и c, сохранив работоспособность сервиса.
Вместо этого внезапный всплеск трафика перегрузил оставшуюся инфраструктуру. Это не было простым переключением; это была проблема емкости и кошмар координации. Межзональные зависимости привели к тому, что некоторые сервисы в зонах a и c остались заблокированными, ожидая компоненты или состояния, все еще связанные с отключенной зоной b.
Инженерный урок суров: избыточность эффективна только в том случае, если зоны действительно независимы и обладают достаточным запасом прочности, чтобы поглотить реалистичный шторм при переключении на резерв. Ограничение частоты запросов, постепенная деградация и тщательно протестированные планы восстановления критически важны для предотвращения эффекта «стадного инстинкта», способного вывести из строя целый регион.
Google восстановился раньше, чем Revolut
Быстрое восстановление инфраструктуры Google не привело к немедленному возобновлению обслуживания для клиентов. Google сообщила, что большинство клиентов вернулись в онлайн примерно через шесть-восемь часов после начала инцидента, между 13:00 и 15:00 BST. Revolut, однако, объявил о полном восстановлении сервиса только в 18:40 BST, что составило значительную задержку в несколько часов.
Это различие выявляет критический нюанс: восстановление облачных мощностей не означает мгновенную очистку операционной очереди клиента. Даже при доступности вычислительных ресурсов и хранилищ, финансовая организация, такая как Revolut, сталкивается со сложными задачами. Согласование состояний транзакций, очистка очереди платежей и нормализация каждой зависимости приложения — от карточных платежей до сервисов входа — требуют времени и тщательной последовательности действий.
Сбой вышел за пределы Revolut. Отчеты указывали на более широкие нарушения в работе других учреждений и сервисов Великобритании, включая:
- Lloyds
- Halifax
- Видеосвязь для удаленных судебных заседаний
Это более широкое влияние подчеркивает фундаментальную уязвимость общей облачной инфраструктуры. Сбой в одной зоне europe-west2-b перерос в масштабную проблему обслуживания, демонстрируя, как взаимосвязанные зависимости могут превратить локальный инцидент с электропитанием в проблему национального масштаба. Для получения дополнительной информации о статусе инцидента обратитесь к Google Cloud Service Health Dashboard. Примечательно, что регулирующие органы обратили на это внимание: Банк Англии (Bank of England) и Управление по финансовому регулированию и надзору (FCA) получили запросы относительно сроков уведомления об инциденте.
Нравится статья? Получайте такие каждое утро на почту.
одно письмо в день · отписка в два клика · без сторонних трекеров
Облачный сбой теперь является банковским риском
Присвоение Google Cloud статуса критически важной третьей стороны для финансовой системы Великобритании в июле фундаментально меняет ставки. После сбоя председатель Комитета казначейства немедленно потребовал ответов от Банка Англии и FCA относительно сроков уведомления. Это не просто технический сбой; это системный риск.
Финансовые фирмы теперь сталкиваются с суровым вопросом: какой уровень устойчивости является достаточным? Когда облачный провайдер, целый регион или даже архитектура самого приложения становятся точкой концентрации, фирмы должны тщательно изучить свою подверженность рискам. Мультирегиональные проекты предлагают путь к снижению рисков, но влекут за собой значительные компромиссы в отношении затрат, задержек и сложного управления данными.
Для клиентов и разработчиков из этого можно извлечь практические уроки. Во время инцидентов постоянно проверяйте service health dashboard Google Cloud — он предоставляет самую актуальную информацию. Инженерные команды должны выйти за рамки предположений: тестируйте потерю зон, проверяйте емкость аварийного переключения и моделируйте режимы работы с пониженной производительностью. Развертывание в нескольких зонах само по себе не гарантирует непрерывность.
Часто задаваемые вопросы
Почему Revolut перестал работать во время сбоя Google Cloud?
Лондонский центр обработки данных потерял питание после отказа контроллеров основного и резервного генераторов. Трафик был перенаправлен в оставшиеся зоны, которые также пострадали из-за перегрузки и зависимости от отключенной зоны.
Как долго длился сбой Google Cloud в Лондоне?
Google заявила, что большинство пострадавших клиентов восстановили доступ примерно через шесть-восемь часов после начала инцидента. В Revolut сообщили, что их сервисы возобновили работу позже, примерно в 18:40 BST.
Почему другие зоны Google Cloud в Лондоне не предотвратили сбой?
Оставшиеся зоны столкнулись с внезапным скачком трафика аварийного переключения, в то время как некоторые сервисы все еще зависели от компонентов, привязанных к вышедшей из строя зоне.
Что этот сбой означает для финансовых услуг Великобритании?
Это подчеркивает, как сбои у крупного облачного провайдера могут повлиять на финансовые услуги и почему регулирующие органы внимательно следят за критически важными сторонними поставщиками.