Марина СоколоваУтром 11 октября перестали открываться сайты и приложения, которые друг с другом никак не связаны: такси, доставка еды, маркетплейсы, банковские сервисы, умные колонки. Общее у них одно: все они живут в облаке «Яндекса». За четыре дня беспилотники ударили по трём его дата-центрам, и компания впервые объявила аварийный режим облачной платформы. Разбираемся, что произошло, кого задело и что это значит для обычного пользователя.
Хронология: Сасово, Калуга, Владимир
Ночь на 8 октября, Сасово (Рязанская область). После атаки беспилотников на площадке начался пожар, дата-центр остановили полностью. Это крупный объект на десятки тысяч серверов, в терминах облака это зона доступности ru-central1-b. По данным SecurityLab, «Яндекс» до сих пор не может сказать, подлежит ли оборудование восстановлению. В тот же день о проблемах сообщили ЦИАН, «Брусника», А101 и «Гранель»: все они размещались в этой зоне.
9 октября, Калуга. Второй удар пришёлся по дата-центру в Калуге. Несколько серверных модулей вышли из строя. Площадка рассчитана более чем на 3800 стоек и мощность 63 МВт, но объём потерь и сроки ремонта компания не раскрыла.
11 октября, Владимир. В 5:10 по Москве канал Yandex Cloud Alerts сообщил об атаке на дата-центр во Владимирской области и полной остановке его работы. Формулировка компании: «Пострадавших нет, экстренные службы приступили к устранению последствий удара». Пострадала зона ru-central1-a. По второму владимирскому комплексу, зоне ru-central1-e, повреждения пока не подтверждены.
Что перестало работать
Сбои почувствовали пользователи в России, Казахстане и Киргизии. По данным «Российской газеты», картина была такой:
- «Яндекс Пэй»: при входе в приложение показывалось сообщение, что инженеры восстанавливают дата-центр.
- «Яндекс Go» в Москве и Подмосковье: проблемы с вызовом машины, в тарифах писали об отсутствии свободных автомобилей.
- «Яндекс Еда» в Москве не показывала список ресторанов, «Лавка» работала без картинок товаров, но заказы принимала.
- Умный дом и колонки: устройства не привязывались, «Алиса» отвечала с задержками или не отвечала вовсе.
- Чужие сервисы в облаке: «Додо», «Вкусно и точка», М.Видео, Дом.ру, Lamoda, Wildberries, Auto.ru, ЦИАН, Авиасейлс и десятки компаний поменьше.
Наш сайт тоже попал под удар. Сервер «Запретила» стоял в зоне ru-central1-a во Владимире, и утром 11 октября он пропал вместе с ней. Сайт мы за несколько часов подняли на другой площадке, но часть данных осталась на недоступном диске, и мы ждём, когда зона оживёт, чтобы их забрать. Если у вас пропали посты или комментарии, причина именно в этом.
Что говорит «Яндекс»
Компания объявила аварийный режим Yandex Cloud и прямо назвала оставшуюся конфигурацию ресурсов неустойчивой. Клиентам рекомендовали задействовать любые планы аварийного восстановления, а не только переключение между зонами внутри облака: зон осталось мало, и свободных мощностей в них не хватает. Поддержка, по словам компании, может отвечать нестабильно.
Из конкретных мер названы три:
- механизмы переноса управляющих компонентов Kubernetes и управляемых баз данных из недоступной зоны ru-central1-b;
- договорённости с Selectel, K2Cloud и VK Cloud об ускоренном размещении инфраструктуры клиентов на их площадках;
- ручное управление квотами на вычислительные ресурсы и диски с приоритетом для критически важных приложений.
Сроки возвращения Владимира не названы. Эксперты, которых цитирует SecurityLab, оценивают ремонт сильно повреждённого комплекса в срок до года, а при ограниченных повреждениях, как ожидают по Сасову, в один-два месяца. Строительство сопоставимой площадки обходится в 12–15 млрд рублей без учёта серверов. Аналитик Mobile Research Group Эльдар Муртазин в комментарии «Российской газете» предположил, что у компании были проблемы с резервированием данных: третья атака задела уже пользовательские сервисы, а не только облачных клиентов.
Почему одна атака кладёт столько сервисов
Облако устроено так: клиент арендует виртуальные серверы в одной из зон доступности, то есть в конкретном дата-центре. Надёжная схема предполагает копии в двух-трёх зонах, но это дорого, и большинство компаний держат всё в одной. Пока дата-центры не выбывали целиком, это работало. Теперь из зон центрального региона выбыли две, и переезжать стало некуда: в оставшихся не хватает места, а чужие облака принимают беженцев в порядке очереди.
Для пользователя это значит простую вещь: сбой у одного провайдера теперь выглядит как сбой «всего интернета». Не работает оплата в кафе, не вызывается такси, не грузится маркетплейс, при этом связь и сайты вне облака в порядке.
Что делать обычному пользователю
- Не перезагружайте роутер и не меняйте DNS. Проблема не у вас и не у оператора: сервис физически лежит.
- Держите второй способ оплаты. Если «Яндекс Пэй» или приложение банка не открывается, выручит карта другого банка или наличные.
- Проверяйте статус перед звонком в поддержку. На нашем сайте видно, массовая ли проблема: если сообщений много, ждать быстрее, чем дозваниваться.
- Если у вас свой сайт в Yandex Cloud, не ждите восстановления зоны: сделайте выгрузку базы в хранилище вне зоны прямо сейчас и подготовьте запасную площадку. Мы на своём опыте узнали, что резервная копия нужна до удара, а не после.
Мы будем обновлять статус сервисов «Яндекса» и его клиентов по мере восстановления. Сообщайте о сбоях на страницах сервисов, это помогает другим понять, что происходит.
Источники: SecurityLab: Третий ЦОД за четыре дня, Российская газета: Третья атака на дата-центр «Яндекса».