DDoS атака на Kaiten и сбой работы: что случилось? Официальное обращение

Привет, на связи команда Kaiten!

В пятницу 31 марта все сервисы Kaiten были недоступны с 10:00 до 17:30 по МСК.
В понедельник 3 апреля мобильная и веб-версия Kaiten работали нестабильно с 10:00 до 13:30 по МСК.

Мы понимаем, что доступность Kaiten влияет на вашу работу. Поэтому хотим быть максимально открытыми и рассказать о причинах инцидента, что мы сделали, чтобы подобное не повторялось, а также о компенсациях за предоставленные неудобства.

Что произошло 31 марта

Антироссийские хакерские группировки организовали мощную DDoS-атаку на все сервисы Kaiten. Информация об этой атаке появилась в открытом доступе на сервисе github. Видимо, причина атаки в том, что за последний год Kaiten стал довольно заметным инфраструктурным объектом для многих компаний, чем привлек внимание хакеров.

📑

Что такое DDoS? Атака типа «отказ в обслуживании» (DoS) – это попытка причинить вред, сделав недоступной целевую систему, например веб-сайт или приложение, для обычных пользователей. Обычно злоумышленники генерируют большое количество пакетов или запросов, которые в конечном счете перегружают работу целевой системы. Для осуществления атаки типа «распределенный отказ в обслуживании» (DDoS) злоумышленник использует множество взломанных или контролируемых источников.

Для отражения атаки сначала мы пытались подключить защиту от DDoS нашей хостинговой площадки, но в итоге к 15:30 (МСК) они так и не смогли предоставить соответствующую защиту.

Тогда мы обратились к другому провайдеру услуг по защите от DDoS — Variti.io (они также являются клиентами Кайтен). Они смогли за час произвести необходимую настройку. А затем мы еще час решали проблемы на серверной инфраструктуре нашего хостинга. После чего доступ для пользователей был полностью восстановлен.

DDoS продолжался еще долго, и хакеры попробовали изменить стратегию атаки, но она не привела к успеху, так как Variti.io имеет хорошие алгоритмы защиты.

То есть мы могли бы за 2 часа решить проблему, если бы заранее обратились к правильному вендору, и это самая наша большая ошибка при решении данного инцидента.

Сейчас атаки прекратились, но защита продолжает действовать 24 / 7.

Клиентские данные и риски

Этот тип атаки не был направлен на компрометацию или повреждение данных. В связи с этим не стоит переживать за сохранность данных — они не пострадали.

Также информируем вас, что резервные копии данных хранятся в недоступном месте для основного технического персонала компании ООО «Кайтен Софтвер» и должным образом защищены.

Почему защиты не было раньше

Мы не считали, что наш сервис может быть интересен хакерским группировкам. Kaiten существует уже 7 лет, и это первая атака подобного масштаба.

Мы считали, что подключение защиты от DDoS — это достаточно оперативная операция. И были правы, но, к сожалению, ошиблись с вендором услуги.

Любая система защиты от такого типа атак построена на анализе входящего трафика, и для профильных специалистов не секрет, что в результате работы анализаторов нарушаются и нормальные сценарии работы с системой. То есть процесс встраивания защиты от DDoS это постоянное взаимодействие с вендором для обнаружения ошибочных срабатываний, чтобы их исключать. Некоторые клиенты наблюдали, что в выходные нарушалась работа с API, загрузки файлов. Это все последствия встраивания защиты. На текущий момент большинство ложных блокировок активности уже решено. Чтобы заниматься этой задачей — нужно встраивать работу с вендором защиты от DDoS в процесс разработки и развертывания программного обеспечения, а это дополнительная нагрузка.

Повторится ли еще данный инцидент?

Безусловно да. Потому что на нас уже обратили внимание. Но теперь мы к этому готовы.

Имея настроенную и активную защиту, мы будем отражать подобные атаки более оперативно. В большинстве случаев это не скажется на работе пользователей, так как воздействие на систему не должно выводить ее из строя на длительные промежутки времени и влиять на скорость работы.

После такого урока мы будем еще больше наращивать стабильность работы системы.

Что произошло 3 апреля

С 10:00 по МСК, то есть с начала рабочего дня основной массы наших клиентов, мы заметили увеличенное время ответа от основной базы данных.

Стоит отметить, что в выходные мы проводили плановые работы по увеличению ресурсов используемых баз данных. Но к утру понедельника дисковая подсистема основной базы данных начала медленно отвечать.

К сожалению, мы не получили от нашей хостинговой площадки своевременно подтверждения этой информации, поэтому произвели экстренные технические работы по решению проблемы своими силами.

База постепенно пришла в нормальный режим работы, и признаки проблемы были полностью устранены к 13:00 по МСК.

Повторится ли еще данный инцидент?

Мы обновили внутренние регламенты, которые обязывают технический персонал после изменений конфигурации основных баз данных более тщательно проверять основные пользовательские сценарии под нагрузкой.

Это позволит избежать подобных ситуаций в будущем.

Компенсации пользователям

За инцидент, который произошел 31 марта:

На всех тарифах с постоплатой мы вычли сумму, равную 2-м дням обслуживания из счетов, сформированных 1 апреля (за март).
На всех тарифах с предоплатой, которые были активны на момент инцидента, мы сделаем скидку равную 2 дням при оформлении следующего продления тарифного периода.

За инцидент, который произошел 3 апреля:

На всех тарифах с постоплатой (активных на дату инцидента), в рамках счета, который сформируется 1 мая мы вычтем сумму, равную 1 дню работы в системе.
На всех тарифах с предоплатой, которые были активны на момент инцидента, мы сделаем скидку равную 1 дню при оформлении следующего продления тарифного периода.

Мы стараемся создавать сервис для вашей работы. И самое важное в нем — это быть надежным и доступным в любое время. К сожалению, мы не смогли предвидеть все угрозы и предоставить непрерывный доступ к вашим рабочим задачам. Приносим свои искренние извинения за это.

Надеемся, что нам удастся сохранить ваше доверие.

Ведь мы не только признаем свои ошибки, но и умеем на них учиться.

Ваша команда Kaiten 💜