Tsaplin.RuVDS

Это то, что чаще всего вылетает в сервере, и то, что дублировано, то есть сервак продолжает работать с деградацией производительности. Также дублированы питание и много чего ещё, но питание можно менять и не так быстро.

У нас в каждом дата-центре по миру — корпоративное железо. У него гарантия — Next Business Day от поставщика или производителя. Это значит, что если что-то ломается, то в течение следующего рабочего дня привозят замену. Но для жёсткого диска это долго: да, все массивы — RAID 10, но надо менять диск сразу, а не ждать сутки.

Если сервер падает в пятницу вечером, то следующий рабочий день наступает только во вторник (пока заявка, пока логистика). Для критической инфраструктуры ждать три-четыре дня просто непозволительно.

ЗИП — это железо, которое просто простаивает. И вот тут включается ещё одна важная особенность и тарифов, и политики выбора железа: оно должно быть гомогенным. Если у нас в стойках — зоопарк, то и компонентов надо держать больше. Мы стараемся закупать одинаковые платформы большими партиями. В качестве бонуса — не только цена и одинаковый софт (а это дальше влияет и на тарифы), но и один комплект ЗИП.

Замену делает синее тело — аватар, которому это поручается. Специфика иностранных площадок в том, что наших инженеров там физически нет. Мы полагаемся на услугу «Удалённые руки». Это не когда нет ручек и нет мультиков, а когда местные инженеры дата-центра ходят к стойкам по нашим тикетам: нажимают кнопки, меняют диски и коммутируют провода.

Эта система стабильна, но не без сюрпризов.

Ситуация на рынке сейчас сложная: спрос на зарубежные мощности огромный, а логистика из Китая и Европы хромает. Партии оборудования, которые раньше ехали месяц, теперь могут добираться полгода. В Амстердаме у нас полный sold out: свободных серверов нет, ждём поставку только после Нового года. И именно в этот момент на одной из платформ Хуавея умирает сервер.

Само по себе это событие — из ряда вон. Обычно электроника либо сразу ломается (заводской брак), либо работает годами. Этот сервер отпахал почти год, гарантия уже подходила к концу. Сначала мы грешили на привычные вещи: может, RAID-контроллер сбоит? Может, процесс завис?

Но диагностика показала, что проблема — в материнской плате.

Почему это страшно? Потому что материнская плата — это, по сути, и есть сервер. Это шасси, к которому прикручена плата. Держать в ЗИПе запасные материнки — значит, иметь на складе пустые дорогостоящие серверы, которые просто пылятся. Обычно в ЗИПе лежат диски (они часто летят), блоки питания (бывает), даже контроллеры. Оперативку держать почти нет смысла: если планка сгорела, то сервер просто увидит меньше памяти, но продолжит работать. А вот материнка... За 10 лет работы мы ни разу не видели, чтобы качественная серверная мать умирала своей смертью посреди срока эксплуатации.

Но она умерла. И выяснилось, что в нашем ЗИПе её нет (что логично), но её нет даже у самого Хуавея на местных складах в Европе!

Такую крупную запчасть вендор пообещал доставить только через неделю плюс время на авиадоставку.

Теперь — как вообще всё это происходило. Тут есть вторая особенность — медленная поддержка. Это менталитет Европы. Пример: сервер упал в субботу вечером — по телеметрии просто выключился. Мы пишем тикет местным, чтобы сходили и нажали на питание. Инженер идёт целый час, нажимает. Появляется ошибка по питанию, но физически на блоках питания горят зелёные лампочки. Мы просим поменять блоки местами, потом попробовать запуститься на одном блоке (сервер умеет работать на одном, второй — резервный).

Инженер делает это крайне медленно, весь рабочий день, часами переписываясь с нами.

Меняется текст ошибки: теперь система жалуется на процессор. Конкретно — на один сокет.
Это странно: процессоры почти бессмертны. Чтобы камень сгорел сам по себе — это как самолёт, летящий на одном двигателе: вероятность близка к нулю. Мы просим инженера: «Поменяйте процессоры местами. Если ошибка перейдёт на другой сокет — значит, дело в процессоре. Если останется — дело в материнке». И тут местная служба поддержки встаёт в позу: «Нет. Это технически сложная работа. Нам запрещено залезать внутрь оборудования клиента и трогать процессоры».

Пришлось вызывать инженера от нашего оператора связи (это другой человек, не сотрудник самого ЦОДа). Он приехал специально ради нас. Переставил процессоры, проверил каждый камень в каждом сокете, проверил даже термопасту. Вердикт: ошибка никуда не уходит, видеосигнала нет. Материнская плата считает, что сокет не работает, хотя процессор жив. Это на 99,9% — смерть материнки.

Отдельная история — это счета. Изначально сотрудники дата-центра попытались выставить нам счёт за шесть часов работы Remote Hands. Я едва сдержался от мата: «Как вы могли шесть часов нажимать на кнопку и перетыкать блоки питания?!» После скандала время сократили до двух часов, что тоже много, но уже не так нагло.

Мы попросили того самого инженера вытащить из сгоревшего сервера диски (в частности, с бэкапами) и физически воткнуть их в соседний живой сервер. Клиентам объяснили, что происходит, и предложили варианты:
— Развернуться из бэкапов на том, что есть (места мало, всех не вместим).
— Переехать в другой дата-центр.
— Получить компенсацию (в пятикратном размере от времени простоя по SLA).

Негатива не было вообще. Обычно в таких случаях клиентов прорывает, и их можно понять. Но тут были полная тишина и понимание. Большинство мы восстановили на соседних узлах. А часть клиентов сказала: «Ничего страшного, у нас там не критичные сервисы, неделю мы подождём, пока не приедет запчасть. Главное — не берите за это время денег». Мы, конечно, не только ничего с них не взяли, но и начислили компенсацию: кто-то получил пять недель бесплатного пользования.

Крупные структуры, у которых закупается железо, мгновенно подняли проценты вслед за ставкой ЦБ, но не спешат их снижать. Реальная ставка по лизингу для участников рынка сейчас начинается от 35%. Банки в свою очередь пользуются условиями договоров, где право на пересчёт ставки — это их возможность, а не обязанность.

Дорожают сами серверы, только за этот год на 5–15%. Но главный прикол случился с оперативкой DDR4. С июня она подорожала на 50%.

Получилось смешно и грустно одновременно. Samsung и другие гиганты решили: «Всё, переходим на DDR5!» — и свернули производство четвёрки. А рынок оказался не готов. Чтобы поставить новую память, нужно менять материнские платы, а апгрейдить весь парк серверов ради этого никто не спешит.

В итоге возник дикий дефицит, и цена на старую добрую DDR4 улетела в космос. А это основной расходный материал для масштабирования текущих мощностей, поэтому напрямую бьёт по себестоимости юнита в стойке для любого провайдера.

Логистика остаётся одной из самых непредсказуемых статей расходов.

Большинство провайдеров возит оборудование небольшими партиями и расходы на логистику не размываются, как в ретейле. Поставщики вынуждены закладывать стоимость потенциальных срывов и возвратов в цену каждой единицы товара для всех клиентов.

Свежий пример: везли два сервера из Китая в Армению. На границе их развернули (скорее всего, ошибка в документах). Чтобы вернуть их в Россию, переоформить и отправить заново, поставщик потратил почти 700 000 рублей. За два юнита!

Вообще, есть ощущение, что ИТ — это новая нефтяная отрасль, которую решили подоить. Доходы от ресурсов упали, государству нужны деньги. Что мы имеем в этом году:

1. Повышение страховых взносов для ИТ-компаний из реестра ПО вдвое: с 7,6 до 15%.

2. НДС взлетел до 22% с 1 января.

3. Новые правила для упрощёнки заставят даже малых поставщиков и контрагентов платить НДС, что автоматически увеличит стоимость всех промежуточных услуг в цепочке.

В сумме один только налоговый эффект даст на выходе ещё около 5% к цене.

Но конкретно для нас главный фактор — новый реестр дата-центров. Мы думали, это для льгот на электричество. Но опыт подсказывает, что это очередное «узаконивание поборов». На недавнем саммите ЦОД все верещали: по их прогнозам, услуги дата-центров могут подорожать на 20–25%. Логика, видимо, такая: тарифы на электричество взвинтят для всех до небес, а ЦОДам из реестра дадут ставку, которая позволит им хотя бы не закрыться.

В смысле, вероятно, вы теперь будете выключать свет в туалете, а ЦОДы получат льготы в виде неповышения цен на некоторое время. Если повезёт.

В итоге рыночный прогноз роста цен на услуги хостинга — 10–15%. Перед провайдерами стоит выбор: экономить на качестве, закупая б/у железо, или повышать цены. Мы на качестве экономить не будем, шринкфляцией заниматься тоже. Так что, увы, с января пришлось поднять цены на примерно 5%.

И тут с почты внутри домена приходит такой же тикет, только на другое имя. Мол, утерял доступ, верните.

Второй человек-паук

Через 2 дня появляется тикет с изначальной почты внутри домена. Текст панический: «Караул, у меня угнали аккаунт! Я настоящий владелец, верните всё как было!»

У поддержки начинается лёгкая паника.

Доступ к почте обычно приравнивается к владению аккаунтом.

Запросили документы и у него.

Паспорт он присылать отказался. Но, по идее, владение почтой и есть владение аккаунтом, и он в своём праве.

В чём основная засада

Аккаунтом владеет человек, который произвёл акцепт оферты.

Оферта акцептируется через оплату — то есть тот, кто оплатил, подписал её самим фактом оплаты.

Мы не видим личность человека и не храним банковские данные. То есть для авторизации по стандартам для правоохранительных органов такого акцепта достаточно. Если он правонарушит, они найдут его, запросив по номеру транзакции персональные данные из банка, выпустившего карту, либо параметры карты (с именем) из процессинга, если банк иностранный.

Мы не видим, кто он. Для нас он просто кот. В интернете все коты, пока не доказано обратное.

Мы не можем обратиться в суд, потому что конфликта пока нет. Если бы он был, они бы судились между собой.

Дальше право на владение аккаунтом, фактически, подтверждается при утере по минимальным признакам:

• ФИО, паспорт и документы об оплате — это один минимальный пакет.

• ФИО, паспорт и сертификат на домен с этим ФИО + владение почтой — это другой минимальный пакет.

И вот второй человек-паук предоставил нам сертификат на домен.

То есть оба они с точки зрения логики договора оферты обладают равными правами на аккаунт. По идее, мы должны выдать доступы им обоим, и это правильно. Но, как я говорил, это неправильно.

И есть ещё один нюанс.

Сертификат второго — на личную почту первого!

Второй человек-паук предоставил нам сертификат на домен. С ним две проблемы:

1. Он 2021 года.

2. В графе «Администратор домена» в этом сертификате указана та самая личная почта первого человека-паука, откуда пришёл первый тикет!

Приехать в Москву они не могут, потому что один за рубежом, второй далеко. Но оба готовы выйти на видеозвонок для подтверждения персональных данных с паспортом в зубах.

Мы запросили более свежий сертификат на домен и сидим в когнитивном диссонансе.

До кучи сервак скоро сходит с тарифа, у него заканчивается срок оплаты.

Что сделали сейчас

• Во-первых, нельзя останавливать сервер, потому что там у них, судя по контексту, крутится работающий коммерческий проект.

• Во-вторых, мы тут же сняли снапшот (полный бекап) на всякий случай и продолжаем итерировать эти технические бекапы. Как только они разберутся, где что, мы их предоставим конечному владельцу.

• В-третьих, мы временно заморозили доступ обоим человекам-паукам в панель управления до окончания разбирательств — как минимум пока они не предоставят дополнительные документы.

• В-четвёртых, мы продлим сервер за свой счёт на 1–2 месяца, если это затяняется, и потом предложим им схемы эскроу или другого подобного условного платежа, если всё же они обратятся в суд.

Сейчас у нас ситуация следующая: один контролирует корпоративную почту, но документы на домен ссылаются на личную почту второго. Второй платил деньги и имеет паспорт, но не имеет доступа к корпоративной почте. Они ссылаются друг на друга, и их доказательства взаимоисключающие.

Наше решение сейчас — отправить их обоих добывать новый сертификат на домен. Принцип такой: кто контролирует домен, тот контролирует и админскую почту. То есть нам нужна свежая актуальная выписка от регистратора домена не раньше первого тикета.

Тот, кто её получит, должен будет выйти с нами на видеосвязь. Мы хотим увидеть его лицо, его паспорт и убедиться, что данные в паспорте совпадают с данными в свежей выписке на домен. Более того, возможно, мы попросим создать специальную запись в настройках DNS. Это технически докажет, что человек прямо сейчас управляет доменом, а не просто нашёл старые скриншоты.

Интуитивно мы подозреваем, что перед нами классическая ссора заказчика (например, владельца бизнеса) и админа. Один платил деньги — заказчик с паспортом, а второй всё настраивал и держит руку на пульсе технической части. Возможно, они разругались и теперь делят имущество через нашу техподдержку. Вероятно, что первый человек-паук не разбирается в технической части и поэтому успокоен сообщением, что «в целях безопасности доступ заморожен». Написано же, что в безопасности, значит, всё в порядке.

В общем, мы не знаем точно, что ещё можно сделать в такой ситуации, и вот теперь нам нужен совет сообщества.

Изначально план был спокойный: у нас было месяца четыре на подготовку. Но некоторые западные партнёры почему-то решили отменить свои миссии и сообщили нам: «Парни, вы летите через полтора месяца». Разработка в таких условиях шла, скажем так, несколько напряжённо и без предварительных тестов.

Мы запускали спутники в формате кубсата. Весь их смысл в том, что большие спутники очень тяжело загружаются в корабли, сложно испытываются и выводятся на орбиту. С развитием технологий многие вещи миниатюризировались, и появилась идея делать стандартные слоты для спутников, куда можно положить что угодно типовое и выкинуть его по дороге.

Корпус и базовые системы кубсата можно самим спаять в мастерской, а можно купить. Нам их сделала компания Геоскан. Внутрь можно напихать свою полезную нагрузку — то, что вы возьмёте на борт. Мы установили туда мини-сервер, чтобы у нас была маленькая орбитальная серверная и туда можно было хоститься.

Полезная нагрузка разрабатывается точно так же, как делается обычный коммерческий заказ на электронику, но есть нюансы.

По требованиям Роскосмоса спутник не может лететь включённым. Есть специальные ремувки и концевые выключатели. Пока спутник в ракете — он мёртв. Как только пружина выталкивает его из контейнера, цепь замыкается — и поехали. Поэтому всегда есть риск, что в итоге спутник не включится вообще.

Ещё момент — про охлаждение. На Земле есть конвекция: вентилятор дует, охлаждая воздух. В вакууме воздуха нет. Тепло уходит только через корпус или излучением. Поэтому электроника должна греться по минимуму, иначе она просто расплавит сама себя.

Отдельная запара — софт под эту полезную нагрузку. Здесь особенность в том, что если поставить на спутник Linux и где-то будет конфликт зависимостей, то надо будет доехать и перезагрузить. А это немного проблематично. Пишется два набора софта: чуть ли не конечные автоматы для критических операций и высокоуровневый — для полезной нагрузки. Всего у нас было шесть пикоспутников (размером с полпачки молока), которые помещаются в большой кубсат на три юнита. Главный герой — аппарат Д, внутри которого и жил тот самый веб-сервер.

В итоге мы уложились в рекордные сроки: от начала подготовки до запуска прошло всего восемь месяцев!

27 июня 2023 года с космодрома «Восточный» стартовал «Союз-2.1б». Корабль штатно выпустил большой кубсат на расчётную орбиту. На выходе из люка сработали концевые переключатели, и кубсат подключился к собственному заряженному аккумуляторному блоку (потерявшему около 20 дней в саморазряде, но это некритично). Через полчаса он начал оживать.

Всё круто: видео записывается, команды принимаются. 11 июля даём команду на выход роя. Пикоспутники вылетают из ангара, распрямляя свои нитиноловые антенны. Пять спутников из шести выходят на связь штатно. А вот наш главный с веб-сервером молчит.

Гипотезы были разные. Это космос, такое случается. Никто не услышит и не узнает точно. Плюс из-за дронов в Москве в то время стало очень шумно в плане радиоэфира. Пришлось подключать сеть станций по всей России. На следующий день радиолюбителям всё же удалось поймать телеметрию.

Оказалось, что аппарат работает, передаёт стандартную отбивку. Но борткомпьютер с веб-сервером не стартует. Мы с админами прогнали все сценарии и пришли к выводу, что подвела SD-карта — либо из-за вибраций при пуске, либо из-за перепада температур.

Но мы выкрутились. В контроллере связи был заложен режим ретрансляции. Нам пришлось посимвольно оптимизировать код сайта, чтобы он влез в один пакет — это около 200 байт.

В итоге получили интернет-сайт, размещённый на искусственном спутнике Земли. И провели первый космический CTF (игру для хакеров), который до нас даже американцы не смогли реализовать.

Дальше у нас в планах — Луна. Уже была миссия, когда НАСА подсадило на лунную орбиту несколько кубсатов. Может, и нам повезёт поучаствовать. Такие дела!

У нас 20 дата-центров по миру, а Интерпол присылал запросы на данные пользователей всего два раза. Это мало. С одной стороны, им тяжело присылать запросы российской компании.

С другой стороны, если у российской компании ЦОД в Швейцарии или Нидерландах —российские органы тоже очень редко копаются. Им надо действовать через международные запросы, а это такая бюрократическая волокита, в которую никто не полезет без повода уровня «торговля запрещёнкой в особо крупных размерах».

Вообще, законы Нидерландов о суверенитете данных по-прежнему выглядят очень заманчиво, но стали строже, чем 5–7 лет назад. Там всё ещё нельзя просто так прийти и изъять сервер без решения суда, зато их киберполиция сейчас считается одной из самых крутых в мире. Они научились дистанционно взламывать серверы и перехватывать данные в реальном времени. Так что, если на железе висит криминал, его быстро вычислят и отключат.

Онлайн-казино теперь обязаны получать лицензию местного регулятора, без неё штрафуют и владельцев, и хостинги, и даже платёжные системы.

Пиратство, варез и спам тоже под прицелом. Если хостинг будет игнорировать жалобы на спам или нелегальную фарму, весь диапазон IP-адресов дата-центра попадёт в чёрные списки. Это смерть для бизнеса, поэтому таких клиентов выгоняют мгновенно.

С 2024 года в полную силу вступил общеевропейский закон, который обязал хостеров реагировать на жалобы быстро и прозрачно. Игнорировать абузы теперь юридически опасно для самого дата-центра.

Что остаётся неизменным — это адалт. Контент для взрослых в Нидерландах так же полностью легален.

Но это не спасение от Роскомнадзора. Если сайт нарушает законы РФ, его просто заблокируют на уровне российских провайдеров. Пользователи из России увидят заглушку, хотя сам сервер в Амстердаме будет работать как ни в чём не бывало.

Есть ещё момент. Если вы ставите на сервер Windows, то по лицензионному соглашению Microsoft имеет право доступа ко всем машинам со своими продуктами. Так они проверяют лицензии и собирают телеметрию. Плюс по закону корпорация обязана предоставлять данные силовикам, если потребуется.

Прямого доступа к файлам клиента у MS нет, это делается через систему аудитов по запросу. Если кто-то настучит, что у вас пиратский офис, MS пришлёт запрос нам.

Мы предупреждаем клиента, и у него есть пара дней, чтобы купить лицензию, снести софт либо сделать ещё что-то разумное при виде предстоящей проверки.

Потом передаются доступы, и MS проводит аудит. Учитывая реалии, обычно аудиторы застают там девственно чистую машину. Все всё понимают, но иногда попадаются пользователи, которые не знали, что нельзя использовать десктопные ключи на виртуалках без специальной SPLA-конвертации. Отказаться от аудита в принципе можно, но тогда последует отказ в обслуживании.

В общем, хоститься в другой стране — это отличный способ обеспечить себе спокойствие и параллельный импорт контента. Рисков почти нет, если только вы не мафиозный босс.