Раскладка фермы

01Схема серверов

Пять ролей, семь коробок. Каждая роль отвечает ровно за одно.

Как связаны

• Погонщик → Склад. Готовые машины уезжают на упаковку. Единственный тяжёлый поток в схеме — см. раздел «Стены».
• Склад → Сейф. Упакованные архивы и паспорта, ночным ходом, без права стирать.
• Погонщик → Почтовик. Запрос кода при регистрации. Байты, нагрузки нет.
• Все → Склад. Учёт: статусы машин, журналы прогонов, карточки аккаунтов. Единицы мегабайт.
• Эталоны лежат копией на каждом погонщике — иначе пришлось бы возить болванки по сети, а это десять терабайт в сутки.

02Погонщик изнутри

Один сервер делает всё: штамповку, разогрев и прогоны. Считаем, что во что упирается.

Диски

Тринадцать машин по ~20 ГБ, местный запас холодных болванок и готовые, ждущие отправки — около 400 ГБ. Терабайтного зеркала хватает с запасом.

03Три стадии: колд · хот · прогон

Где проходит граница между ними и что каждая оставляет после себя.

Смысл границы: всё дорогое и медленное — подбор чистого выхода в сеть, страна, персона — делается заранее и остаётся на диске. Прогону остаётся только включить машину.

Сколько занимает взять машину

04Замеры: из чего состоит сборка

Медиана по пятнадцати последним сборкам действующего завода. Не оценка — журнал.

Остальные этапы, для сравнения

05Три нагрузки — кто чем платит

Самый практичный вывод всего расчёта.

Итоговый порядок: память съедают прогоны и горячий запас, процессор — загрузки, диск — копирование. И только диск относится к штамповке, а по нему запас десятикратный.

06Единственное узкое место — память

Железо задано: 64 ГБ. Считаем, что из этого выходит.

При 64 ГБ схема «3 прогона + 3 горячих + штамповка» сходится ровно в ноль:

Вторая параллельная сборка уже не влезает. А нужна как раз примерно одна непрерывная: 216 болванок в сутки × 5,4 минуты = девятнадцать машино-часов, сборщик почти не простаивает.

07Склад: упаковка и хранение

Пассивная архивация. В прогонах не участвует, но именно здесь самая большая цифра.

Работа

Упаковка одного аккаунта — 10–20 минут сжатия. При 648 в сутки это 162 машино-часа в день, то есть нужно семь упаковщиков круглосуточно. Восьми ядер не хватит — 16 ядер минимум. Памяти много не нужно, а вот диск нужен быстрый и просторный как перевалочная площадка.

Хранение

Архив аккаунта весит 1,4 ГБ — это уже с учётом того, что одинаковые куски системы не дублируются.

08Почтовик

Отдельный продукт: аренда ящиков по договору. Здесь — только место в раскладке.

Масштаб: 27 тысяч новых адресов в сутки, 50–150 тысяч приходящих кодов, 50–100 тысяч адресов живут одновременно. Из этого следует, что адрес живёт два-три дня и выгорает — это проток, а не склад, и размер не растёт бесконечно.

09Сейф — почему отдельно от почтовика

Требования противоположны, поэтому одной коробкой их не закрыть.

Сложить их вместе — значит поставить самое ценное за самой атакуемой дверью. Плюс разные судьбы: почтовик растёт как продукт, архив вечен и его не трогают.

Сейф стоит держать в режиме «только дописывать» — тогда ни взлом завода, ни ошибочная команда не сотрут архивы, можно лишь добавить новые. Две полки у разных хостеров: две полки в одном дата-центре — это один пожар, а не резерв.

10Стены схемы

Три места, где конструкция упирается при 648 аккаунтах в сутки. Все три — про одно и то же.

• Штамповку — на сами цеха. 216 болванок в сутки × 5,4 минуты = девятнадцать машино-часов, то есть примерно один непрерывно работающий сборщик. Это ровный фоновый ручеёк, а не пик, ради избавления от которого затевался разнос. Эталоны кладём копией на каждый цех: 186 ГБ разово вместо десяти терабайт в сутки.
• Архив — паспорт, а не образ. Машина нужна, чтобы аккаунт создать и получить доверие. Дальше аккаунт работается без неё. Значит хранить надо ключи, доступы, отпечаток железа и рабочую сессию — мегабайты вместо пятнадцати гигабайт.

11Что решить до покупки железа

• Аккаунты после создания живут дальше как рабочие активы? Если аккаунт выпускает адреса каждый день, он не товар на полке, а работающий станок — тогда образ вообще не надо архивировать: из машины извлекается рабочая сессия, машина сносится, станок крутится дальше. От ответа зависит, нужен сейф на 5 терабайт или на 500, а это разница между €13 и €700 в месяц.
• Пятьдесят-сто тысяч адресов «в моменте» — это запас на полке или одновременные аренды? Разница в десять раз по нагрузке на выдачу.
• Только адреса Apple или свои домены тоже? Свои безлимитны и стоят копейки, но не несут доверия Apple. Скорее всего продукт двухуровневый — и от этого зависит вся учётная часть.
• Срок хранения полных образов. Тридцать дней — рабочая отправная точка, но это решение про деньги, а не про технику.