Информационный портал

Оригинал статьи на английском

От имени команды Operations, включив на всю катушку специальную музыку для сочинения статей (Skálmöld), с гордостью представляю вам большой проект под названием «Транквилити Tech III», который по нашим планам будет завершен в самом начале 2016 года.

Проект называется TQ Tech III (TQ от полного названия «Транквилити», главный сервер EVE Online) из-за того, что инфраструктура Евы физически меняется в третий раз. ССР делает значительные инвестиции в совершенно новое оборудование (сетевое оборудование, система хранения и серверы), а также переносит его на новый хостинг в Лондоне.

В прошлом мы уже делали похожие подвиги Геракла. Вот пара ссылок, чтобы освежить память:

2010 - «Транквилити» на новом уровне

2011 - Улучшение базы данных «Транквилити»

Согласно парадигме «Ева навсегда», настало время опять обновить «Транквилити», и вооружиться новыми методами и технологиями последних лет, направив их на обеспечение и поддержание сложнейшего игрового мира и услуг доступа к нему.

[img]http://i.imgur.com/5C0JTNL.png[/img]

У TQ Tech III есть множество аспектов, которые я буду пояснять при помощи своих коллег-разработчиков.

Внимание: сейчас будет много супер-пупер технологий!

Дополнительная избыточность

Система хранения данных «Транквилити» дублируется и избыточна. Массив хранилищ всегда был избыточным, но сейчас мы увеличили количество элементов устойчивости к сбоям.

У нас будет полное зеркало сети хранения данных (SAN mirror) для одновременного поддержания «Транквилити» и резервной копии в рабочем состоянии, а также для точного воспроизведения базы данных «Транквилити» на другом берегу океана в Исландии, стране льда и пламени.

Вот как будет выглядеть «Транквилити» со стороны хранилища данных после окончания работ:

[img]http://content.eveonline.com/www/newssystem/media/68643/1/1.png[/img]

Вы можете увидеть два контроллера SAN фирмы IBM, определяющих работу двух контроллеров V5000 той же фирмы; они, в свою очередь, сохраняют все данные на трёх стойках расширения, содержащих 9 твердотельных накопителей по 800 Гб, что в сумме дает 83 диска 1.2Tб 10K SAS. Не забудьте, что всё это дублируется, так что для полной картины удвойте цифры!

Всё это работает очень быстро, а новое хранилище должно обращаться к серверам…

Новые серверы

С первого дня «Ева» работала на блейд-серверах IBM. Для обновления мы выбрали новое поколение серверов IBM под названием IBM FLEX. На картинке выше вы можете видеть связь одного шасси FLEX с системой хранения.
Концепция FLEX похожа на блейды в том, что шасси предоставляет питание и охлаждение и может нести до 14 узлов (нод) на каждом шасси.

Для сравнения, сегодня блейды «Транквилити» работают с четырьмя гигабитными соединениями, причем каждый из 14 узлов обладает доступом к двум гигабитным соединениям, поскольку у них по две сетевые карты.

Новое шасси IBM Flex получит четыре десятигигабитных соединения, дав каждому узлу пропускную способность в 2х10 Гбит.

На сегодняшний день это слишком много для «Евы», но после установки оборудования наши инженеры смогут экспериментировать с новыми интересными способами масштабирования производительности «Транквилити» и архитектуры в целом. Это, конечно, потребует времени, но мгновенный эффект состоит в очень быстром выпуске обновлений!

Кроме того, в результате серьёзно улучшится наше виртуальное серверное окружение, например при переносе в реальном времени виртуальных машин на другой физических хост.

Ах да, у нас будет 6 таких шасси. :D

[img]http://content.eveonline.com/www/newssystem/media/68643/1/2.png[/img]
[img]http://content.eveonline.com/www/newssystem/media/68643/1/3.png[/img]
[img]http://content.eveonline.com/www/newssystem/media/68643/1/4.png[/img]

Правда, красиво?

Вы можете заметить обилие избыточных компонентов. Так и задумано: для обслуживания «Транквилити» мы можем отключить одно шасси полностью, а игроки продолжат воевать, писать в чатах, производить, исследовать и обманывать на оставшихся пяти стойках.

Серверы соединяются с системой хранения через шестнадцатигигабитные свитчи IBM SAN 2498-F48. Всё скоммутировано так, чтобы избежать существования потенциально сбойных точек, зависящих от единственного узла системы.

Mahālangūr Himāl

Сейчас у нас есть один компонент кластера «Транквилити», который мы называем «Эверест». Он используется в ситуациях, когда необходимо справиться с очень высокой нагрузкой - обычно это происходит во время самых крупных в ММО сражений.

У «Транквилити Т3» будет шесть узлов типа «Эверест».

Это позволит одновременно взрывать очень много кораблей. А ещё в случае необходимости некоторые альянсы могут одновременно забыть оплатить важные счета!

Обаятельная база данных «Транквилити»

Давайте поближе взглянем на кластер. Начнем с оборудования для работы с базой данных «Транквилити».

[img]http://content.eveonline.com/www/newssystem/media/68643/1/5.png[/img]

У каждой из четырех машин Microsoft SQL Database будет внушительные 768 Гб оперативной памяти, работающей на частоте 1866 МГц. У них будет по 2 процессора Intel E7-8893 v3 — процессор с частотой 3.2 ГГц и 4 ядрами (8 с гипертредингом) и кешем в 45 Мб, что делает их идеальным решением для интенсивной работы с базой данных.

Вот более подробный рассказ о базе данных от её администраторов.

Обновление сети

До сих пор мы говорили о быстрых серверах и обилии быстродействующих хранилищ. Но что-то должно всё это соединить в одно целое, а также соединить с тем местом, где обычно хранятся смешные картинки с котиками (т.е. с интернетом). В противном случае, EVE Online будет совсем… не онлайн.

Передаю слово нашей сетевой команде

Наши надежные роутеры Cisco 7606 с 2009 года верой и правдой служили сетевым потребностям. Мы связаны с более, чем 20 провайдерами и получаем полные таблицы протокола граничного шлюза от пяти из них, что в сумме составляет более двух миллионов значений атрибутов пути, которые компилируются в полмиллиона глобальных таблиц наилучшего пути для протокола граничного шлюза на каждом граничном роутере. Эти почтенные динозаврым мира роутеров работали с ними без перерыва на обед.

Тем не менее, технология не просто шагнула, а прыгнула вперёд за последние шесть лет. Настало время отправить старые роутеры на заслуженный отдых и заменить их на роутеры нового поколения. Ради славных пилотов Нового Эдема мы вновь используем лучшее из лучшего оборудования. Ничего иного «Транквилити» не заслуживает!

Новые аппараты с пропускной способностью в 120 Гбит/с и удвоенным объёмом памяти на порядок мощнее, что позволяет повысить число связанных с нами провайдеров. Благодаря дополнительной оперативной памяти они хранят заранее рассчитанные резервные копии маршрутов BGP для каждого активного маршрута, что позволяет переключить неверный путь на запасной в течение считанных миллисекунд. Это значит, что если что-то случится с провайдером, непосредственно соединенным с нами, большинство игроков, чей маршрут в сети проходит через этого провайдера, переключат на другого провайдера без потери соединения. Новые роутеры позволят нам улучшить качество соединения и благодаря увеличенной памяти и вычислительной мощности откроют перед нами россыпь новых возможностей.

Другой фундаментальной частью сегодняшней сетевой инфраструктуры «Транквилити» являются балансировщики нагрузки Cisco ACE 30. Эти коробки очень сложно конфигурировать, но они занимают особое место в наших сердцах, любящих высокие технологии. Они позволяют нам быстро вносить на «Транквилити» серьёзные изменения и надёжны как скала.

Однако несколько лет назад компания Cisco ушла с рынка сетевых балансировщиков и оставила платформу ACE умирать медленной смертью. С тех пор мы испытывали разные платформы и, наконец, нашли отличную замену, которая не только обеспечит прирост производительности, но и даст новые возможностти.

Только с точки зрения производительности, на новом «Транквилити» мы увеличим пропускную способность с 16 Гбит/с до 30 Гбит/с, а максимальное число одновременных подключений увеличим с четырёх миллионов до двадцати четырёх миллионов. Новые сетевые балансировщики не оставили равнодушными не только команду Operations, но и весь отдел разработки Евы. Мы потираем руки прямо как капсулёр, в первый раз севший на «титан».

[img]http://content.eveonline.com/www/newssystem/media/68643/1/8.png[/img]

Сетевые соединения

Мы не только обновляем оборудование, но и ищем новые возможности улучшения сетевого соединения с точки зрения опыта игроков. Одной из связанных с этим инициатив стало развертывание новой интеллектуальной платформы роутинга для оптимизации маршрутов BGP. Эта система автоматически проверяет как задержку, так и число потерянных пакетов для каждого игрока, соединенного с «Транквилити», путём одновременного тестирования маршрутов от каждого присоединенного к нам провайдера до провайдера игрока. Она прозрачно для пользователя переключает соединения на наилучший доступный путь. Активные соединения проверяются регулярно в течение нескольких часов. Эта система уже доказала, что может без задержек обходить множество препятствий и отключений сетевых узлов на вечно волнующихся просторах интернета. Превосходный инструмент отчётов позволит нам создать список провайдеров, обеспечивающих игрокам наилучший доступ к EVE Online.

[img]http://content.eveonline.com/www/newssystem/media/68643/1/9.png[/img]
[img]http://content.eveonline.com/www/newssystem/media/68643/1/10.png[/img]

Как видно из результатов испытаний на рисунках выше, интеллектуальная платформа роутинга позволила улучшить качество соединения с более чем 7000 сетей провайдеров по всему миру, снизив потери пакетов при соединении с «Транквилити» на 91% там, где эти потери наблюдались, а также в 59% случаев обходя отключенные участки в интернете. Задержка также значительно снизилась, сократившись на 20% у более чем половины из всех медленных соединений. Вот такие результаты мы всегда рады видеть!

В заключение, мы продолжим расширять наше сотрудничество с LINX (London Network Exchange), что позволит нам напрямую соединяться с большим числом интернет-провайдеров. Таким образом, игроки, использующие услуги этих провайдеров, смогут напрямую соединяться с «Транквилити», не проходя при этом через лишние общие сети в интернете, что снизит число прыжков и обеспечит значительно более стабильное соединение.

Мы бы хотели поведать вам множество головокружительных подробностей о наших новых игрушках (поверьте, мы можем говорить о них бесконечно!), но специалисты из отдела безопасности говорят, что они должны храниться в тайне. Но! Но! Но! Если вы на следующем «Фанфесте» посетите круглый стол со специалистами команды Operations, мы обещаем чуть-чуть приоткрыть завесу тайны и немного рассказать о новом чудесном мире улучшенных сетевых соединений в интернете.

- CCP Lucca and CCP Skylark

Молодцы, чё.
Особенно хорош переезд в Исландию. Платить за содержание серверов надо будет меньше - экономия и пускание денег на бухло и пиццу в разработку проектов.

По поводу балансировщиков нагрузки, F5 лучше, хотя с точки зрения экспатации использовать только Cisco удобнее!
Архитектура красивая/ Почему мало SSD, почему системы хранения данных не от лидеров, Netapp EMC?
Возможно я не вижу каких-то тонкостей.
Но за информацию в любом случае спасибо, вдруг мои комментарии помогут сделать кластер лучше.