Модульные ЦОДы в России: дата-центр спрятался от кризиса в «коробку. Оперативный ЦОД — «мобильный» или «модульный»? Модульный центр обработки данных

Основой для возникновения этого решения в свое время послужили мобильные ЦОДы («ЦОДы в контейнере»), появившиеся на рынке около 3 лет назад. Мобильность ЦОДов - поначалу их важнейшая характеристика - начала отходить на второй план, уступая место таким факторам, как автономность и быстрота развертывания. Как следствие, производители начали отказываться от термина «мобильность», переходя к «модульности», и расширять свои решения - масштабировать модульные ЦОДы до размеров стандартных дата-центров, не ограничиваясь отдельным контейнером.

Ограничения модульного ЦОДа

Один из недостатков этого решения - трудность адаптации под нестандартное оборудование (массивы Hi-End с нестандартными форм-факторами, с нетипичными требованиями к системе охлаждения). Подобное оборудование тяжело встает в «кирпичики» модульного ЦОДа с его «заточенными» под классическую схему инженерными системами. В таком случае приходится проектировать соответствующие системы специально под модульный дата-центр.

Иногда заказчики идут по пути формирования небольшого стационарного ЦОДа для нетипичного серверного оборудования. Стандартные серверы при этом «живут» в построенном рядом модульном ЦОДе. Подобная схема распределения оборудования более экономична, чем возведение обычного ЦОДа для всех серверов.

Тот факт, что модульные ЦОДы «предпочитают» стандартные серверы, оборачивается определенным преимуществом для заказчиков - этим оборудованием легко управлять.

Логическим следствием является сокращение эксплуатационных расходов - затрат на его обслуживание.

Нужно сказать, что объемы капитальных вложений при строительстве стационарного ЦОДа будут ниже, чем при покупке модульного. В случае с модульным ЦОДом заказчик в совокупности приобретает и стены, и металлоконструкции, и опорные части. Но мыслить необходимо комплексно и считать на перспективу: за счет снижения затрат, связанных с инженерным оснащением «пустых» площадей, которые бы имели место в масштабном стандартном ЦОДе, можно выйти на окупаемость модульного дата-центра гораздо быстрее - через 2-3 года заказчик будет в плюсе.

Существуют ограничения по возведению модульного ЦОДа: для подобного дата-центра необходим крытый ангар или место, где его можно построить. Невозможно реализовать «модульную» схему в здании со свободными помещениями в разных его частях.

С учетом особенностей строительных площадок в Москве (дороговизна площадей, сложное техническое состояние строительных конструкций), модульный ЦОД экономически выгоднее строить за пределами столицы. К тому же, в Москве сложнее получить необходимые электрические мощности, чем в области.

Если говорить об энергоэффективности, в модульном ЦОДе можно успешно реализовать те же «зеленые» технологии, что и в стационарном дата-центре. Единственное решение, которое здесь невозможно использовать по причине его массивности - колесо Kyoto Cooling.

Модульные дата-центры позволяют значительно сократить инвестиции в строительство ЦОДов, в первую очередь, за счет отсутствия необходимости строить капитальное здание и возможности расширять площадку по мере необходимости. Экономия на капитальных издержках может достигать 50%. В условиях экономической рецессии спрос на такие решения растет.

Концепция модульного дата-центра (МЦОД) построена на идее типового решения - модуля с заданным набором систем электроснабжения, охлаждения и физической безопасности. Большая часть узлов подобного блока уже заранее собрана и предустановлена производителем, что позволяет существенно сократить работы по инсталляции готового решения на стороне заказчика. Кроме того, отдельные модули являются независимыми в плане жизнеобеспечения, что в совокупности с короткими сроками развертывания позволяет наращивать мощность дата-центра по мере необходимости.

«Благодаря масштабируемости, возможности поэтапного ввода в эксплуатацию, а также независимости каждого модуля по критичным системам жизнеобеспечения, у заказчика есть возможность постепенного инвестирования только в необходимый на данный момент объем ЦОДа. Это в полной мере отвечает нынешней экономической ситуации многих компаний, кроме того, таким образом решается проблема недозагруженности и простаивания мощностей, что в итоге существенно сокращает сроки окупаемости дата-центра», - рассказывает Станислав Терешкин , руководитель направления ЦОД группы «Астерос».

В чем выгода МЦОД?

Экономическая целесообразность использования модульных технологий охватывает четыре аспекта: сокращение капитальных инвестиций, снижение операционных издержек, отсутствие простоя оборудования благодаря наращиванию мощностей по мере необходимости, а также более короткий срок возврата инвестиций за счет более быстрого ввода площадки в эксплуатацию.

Для запуска модульного ЦОДа требуется 4–6 месяцев с момента начала проектирования, что в 2–3 раза меньше, чем для обычного дата-центра. «Ускоренный ввод в эксплуатацию модульных ЦОД также обусловлен тем, что модули вместе с элементами инженерной инфраструктуры собираются непосредственно на заводе у вендора, где сосредоточены все инженерные и монтажные ресурсы. Это значительно быстрее, чем выполнять данные работы на площадке заказчика», - объясняет Всеволод Воробьев , руководитель направления ЦОД центра сетевых решений «Инфосистемы Джет».

Важным фактором в сокращении сроков является то, что модульные решения не требуют строительства капитального бетонного здания с мощными стенами и перекрытиями. Как правило, модульные технологии предполагают наличие «предизготовленного» помещения, которое можно поместить как внутри другого здания, так и в «чистом поле». «Задаваясь вопросом, каким должен быть дата-центр, мы очень часто сталкиваемся со стереотипом бетонного здания с мощными стенами и перекрытиями, - делится опытом Александр Переведенцев, заместитель начальника отдела поддержки продаж инженерных систем компании «Техносерв». - Однако на самом деле преимуществ такой ЦОД перед модульным не имеет. Обычно стремление к монументальности гаснет, когда заказчик сравнивает сроки и смету строительства с затратами на возведение модульной конструкции».

«При грамотном планировании срок проектирования и ввода в эксплуатацию может быть сокращен в 2 раза и более за счет фактического отсутствия строительства капитальных сооружений (включая проектирование, экспертизу проекта, получение разрешений на строительство и непосредственно самого строительства», - комментирует эксперт компании «Энвижн Груп» Арсений Фомин .

В разрезе капитальных издержек определенная экономия может быть достигнута за счет использования готовых типовых продуктов, которые обходятся дешевле решений, разработанных под заказ. Однако еще большую роль играет возможность вводить отдельные блоки в эксплуатацию поэтапно, тем самым сокращая размер первоначальных инвестиций. «Строительство ЦОДа по принципу модульности дает возможность вкладывать деньги поэтапно, создавая действующие отказоустойчивые кластеры, позволяющие одновременно решать возложенные на них бизнес-задачи (получать прибыль) и возвращать вложенные инвестиции. Начальные инвестиции проекта составляют 20%–30%, остальные распределены по времени в соответствии с этапами ввода ЦОДа в эксплуатацию», - объясняет Павел Дмитриев , заместитель директора департамента интеллектуальных зданий компании «Крок».

Общая экономия CAPEX при использовании модульных решений составляет до 30%, подсчитали в исследовательской компании 451 Research. Опрошенные CNews системные интеграторы называют цифры от 15% до 50% экономии на капитальных затратах в зависимости от конструктивных особенностей объекта.

В области операционных издержек экономия происходит за счет унификации инженерных систем, соответственно, сокращаются затраты на обслуживающий персонал, закупку запасных частей и ремонт. Кроме того, появляется возможность уменьшить счет за электроэнергию. По данным Schneider Electric, модульный подход позволяет снизить совокупную стоимость владения (Total Cost of Ownership, TCO) на $2–7 в пересчете на 1 Вт мощности ЦОДа. «Экономия электроэнергии идет за счет того, что модульные ЦОДы обычно более компактны, чем «классические». Объем воздуха, который нужно охлаждать, в них меньше, поэтому системы кондиционирования потребляют меньше электроэнергии», - поясняет представитель компании «Утилекс» Валентин Фосс.

Впрочем, не все игроки рынка согласны с тем, что экономия на OPEX является значительной: «Операционные издержки будут примерно одинаковы по сравнению с немодульным дата-центром», - полагает Арсений Фомин. Однако он оговаривается, что «экономия может быть достигнута за счет отсутствия необходимости содержания и ремонта капитального здания.»

Примеры проектов модульных ЦОД в 2015–2016 гг.

Модульный ЦОД - это центр обработки данных, состоящий из типовых элементов системы – модулей. Модуль в единственном исполнении является мобильным ЦОДом, при объединении нескольких таких мобильных ячеек мы получаем модульную систему. Модули могут быть со стойками, с ИБП, со всевозможным вспомогательным оборудованием. Их можно устанавливать и внутри помещений. Монтирование новых единиц происходит по мере роста потребностей.

Модульный контейнеризированный центр обработки данных включает ИТ-оборудование, средства питания и системы охлаждения. Как только стало возможно объединить все это в один контейнер, стали все более распространенными собственные модули от разных поставщиков.

Модульные ЦОДы - это технология, основной целью которой является сокращение и оптимизация издержек на строительство ИТ-инфраструктуры. То, как распределяются инфраструктурные ресурсы в этой модели, во многом напоминает распределение вычислительных мощностей в облаке. Клиент платит именно за тот объём мощностей, который он использует, и в случае чего может относительно легко нарастить или сократить ресурсы. То же самое и с модульным строительством дата-центров: по решению заказчика ресурсы прибавляются и убавляются вполне оперативно и относительно недорого.

Преимущества мобильных центров обработки данных

Мобильные центры обработки данных обладают рядом преимущество по сравнению со стационарными дата-центрами. В первую очередь преимущества модульных ЦОД оценили те, кто ищет катастрофоустойчивые решения, способные работать в любых условиях – мобильные операторы, сырьевой сектор.

Во-вторых, это компании, для которых важна непрерывность бизнеса, а стоимость простоя ИТ-оборудования чрезвычайно высока, например, финансовые и страховые компании, банки.

Ну и в третьих, это поставщики ИТ-услуг, которые ищут пути сокращения капитальных затрат на строительство .

Все познаётся в сравнении, и дешевизна модульных дата-центров становится очевидной, когда они оказываются на разных чашах весов с традиционными. Во-первых, модульные ЦОДы не требуют капитального строительства или дорогостоящего переоборудования существующего помещения. Это настолько мощное преимущество, что оно легко перекрывает сколько-нибудь значимые недостатки. Строителю и заказчику не нужно инвестировать, что называется, «в бетон». Капитальное строительство легко съедает половину бюджета на развёртывание центра обработки данных.

Кроме того, построенные здания или ЦОД, размещённый на арендованных площадях, не отличаются мобильностью. Если у клиента заканчивается срок аренды или возникает необходимость переехать в другой офис, то в случае с капитальным строением это оборачивается инвестиционной катастрофой: приходится вкладывать средства, сопоставимые по размерам со строительством ещё одного ЦОДа. А модульный дата-центр можно просто разобрать и развернуть на любом другом пространстве. К тому же он не привязан к объёму помещения, притом что именно объём объектов коммерческой недвижимости оказывается препятствием к наращиванию ИТ-инфраструктуры.

Схожесть с облачной моделью, о которой говорилось чуть выше, состоит в том, что модульный ЦОД легко масштабируется. Например, у вас есть открытый участок площадью в тысячу квадратных метров. Вы можете возвести модульный ЦОД достаточной мощности на 300 кв. м, а остальную территорию заполнить новыми модулями по мере роста потребностей бизнеса. Такое пошаговое масштабирование позволяет значительно сократить как капитальные, так и операционные расходы .

МЦОДы более эффективны: для них не требуется специальной инфраструктуры, срок возведения составляет около 2-3 месяцев, они мобильны и могут располагаться с источниками дешевой энергии. Кроме того, их можно использовать для расширения мощности стационарных ЦОД.

Если провести сравнительный анализ мобильных и стационарных центров обработки данных, то он будет выглядеть так:

Где бы ни размещалось предприятие, вы всегда можете установить там мобильный центр. Наличие готовых решений производства блок-контейнеров, отсутствие или значительное сокращение таких этапов как проектирование инфраструктуры для стационарных ЦОД, согласование проектных решений с надзорными органами, строительство и минимальные требования к подготовке площадки приводят к значительному сокращению сроков поставки и установки МЦОД по сравнению со стационарами центрами.

Тема мобильных центров по обработке данных, или Mobile Data Center (MDC) часто освещается в прессе, как зарубежной, так и российской. Эта вызывает интерес отечественных предпринимателей и специалистов ИТ-индустрии. Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями, работающими в сфере информационных технологий.

Мобильные центры обработки данных способны решить целый ряд задач, которые часто встают перед российскими предприятиями и организациями, работающими в сфере информационных технологий: необходимость развертывания новых стоек в максимально сжатые сроки или создание новых стоек на короткое время на базе существующих основных и резервных мощностей и компонентов инженерной инфраструктуры при отсутствии помещений либо при несоответствии имеющихся помещений требованиям, предъявляемым к ЦОД.

Кроме того, МЦОД позволяют создать временное серверное помещение в том момент, когда стационарное еще не достроено или не введено в эксплуатацию. Во временном помещении может быть установлено оборудование, которое необходимо для функционирования бизнеса в этот период.

Также в случае нехватки специализированного помещения для размещения ЦОД, или специалистов необходимой квалификации, или стационарных центров обработки данных, обеспечивающих требуемый уровень надежности – оптимальным решением может стать МЦОД. Мобильный ЦОД может применяться для расширения инфраструктуры ИТ. При активной экспансии в регионы или поглощении других компаний филиалы открываются без задержек, а приобретенные активы оперативно интегрируются в единую информационную инфраструктуру.

Среди факторов роста спроса на мобильные центры обработки данных можно назвать увеличение интернет-трафика, важность непрерывной работы интернет-приложений и интеграцию с мировой экономикой. Таким образом, мобильные дата-центры перестали быть нишевым предложением, и стали востребованы не только в полевых условиях, но и в мегаполисах, где не хватает свободных площадей.

«Мобильный ЦОД»: нужен ли он вам?

Существующая в отрасли путаница с трактовкой термина «мобильный ЦОД» способна не только ввести ИТ-директоров в заблуждение, но и привести к выбору неэффективного решения. Происхождение термина Термин «мобильные» ведёт своё происхождение от решений, использовавшихся американскими военными. Эти ЦОДы действительно имели возможность перемещаться с установленным внутри оборудованием и оперативно разворачиваться на новом месте. Размещались такие дата-центры обычно в контейнерах, что впоследствии привело к смешению определений: контейнерные ЦОДы стали отождествлять с мобильными и модульными. Однако существующие «контейнерные решения» имеют со своими военными предшественниками мало общего – большинство из них не могут перевозиться с установленным внутри не только ИТ-, но даже инженерным оборудованием (особенно по российским дорогам). Кому это нужно? Перемещение центра обработки данных – весьма специфическая потребность и вероятность того, что она возникнет у компании, невысока. Если такой переезд и произойдет, маловероятно, что он будет носить форму военной спецоперации .

Среди характеристик «мобильных» ЦОД, большинство клиентов считает ключевыми следующие:

• возможность доставки в удалённые места;
• возможность выбора места (ближе к пользователям, источникам электроэнергии, рядом со зданием);
• сокращение сроков реализации;
• возможность поэтапного наращивания мощности (по требованию);
• возможность перемещения в будущем на новое место эксплуатации.

Именно эти опции и указывают в качестве своих преимуществ производители «мобильных» ЦОД на базе ISO-контейнерных решений. Pre-fabricated ЦОД или мобильный? Важно понимать: помимо контейнерных (или мобильных) решений на рынке существуют pre-fabricated (или собираемые из предварительно произведённых конструкций) ЦОД, которые не просто предоставляют клиентам такие же возможности, но и по ряду ключевых характеристик превосходят «контейнерные ЦОДы».

Pre-fabricated ЦОД дают возможность более гибкого масштабирования (квант масштабирования по стойкам, а не модулям). В pre-fabricated ЦОД отсутствует проблема недоставка сервисного пространства, характерная для «контейнерных» дата-центров. При этом некоторые сборные модульные ЦОД имеют меньшую стоимость транспортировки при большей гибкости и даже скорости доставки, чем «мобильные».

История

2005-2006: Google и Sun создают первые контейнерные ЦОДы

Ранее считалось, что пионером в создании мобильных ЦОДов стала Sun Microsystems выпустив в 2006 г. первый продукт Blackbox. Однако, как стало недавно известно, первопроходцем выступила корпорация Google , которая еще осенью 2005 г. создала свой первый дата-центр на базе 45 контейнеров, каждый из которых содержал 1160 серверов и потреблял 250 Квт электроэнергии. Плотность мощности составляла 780 Вт на квадратный фут, а температура в «холодном» проходе не превышала 27,2 градуса.

2010: В мире продано лишь 80 контейнеров

Несмотря на бурный рост предложений МЦОД от ведущих производителей, данный сегмент рынка, по оценкам IDC , остается небольшим, хотя и быстрорастущим. В 2010 г. в мире продано чуть более 80 контейнеров, что, однако, вдвое больше, чем в 2009 г.

Основными факторами развития рынка коммерческих ЦОД в России аналитики компании J’son & Partners (J&P) называют интеграцию российского бизнеса в мировую экономику, рост интернет-трафика, национальные проекты и госпрограммы, а также непрерывность работы в качестве конкурентного преимущества компаний. Несмотря на то, что спрос на МЦОД пока не велик (пока реализовано не более десятка проектов), уже более семи российских ведущих ИТ-компаний разработали и предложили свои варианты построения мобильных центров обработки данных.

В это время МЦОД востребованы в мире компаниями отрасли связи, нефтегазового сектора, крупными промышленными и производственными холдингами, предприятиями металлургической сферы, энергетики.

Отдельные компании-интеграторы в России продолжают работать над технологическими решениями в этой сфере:

• Stack Group , предлагающая мобильное решение Stack.Куб ,

Ряд проектов в этом направлении был и у таких компаний, как «Черус » и «Энвижн Груп ».

Одна из причин выбора мобильных дата-центров – возможность подключить их в короткие сроки. В среднем, изготовление МЦОД требует от 3 до 6 месяцев, а сроки монтажа и подключение ограничиваются двумя неделями.

2011: Исследование эффективности модульных контейнерных ЦОДов

Консорциум The Green Grid опубликовал в ноябре 2011 года результаты исследования эффективности центров обработки данных, собранных из готовых модульных блоков, уже содержащих необходимое оборудование и программы. Подобные модули выпускает ряд компаний, в том числе Dell , , SGI , Capgemini и Microsoft .

Строительство модульных центров стоит дешевле благодаря сокращению расходов на проектирование. Плотность размещения оборудования в модулях, как правило, выше, чем в обычных центрах, и они занимают меньше места, а производительность их зачастую оказывается выше, поскольку недостатки конструкции выявляются еще на этапе проектирования модулей. Кроме того, обычно модульные дата-центры оптимизируют в отношении потребления энергии и эффективности охлаждения, а также проектируют с расчетом на работу в широких пределах температур и влажности, Общей проблемой модульных центров является надежность, отмечается в отчете The Green Grid. Уровень дублирования, устойчивости и гарантированного времени работы разных компонентов модуля может сильно отличаться, и в результате надежность всего модуля начинает зависеть от одного элемента. Многих беспокоит также обеспечение физической безопасности модулей.

В это время в России работает не более 10% мобильных центров обработки данных (МЦОД). Ожидалась активизация этого направления – уже более семи компаний предлагают проекты создания контейнерных дата-центров. Все эти компании отмечают увеличение спроса на МЦОД: за 2011 год количество заказов на проекты мобильных центров превысило количество заказов за 2009-2010 годы. Такие крупные компании, как «Вымпелком » или авиастроительный концерн «Иркут » уже оценили преимущества мобильных центров обработки данных, что, несомненно, свидетельствует о растущей популярности МЦОД на российском рынке.

Заказчики данных проектов понимают, что, пакетируя центр обработки данных в контейнер, они получат полностью готовый продукт «под ключ» с минимальными финансовыми затратами и высокой окупаемостью. МЦОД может стать как основным центром для хранения и обработки данных, так и резервным.

2012: Исследование APC by Schneider Electric

Согласно исследованиям специалистов APC by Schneider Electric , модульные контейнерные Центры Обработки Данных быстрее в развертывании, более надежные в работе и имеют более низкую общую стоимость владения, чем ЦОД, построенные самостоятельно из различных компонентов.

Специалисты APC by Schneider Electric произвели в 2012 году детальное исследование проблемы питания и охлаждения модульных контейнеризированных центров обработки данных и сравнительный анализ с самостоятельно построенными ЦОД.

Основные рассматриваемые вопросы

Появление технологии создания дата-центра (ДЦ) на базе морского контейнера в уже далеком 2007 году не привлекло особого внимания экспертов: решение представлялось не просто нишевым, а, скорее, экспериментом, который мог позволить себе один из лидеров мирового ИТ-рынка.

Однако новинка оказалась востребована, поскольку решала задачу оперативного развертывания небольшого, но высоконадежного ДЦ. Конкуренты оценили удачный ход, что обусловило появление нового класса ДЦ, т. н. мобильных ДЦ. В отличие от традиционных ДЦ, которые размещаются в обычных зданиях из бетона и кирпича, эти решения поставляются в виде готовых изделий и могут устанавливаться и эксплуатироваться даже под открытым небом.

Естественным развитием этого направления стало появление нового класса ДЦ — модульных ДЦ (Modular Datacentre, MDC). Технология их создания позволяет оперативно строить и масштабировать развернутый объект, а затем наращивать его до уровня крупных ДЦ. По оценкам экспертов, от момента подписания договора до сдачи в эксплуатацию классического ДЦ с площадью 250-300 кв. м уходит от 7-8 месяцев до 1 года. Для аналогичного модульного ДЦ, благодаря тому, что все его элементы являются типовыми, время на проектирование, поставку, монтаж и ввод в эксплуатацию сокращается до 3-5 месяцев.

Контейнерные и модульные ДЦ перестали быть нишевым видом бизнеса, вышли из тени и стали существенным фактором роста всего рынка ДЦ сравнительно недавно, на рубеже 2009-2010---  гг. Распространение модульных ДЦ, увеличение количества не пилотных, а запущенных в коммерческую эксплуатацию объектов — одна из существенных тенденций мирового рынка ДЦ по итогам 2012 г.

От контейнера к модулю

Рассматривая известные определения модульного ДЦ, можно выделить несколько толкований: под термином «модульный» (modular data center, containerized data center, containerized modular data centers) могут скрываться разные по функциям и возможностям системы или решения 1 .

На первом этапе концепция модульных ДЦ традиционно была привязана к морским контейнерам (типоразмер ISO) и рассматривалась как функционально полный ДЦ, размещенный в стандартном металлическом корпусе. Однако развитие концепции модульности постепенно вышло за рамки понятия «контейнерные ДЦ». Вместе с тем последние до сих пор не утратили своего значения и остаются востребованными в различных отраслях экономики.

Поскольку единая терминология не сформировалась, ее пока нет и в нормативной базе. В экспертном сообществе рассматриваются несколько вариантов понятия «модульного ДЦ», при этом все они исходят из предположения, что такие ДЦ строятся на основе контейнерной базы. То есть, по определению IMS Research, предварительно смонтированной, полностью закрытой мобильной оболочки, в которой размещены ВСЕ подсистемы инфраструктуры ДЦ 2 .

По мере развития концепции большинство экспертов стало склоняться к иному взгляду на модульные ДЦ. Этот подход предполагает возможность предварительного монтажа и тестирования инженерных и ИТ-подсистем ДЦ в контейнер, который представляет собой металлическую конструкцию в форме прямоугольного параллелепипеда произвольных, но стандартизованных вендором размеров. В качестве примера можно привести решение HP-Flexible Data Center, в котором ДЦ формировался из четырех функциональных блоков (контейнеров), соединяемых с помощью центрального узла.

Еще один подход основывается на том, что базой модульного ДЦ может быть любое замкнутое пространство, в том числе и контейнер (стандартизованный или нет). Модульность такого ДЦ обусловлена тем, что все подсистемы инфраструктуры ДЦ монтируются из стандартных блоков, модулей, предварительно изготовленных и протестированных на заводе-изготовителе. Данные блоки стыкуются как внутри одного типа, так и со всеми другими типами, что позволяет масштабировать как конкретную подсистему, так и ДЦ в целом. Такая универсальность относится и к аппаратуре, и к ПО. В целом можно предположить, что не все модульные ДЦ располагаются в контейнере, однако большинство контейнерных ДЦ относятся к классу модульных ДЦ.

Появление контейнерных, а затем и модульных ДЦ дало толчок к формированию новой парадигмы создания ДЦ, т. н. Data Center 2.0 . По мнению ее авторов, она провозглашает отход от традиционного варианта строительства ДЦ, который базировался на бизнес-модели ДЦ как здания, помещения, сдаваемого в аренду. Новая концепция позволяет рассматривать ДЦ как элемент ИТ, своеобразный программно-аппаратный комплекс, с помощью которого клиентам предлагаются различные услуги.

Экономика вопроса

Преимущества модульных ДЦ существенны: мобильность в плане доставки готового изделия, быстрота развертывания за пределами производственного участка, аутсорсинг дизайна и потенциальная экономия налогов.

По оценкам компании 451 Research, использование модульных ДЦ в большинстве случаев обеспечивает снижение затрат на строительство, а экономия капитальных затрат в этом случае составит от 10 до 30  %. Согласно расчетам специалистов компании «Техносерв», модульный ДЦ обходится в 1,5-2 раза дешевле арендованной или приобретенной площадки. Однако если у заказчика есть собственное помещение, в котором не надо делать усиление перекрытий, капитальный ремонт, другие строительные работы, то стоимость сопоставима, либо модульное--- решение будет на 10-15  % дороже.

По данным Schneider Electric, использование модульного подхода обеспечивает снижение капитальных и операционных затрат на 2-7 долларов в пересчете на 1 Вт мощности ДЦ. С этими выводами совпадает и оценка Forrester, согласно которой традиционная схема создания ДЦ мощностью 2 МВт потребует затрат порядка 127,4 млн долларов, а ДЦ, реализованный по модульной схеме, обойдется в 77,1 млн долларов 3 . В среднем, по оценкам экспертов, в 2012  г. модульный ДЦ в расчете на 1 МВт стоил заказчику 6 млн долларов без учета доставки и пусконаладочных работ.

Компания DCD intelligence провела сравнение затрат на создание ДЦ мощностью 4 МВт в США (рис.   1) . По ее расчетам, создание традиционного ДЦ обойдется заказчику на 13-14% дороже, нежели модульный вариант. Основное преимущество достигается за счет снижения затрат на монтаж и наладку оборудования. Следует обратить внимание, что непосредственно оборудование и ПО для модульного ДЦ существенно дороже.

Рис.1. Сравнение затрат на создание ДЦ мощностью 4 МВт в США, цены в долларах США, по состоянию на 01.01.2013 г. Источник: DCD Intelligence

Несомненным достоинством модульного ДЦ является фабричная сборка, которая позволяет устранить большинство технологических дефектов до отправки модуля заказчику. При этом модульные ДЦ имеют высокую информационную и физическую безопасность, а системы мониторинга, поставляемые в комплекте, уже базируются на DCIM-решениях.

Очевидно, что концепция модульности предполагает стандартизацию решений: это создает основу для повышения качества и надежности блоков и дальнейшего снижения эксплуатационных расходов. Кроме сжатых сроков развертывания, другим преимуществом является его высокая масштабируемость: модульное решение минимизирует капитальные затраты на первом этапе, а в дальнейшем дает возможность наращивать мощность ДЦ без существенных переделок инженерной инфраструктуры.

Экономия энергии

К достоинствам модульных ДЦ следует также отнести высокие значения энергоэффективности как для отдельных модулей, так и для модульного ДЦ в целом. Это обусловлено тем, что уже на этапе проектирования такого дата-центра конструкторы оптимизируют энергопотребление и теплоотвод всех его компонентов с учетом возможностей конструкции.

Практические измерения показали, что применение модульной конструкции дает существенное повышение энергоэффективности и позволяет добиться значительной экономии средств. Например, в ДЦ IO Phoenix по итогам 2012 года коэффициент PUE той части, где используется фальшпол, составил 1,73, в то время как среднегодовой PUE модульной части составил 1,41. Для США (штат Аризона) это выражается в ежегодной экономии в 200  000 долларов/1 МВт мощности ИТ-оборудования 4 . Представители компании отмечают, что модульная часть ДЦ превзошла аналог с фальшполом отчасти благодаря уникальной конструкции модулей, которая обеспечивает управление воздушными потоками на порядок эффективнее, чем в случае с использованием для этой цели горячих и холодных коридоров. Пожалуй, единственное энергоэффективное решение, которое пока невозможно использовать в модульных ДЦ, — колесо Kyoto Cooling: его размеры не вписываются в габариты известных модулей.

Сценарии использования

Даже с учетом рассмотренных ниже ограничений и сомнений при внедрении модульных ДЦ это решение наверняка востребовано в двух случаях: при необходимости оперативной замены существующего ДЦ или возведении нового в условиях ограниченных площадей (резервный ДЦ, ДЦ в удаленном филиале компании). Другая область использования модульных ДЦ — услуга colocation. Строить масштабный ДЦ, не обладая уверенностью в том, что его площади будут востребованы, — огромный риск для провайдера. Модульная технология обладает маневренностью и позволяет минимизировать капитальные затраты именно на старте.

При размещении нового ДЦ мало кто из проектировщиков предполагает, что через 2-3 года после его ввода в коммерческую эксплуатацию может возникнуть ситуация, требующая перемещения ДЦ в другой район или даже регион. В случае со стационарным ДЦ его переезд рискует превратиться для хозяев в ад кромешный. В случае же с модульным ДЦ разборка/сборка и перемещение займут минимальное время, причем переезд можно оптимизировать: вводить/выводить ДЦ «помодульно».

Модульные ДЦ справляются практически безболезненно и с такой проблемой, как повышение энергопотребления аппаратуры в стойках и необходимость увеличить теплоотвод: сама конструкция предусматривает оперативное изменение параметров размещаемой аппаратуры.

Проблемы внедрения модульных ДЦ

Кроме несомненных достоинств, эксперты отмечают и ряд ограничений при строительстве модульных ДЦ: в некоторых случаях их цена сводит преимущества на нет по сравнению с традиционными ДЦ. Кроме того, у многих вендоров нет единого подхода к стандартизации блоков и непосредственно модулей, что иногда становится причиной возврата потенциальных клиентов к традиционному решению. Тем не менее, IMS Research считает, что неминуемая стандартизация продукции и рост объемов производства в перспективе позволят существенно снизить себестоимость модульных ДЦ.

Определенным барьером следует считать консервативность мышления заказчика. Например, профилактическое и регламентное техническое обслуживание понятны клиенту. Но как поведет себя новинка в случае отказа оборудования? Очевидно, при необходимости ремонта стандартная инфраструктура не вызовет затруднений, но проблемы, которые могут возникнуть в случае ремонта в модульном ДЦ, способны поставить заказчика в тупик, тем более что своими силами ему вряд ли удастся оперативно устранить неисправность. В результате возникает неприятная проблема зависимости от вендора.

Если говорить о крупных и очень крупных ДЦ, например, принадлежащих таким грандам, как Microsoft, Google или Amazon, то здесь возможности и достоинства модульных ДЦ делают их предпочтительным вариантом как с учетом масштабируемости, так и оптимизации затрат. Но если речь идет о проектируемом небольшом ДЦ, например, с потребляемой мощностью 200-300 кВт, то выбор в пользу инновационного решения по меньшей мере не очевиден.

Другой критерий — площадь строящегося ДЦ. По оценкам экспертов, порог рентабельности для модульных ДЦ пока находится на уровне 200-250 кв.  м. Таким образом, и по критерию «мощность», и по критерию «площадь» речь идет о средних или крупных ДЦ, а для небольших ДЦ оптимально непосредственное строительство.

Будущим владельцам модульных ДЦ следует учесть трудность их адаптации под нестандартное оборудование, например, массивы Hi-End с нестандартными форм-факторами и нетипичными требованиями к системе охлаждения. Интегрировать подобное оборудование в модульный ДЦ в ряде случаев непросто: это может потребовать дополнительного уточнения проекта. Известен паллиатив, когда стандартные серверы размещаются в модульном ДЦ, а нестандартные устанавливаются в ДЦ, построенном по классической схеме.

В 2012 г. Uptime Institute провел среди ИТ-специалистов опрос, попытавшись выяснить существенные, по их мнению, недостатки модульных решений. Наибольшее число респондентов (35   %) сообщили, что предложения вендоров недостаточны гибкие и не удовлетворяют их требованиям (рис.   2) . Еще 33   % считают, что пока модульные ДЦ слишком дороги. 32   % опрошенных отмечают небольшой срок службы таких решений, 30   % указывают на новизну технологии и отсутствие достаточного количества реализованных проектов, а 27   % недовольны тем, что решения «залочены» производителем. Кроме того, 15   % респондентов сетуют на небольшой выбор продуктов, а 12   % не устраивает размер блоков.

Рис. 2. Результаты опроса Uptime Institute среди ИТ-специалистов Источник: Uptime Institute, 2012

Краеугольный вопрос любого проекта — срок окупаемости. Большинство экспертов считает, что определяющими факторами для срока окупаемости является бизнес-модель и условия развертывания. Также имеет значение целевое назначение модульного ДЦ: будет ли он использоваться как коммерческий или в качестве ведомственного ЦОД?

Поставщики модульных ДЦ

Спектр поставщиков модульных ДЦ и их компонентов необычайно широк. Здесь присутствуют вендоры, для которых модульные ДЦ являются основным видом бизнеса; поставщики элементов инженерной инфраструктуры классических ДЦ и ИТ-решений; а также компании, предоставляющие услуги ДЦ.

К числу первых относятся: AST Modular, BladeRoom Group Ltd, Cannon Technologies, COLT Technology Services, Datapod, Flexenclosure, Elliptical Mobile Solutions, IO Datacenters, MDC Stockholm, NxGen Modular и Silver Linings Systems.

Основными игроками второго сегмента являются Schneider Electric и Emerson Network Power. Среди вендоров, поставляющих на рынок ИТ-решения, наиболее известны: Dell, HP, IBM, Cisco, SGI, Huawei, Google, Toshiba, Bull.

В фокусе данного обзора — компании, относящиеся к первым двум группам (см. таблицу) .

Таблица. Перечень основных игроков рынка модульных ДЦ, по состоянию на 01.10.2013 г. Источник: данные компаний

AST Modular

Испанская инжиниринговая компания выпускает линейку модульных ДЦ в ISO-контейнерах типоразмеров 10", 20", 40" и 53". Возможны два варианта исполнения. В первом варианте размещаются ИТ-подсистема и все подсистемы инженерной инфраструктуры, включая подсистему пожаротушения. Для второго разработаны два модуля: IT Unit и Power Unit. К стойкам, размещаемым в IT Unit, может быть подведено 3-40 кВт, в контейнере 40" может быть размещено до 19 стоек. Инфраструктура позволяет обеспечить высокую надежность ДЦ — вплоть до уровня Tier IV. Решение именно этой компании выбрано «Вымпелкомом» для ДЦ в Ярославле .

BladeRoom Group Ltd

Компания поставляет модульный ДЦ под брендом BladeRoom system. На основе модуля возможно построить ДЦ с площадью от 600 до 60  000 кв. м, при этом система теплоотвода обеспечивает подводимую мощность от 1,0 до 24 кВт/стойка (воздушное охлаждение). Инженерная инфраструктура BladeRoom system позволяет организовать ДЦ с различными уровнями надежности, Tier II-IV. В последнем случае используются два независимых энерговвода, ИБП конфигурируются до 2N, дизель-генераторы — также до 2N. Система вентиляции поддерживает температуру ИТ-оборудования в модуле в диапазоне 18-24 °C. Компания гарантирует заказ, поставку и пусконаладку модульного ДЦ (120 стоек) за 12 недель.

COLT Technology Services

Компания из Великобритании известна как поставщик услуг ДЦ в Европе. Для реализации модульных ДЦ она предлагает решение под брендом Colt ftec data centre. В состав решения входят модули Colt spaceflex, Colt powerflex, Colt coolflex. Площадь ИТ-модуля Colt spaceflex варьируется в диапазоне 125-500 кв. м. Модуль энергоснабжения обеспечивает питание мощностью до 3 кВт/ кв. м, или до 230 кВт/ряд стоек при 25 кВт/стойка. Последнее внедрение компании анонсировано в июле 2013 г. в Нидерландах . Здесь на площади порядка 1000 кв. м дополнительно установлены модули компании, подведенная мощность 1,6 МВт, до 20 кВт/стойка при гарантированном PUE 1,21.

Flexenclosure

Компания Flexenclosure — шведский вендор, который разрабатывает и производит быстросборные модульные ДЦ, а также элементы электроэнергетической инфраструктуры (в первую очередь для телекоммуникационной отрасли). Решение eCentre — быстровозводимый модульный ДЦ для размещения и запитки серверного и телекоммуникационного оборудования. Он оптимизирован для повышения энергоэффективности и минимизации совокупной стоимости владения. Модульный ДЦ eCentre включает в себя инфраструктуру электропитания, охлаждения и безопасности.

Elliptical Mobile Solutions

Elliptical Mobile Solutions основана в 2005   г. и занимает особое положение среди поставщиков модульных ДЦ. Компания специализируется на т.   н. микромодульном уровне (уровне стойки) и выпускает два основных продукта: R.A.S.E.R. HD и R.A.S.E.R. DX. Оба устройства представляют собой функционально законченные ДЦ. Модуль R.A.S.E.R. DX — блок, в котором могут быть установлены 42 ИТ-ус-тройства с суммарной потребляемой мощностью не более 12 кВт. Модуль R.A.S.E.R. HD также обеспечивает установку 42 ИТ-устройств, однако их суммарная потребляемая мощность может быть в диапазоне 20-80 кВт, что обеспечивается водяной системой охлаждения. При этом производитель анонсирует PUE устройства не выше 1,1 (!).

IO Datacenters

Компания IO Datacenters предлагает инфраструктурные модули и ПО для создания модульных ДЦ. Продуктовая линейка IO.Anywhere имеет три вида модулей: CORE, EDGE и ECO.

IO.Anywhere CORE включает три типа модулей: до 18 стоек 50U, до 50 стоек 50U и силовой модуль, обеспечивающий работу информационного модуля с потребляемой мощностью до 600 кВт. В комплект поставки всех модулей включен программный комплекс для управления распределением энергии и теплоотводом.

IO.Anywhere EDGE включает два типа модулей: до семи стоек 50U для решения ИТ-задач и инфраструктурный модуль для размещения подсистем бесперебойного питания, охлаждения и пожаротушения.

MDC Stockholm

Компания из Швеции предлагает решение на основе функционально независимых модулей (серверный модуль, модуль охлаждения, модуль бесперебойного питания, модуль управления).

NxGen Modular

Компания NxGen Modular основана сравнительно недавно, в 2009 г., однако среди ее заказчиков можно найти и Microsoft, и Apple (ДЦ в г. Прайнвиль, штат Орегон, США). Компания поставляет как компоненты модульных ДЦ, так и непосредственно модульные ДЦ. Среди основных продуктов компании — ДЦ в контейнере: до 300 кВт для ИТ-систем; энергетический модуль; модуль охлаждения и модуль, интегрирующий подсистемы питания, охлаждения и кабельные телекоммуникационные соединения на общей платформе.

Silver Linings Systems

Компания поставляет модули для ДЦ в двух вариантах: модуль, стандартизованный SLS, и модуль на основе ISO-контейнера. Модули сопрягаются с модулями питания и охлаждения. В первом варианте в один или два ряда может быть размещено от 4 до 10 стоек (45U). Конструкция модуля обеспечивает теплоотвод от стойки в диапазоне 7-35 кВт. В последнем случае в модуле может быть размещено не более четырех стоек.

Второй вариант предполагает использование ISO-контейнеров типовых размеров: 20, 40 или 53 фута. В первом случае модуль состоит из двух контейнеров, в последнем их пять. В модуле может быть размещено от 8 до 50 стоек. Конструкция обеспечивает теплоотвод от стойки при энергопотреблении в диапазоне 7-28 кВт. Модули анонсируются без системы бесперебойного питания, а также без системы пожаротушения. Вероятно, подбор устройств для этих подсистем инженерной инфраструктуры будет выполнять интегратор проекта.

Emerson Network Power

Компания предлагает несколько продуктов (SmartRow, SmartAisle и Smart-Mod) под общим брендом Smart Solutions. SmartRow — функционально законченный модуль открытого исполнения из 3-6 ИТ-стоек, блока охлаждения, блока электропитания и блока пожаротушения. SmartAisle — функционально законченный модуль открытого исполнения, включающий до 40 ИТ-стоек в двухрядном исполнении (20 х 2) при допустимой мощности до 10 кВт/стойка, системы охлаждения и электропитания.

В комплект поставки модулей входит программно-аппаратный комплекс Liebert iCOM controls. Для дистанционного мониторинга и управления элементами инфраструктуры модуля SmartAisle могут быть использованы --системы Avocent, Liebert Nform и Liebert SiteScan.

В отличие от SmartRow и SmartAisle SmartMod представляет группу контейнерно-размещенных модулей, которые позволяют установить внутри контейнера ИТ-систему и системы охлаждения и электропитания. Возможен вариант, когда в отдельном модуле размещается система электропитания.

Для реализации проектов на базе данных продуктов компания предлагает комплекс проектирования SmartDesign. Все комплектующие, на основе которых выполнены эти решения, также изготовлены Emerson Network Power.

Schneider Electric

Компания разработала комплекс модулей и архитектуру ДЦ на их основе. Основные модули: Data Center Module, Facility Power Module (500 кВт), Air Cooling Module (400 кВт) и Water Cooling Module (500 кВт).

Сегмент модульных ДЦ привлекает интерес все большего числа поставщиков инфокоммуникационных продуктов. Например, поставки модульных ДЦ в 2013 году планировала начать компания NEC. Ее разработки будут применяться в крупных стационарных ДЦ. В РФ несколько фирм анонсировали свои продукты для данного сегмента. Первопроходцем была компания «Ситроникс», которая в 2010 г. выпустила на рынок контейнерные ДЦ Daterium. В настоящее время она предлагает Daterium 2 и Daterium 3. В 2013 г. свой модульный проект «ИТ-Экипаж» представила компания «Техносерв».

Внедрение модульных ДЦ началось и на российском рынке. Помимо крупного проекта «Вымпелкома», о котором упоминалось выше, в октябре 2013 г. «Аэрофлот», HP и «Техносерв» объявили о завершении проекта по созданию резервного ЦОД авиаперевозчика. Решение включает в себя продукт компании «Техносерв» — модульный ДЦ «ИТ-Экипаж».

Цифры и факты

Насколько велик потенциал сегмента модульных ДЦ в будущем? Эксперты компании IMS Research, использующие для определения модульных ДЦ не термин modular data center, а containerized data centers (куда включаются и модульные, и контейнерные, и мобильные ДЦ), считают, что поставки containerized data centers в 2013 году вырастут на 40   % по сравнению с 2012 годом. Согласно отчету этой компании, в 2012 г. по сравнению с 2011 г. объем данного сегмента рынка ДЦ практически удвоился.

Контейнерные и модульные решения появились в 2005-2006 гг., но эксперты IMS Research считают, что по существу этот сегмент рынка начал формироваться только в 2011 году. IMS Research предполагает, что Северная Америка будет крупнейшим рынком для модульных ДЦ в 2012 году, но прогнозирует, что поставки в Китай будут ежегодно удваиваться в течение следующих пяти лет в связи с быстрым ростом отрасли ДЦ в регионе и необходимостью оперативного развертывания вычислительных центров. Ряд экспертов, напротив, считает, что наибольший успех ждет модульные ДЦ на развивающихся рынках Азии и Африки.

Меньше оптимизма у экспертов TechNavio. Они предполагают, что в 2012-2016 гг. в США рынок модульных ДЦ будет расти в пределах 11,2  % 5 .

По данным DCD intelligence, наибольший относительный рост объема инвестиций в технологии модульных ДЦ в 2011-2013 гг. был в РФ и Франции (рис.   3) . По-видимому, здесь стоит говорить об относительном, нежели о крупном валовом росте. Тем не менее, российские ИТ-компании в такой ситуации могут попытаться создать собственные решения — даже на базе импортных комплектующих. DCD intelligence предполагает, что в странах BRIC есть определенный интерес к обсуждаемым решениям.

Рис. 3. Относительный рост объема инвестиций в технологии модульных ДЦ, 2011-2013 гг.

Группа Компаний «4х4» представлена на рынке Контейнерных ЦОД более 10 лет. В портфеле реализованных проектов компании как Контейнерные ЦОД собственного производства.

В 2016 году было разработано второе поколение собственного решения, которое получило название Mtech (Modular Technology).

Модульные ЦОД собственной разработки, предназначенные для эксплуатации в любых регионах РФ, имеющие порядка 50% российских комплектующих, разработанные с учетом многолетнего опыта работы в этой области и мнения наших Уважаемых Заказчиков.

Особенности и преимущества КЦОД и МЦОД 4х4 MTech

Разработан в России для Российских условий

Конструкция контейнерного модуля разработана командой профессиональных архитекторов и предназначена для размещения инженерного ИТ оборудования с обеспечением максимальной защиты от внешних условий (ветровая и снеговая нагрузка, внешняя температура) в любом регионе РФ;

Широкий тамбур

Позволяет разместить шкаф для одежды персонала (входит в состав поставки) и поставить автомат для одевания бахил, для поддержания постоянной чистоты в Машинном зале МЦОД, а также обеспечить возможность заноса или выноса оборудования из/в Машинный зал МЦОД;

Дополнительная скатная крыша

Позволяет не допустить скапливание снежного покрова в зимний период и накапливания воды при таянии снежного покрова;

Достаточное место для комфортного обслуживания внутри

Внутренняя ширина контейнерного модуля 3000 мм, что позволяет установить серверные стойки 1200 мм глубиной в статическом положении и при этом обеспечить пространство для обслуживания перед ними не менее 1200 мм. Такой подход позволяет предложить Заказчику решение с возможностью наращивания мощности в процессе эксплуатации и снизить капитальные затраты на первом этапе. Также это обеспечивает удобство обслуживания и установки ИТ оборудования в серверные стойки.

Контейнеризация горячего коридора

В решениях с мощностью ИТ нагрузки на стойку от 8 кВт планируется установка системы контейнеризации горячего коридора, для максимально эффективной работы системы кондиционирования.

Заводские приемочные испытания

Проведение заводских приемочных испытаний решения перед отправкой на площадку Заказчика, а также испытаний на площадке Заказчика, по согласованной с ним программе методике испытаний, позволяет добиться гарантированной и безотказной работы решения в процессе эксплуатации;

Надежность

Использование наиболее надежного на рынке оборудования для реализации основных инженерных систем позволяет обеспечить спокойный сон Заказчика на следующие не менее чем 10 лет (средний срок службы инженерного оборудования ЦОД);

Скачать презентацию по Контейнерным и Модульным ЦОДам 4х4 Mtech (3,5 МБ) >>>

Недостатки ISO контейнерного

Первоначально произволители предлагали КЦОД в стандартных ISO контейнерах, однако такое решение имеет ряд недостатков. В первую очередь, это ширина стандартного ISO контейнера - 2,44 м.

При размещении стоек в стандартном ISO контейнере получается, что 10см уходит на утепление контейнера, 1м - глубина стойки и 1м перед стойкой для установки оборудования. Таким образом, сзади стойки остается только 34 см. В это пространство человек не протиснется, а значит операции коммутации для стоек посередине будут затруднены. Поэтому производители либо делали выкатные стойки (требует их обесточивания при передвижении), либо сервисные двери в задней части контейнера (невозможно использовать зимой).

Также, стандартные ISO модули имеют плоскую и очень мягкую крышу, которая не выдерживает снеговой нагрузки в России. При попытке очистки от снега крыша без дополнительного усиления будет прогибаться и деформироваться. Если же крышу не чистить от снега, с высокой вероятностью весной она протечет.

Учитывая данные недостатки 4х4 предлагает предлагают решения в non-ISO модулях нестандартного размера, как правило это 3,3 метра в ширину и высоту, что позволяет обеспечить нормальный горячий коридор. Нестандартный контейнер имеет ISO-модули для подъема краном. Перевозка нестандартного контейнера требует получения разрешения на перевозку негабаритного груза, сейчас это не представляет никаких сложностей. Хороший контейнерный ЦОД ничем не отличается с точки зрения сопровождения от обычной серверной. Очень желательно иметь входной тамбур, который позволит нивелировать перепады климата при входе в контейнер, а также предоставит место для размещения необходимых в ЦОД вещей (бахиллы, пылесос, присоска для фальшпола и т.п.).

Модульный ЦОД отличается от контейнерного тем, что состоит из отдельных модулей, которые стыкуются между собой. Мы устанавливали модульные решения в России и знаем, что современные технологии позволяют обеспечить полную герметичность конструкции. Модульный ЦОД теоретически может быть любого размера. Чем больше модулей в одной сборке, тем дешевле обходится ЦОД в пересчете на стоимость одной стойки.

Если сравнивать стоимость традиционного и модульного ЦОДов, то модульный ЦОД оказывается выгоднее по цене уже при размещении 20 стоек и более. Но основным преимуществом контейнерных и модульных ЦОДов является скорость развертывания. Как правило, от момента заказа, первые модули начинают работать уже через 4 месяца. Традиционный ЦОД в здании, по нашим оценкам, требует около 2 лет на строительство.