ЦОД: правила кондиционирования и охлаждения (журнал Connect!, декабрь 2013 года)


Система охлаждения ЦОД является, как известно, однойиз самых энергозатратных составляющих ЦОД, потребляя до 50% всего объема электроэнергии, необходимой для его работы. Выбор типа системы охлаждения дата-центра существенновлияет на конфигурацию всех смежных инженерных систем, а в конечном итоге определяет такой важный показатель, как полная стоимость владения (TCO). В то же время рационально спроектированная система охлаждения ЦОД позволяет сократить эксплуатационные затраты более чем на 10%. Не стоит забывать и о важности поддержания рабочих температур в ЦОД для отказоустойчивости – допустимые перепады температуры вписываются в диапазон всего в 9 °C. 

dunaevГеннадий Дунаев, руководитель службы эксплуатации ЦОД «ТрастИнфо» (ГК «Ай-Теко»), подробно рассказывает о подходах к созданию системы кондиционирования дата-центра. 

В мировом масштабе

Глобальный рынок этих систем, по прогнозу TechNavio, вырастет вместе с рынком собственно ЦОД до 2016 г. на 12%, а его основным драйвером станет бум облачных технологий. Ежегодный рост потребности ЦОД в охлаждении оборудования составляет при этом 8%. Исследование компании DCDIntelligence показало, что рост инвестиций в ЦОД в 2012 г. составил 22,1% по сравнению с уровнем 2011 г.: с 86 млрд до 105 млрд долл. Прогноз на 2013 г. – 14%. Максимальный рост (22,5%) был отмечен в сегментах решений для управления ЦОД, а также в ИБП, системы безопасности и охлаждения. Рост в деньгах за год составил 9 млрд долл.

Основными вендорами, обеспечивающими поставки различных комплектующих и готовых решений, являются APC Corp., Emerson Network Power, Rittal Corp., Coolcentric, Core4 Systems, DellInc., Eaton Corp., Fujitsu Ltd., GreenRevolution Cooling, Hewlett-PackardCo., Hitachi Ltd., IBM Corp., Klima-Therm Ltd., KyotoCooling, OracleCorp. и Stulz ATS. Главными вызовами, стоящими сегодня перед ними и перед операторами дата-центров, являются энергодефицит, а также повышенные требования к энергоэффективности и экологичности процессов охлаждения, что порождает спрос на «зеленые» решения. Патентуются все новые технологии охлаждения, в том числе и такие, как погружение оборудования в охлаждающую среду (минеральное масло). Все эти решения применяются и в России.

Российский рынок ЦОД – один из самых быстрорастущих. В 2013 г. он вырос на 28% – до 9,1 млрд руб. (данные iKS Consulting), а на 2014-й некоторые эксперты прогнозируют и вовсе двукратное его увеличение. 170 крупных и средних ЦОД на общей площади 65 тыс. м2 – суммарные показатели на текущий момент, которые в 2014 г. возрастут на 10 тыс. м2. А это значит, что спрос на самые передовые решения по охлаждению оборудования будет только расти. Уже сейчас в России реализуются проекты по созданию систем охлаждения ЦОД самого высокого уровня. Один из них – система охлаждения дата-центра «ТрастИнфо», особенностью которого является сочетание разных типов систем кондиционирования.

Решение проблемы удаленных теплообменников

ЦОД «ТрастИнфо» организован по принципу блоков: он разделен на пять зон, каждая из которых - самостоятельный дата-центр, включающий в себя два машинных зала с автономной инженерной инфраструктурой. Каждый машинный зал – это отдельный герметичный модуль внутри основного здания дата-центра, изготовленный из ударопрочных и пожаробезопасных материалов. Внутри такого модуля расположены машинные залы и инженерные системы.

Запуск мощностей «ТрастИнфо» осуществлялся поэтапно, блок за блоком. Каждый модуль обеспечивается системой кондиционирования. Оптимизация энергопотребления достигается, прежде всего, за счет применения высокоэффективного аккумулятора холода, водоохлаждающих машин с компрессорами Turbocor, вентиляторов прецизионных кондиционеров с EC-приводом (электронно-коммутируемым двигателем), использования технологии фрикулинга, а также управления работой инфраструктуры в зависимости от загрузки серверов.

В случае применения технологий фрикулинга (free cooling) оборудование охлаждается за счет подачи в зал более холодного наружного воздуха при соответствующих погодных условиях. При жаркой погоде режим фрикулинга не включается и охлаждение залов стандартно осуществляется холодильным контуром кондиционера. Немаловажно и наличие режима аварийного охлаждения с помощью фрикулинга – в этот режим работы система охлаждения переходит в том случае, если отключается основное энергоснабжение.Такое решение применено в четырех из пяти модулей дата-центра.

Пятый модуль – особенный: он находится в отдалении от остальных, кондиционирование которых осуществляется с помощью водоохлаждающих машин. При проектировании систем кондиционирования для этого модуля можно было выбрать один из двух путей: сохранить единообразную систему кондиционирования, для чего пришлось бы прокладывать трубопроводы от теплообменников к удаленным залам, или отойти при их оснащении от общего для остальных модулей решения. Расчеты показали, что прокладывать коммуникации внутри дата-центра нецелесообразно – это приведет к большим потерям энергии на водоснабжение удаленных залов.Альтернативой водному охлаждению стали фреоновые кондиционеры Uniflair производства Schneider Electric. При их монтаже конденсаторы были выведены на крышу дата-центра. Это позволило рационально использовать внутреннее пространство дата-центра и прилегающую территорию с учетом требований к пожарной и экологической безопасности:в случае утечки фреон нигде нескапливается.

Кондиционеры находятся практически за стенкой машинных залов, так что ограниченная длина фреоновых трасс в данном случае не препятствие. В настоящее время в двух удаленных залах дата-центра установлены и введены в эксплуатацию 14 кондиционеров Uniflair. Два изних предназначены для охлаждения системы бесперебойного питания: они размещаются в отдельном помещении, где находятся четыре ИБП Galaxy (по 500 кВА) производства Schneider Electric. Таким образом соблюдается одно изважнейших требований стандарта TIA-942: размещение ИТ-систем и инженерных систем в разных по-мещениях. Эта мера предусмотрена стандартом для дополнительной защиты ИТ-оборудования в случае аварии инженерных систем и продиктована многолетней практикой западного рынка, уже имеющего опыт строительства и эксплуатации крупных дата-центров, в том числе и в форс-мажорных ситуациях. Удельная мощность, потребляемая одной стойкой, в среднем составляет 5–6 кВт. Но инженерная инфраструктура «ТрастИнфо» справляется и с нагрузками до 15 кВт без дооснащения дополнительными средствами кондиционирования воздуха. Для таких стоек с повышенным энергопотреблением инфраструктура дата-центра допускает возможность уплотнения нагрузки в расчете на однустойку: сокращается количество установленных стоек, при этом каждая из них потребляет пропорционально больше мощности, но суммарная мощность и, соответственно, энергопотребление зала не меняются.

В этом случае для охлаждения уплотненных стоек организуется более широкий изо-лированный «холодный» коридор. Каждый заказчик перед въездомзаполняет опросный лист, где указывает максимально возможную мощность, которую будет потреблять его оборудование. В соответствии с этим требованием выполняется специальное проектное решение, включающее и холодоснабжение. Это может быть создание «холодного» коридора, использование специальных шторок и др.

Ближайшая перспектива

Эксперты «ТрастИнфо» считают, что дальнейшее развитие и модернизацию инженерных систем дата-центра нужно будет вести по двум направлениям: усиление экологической безопасности и энергоэффективности. В числе планируемых мер – более широкое использование изолированных «холодных» и «горячих» коридоров в машинных залах. Это позволит снизить нагрузку на инженерныесистемы дата-центра и станет одной из ключевых мер по дальнейшему понижению PUE. Следует отметить, что в «ТрастИнфо» придерживаются моновендорнойстратегии в выборе оборудоваия: по мнению специалистов компании «Сервионика»(ГК «Ай-Теко»), под чьим управлением находится дата-центр, такой подход упрощает построение и обслуживание инженерной инфраструктуры, обеспечивает совместимость и органичность развитисистем и позволяет снизить издержки. Многолетнее сотрудничество связывает «Ай-Теко» и Schneider Electric, но в «ТрастИнфо» исполь-зуется оборудование и других поставщиков.

Полный текст статьи читайте в декабрьском номере журнала "Connect!".

Представители СМИ могут обратиться за комментариями и получить аккредитацию на мероприятия «Сервионики» по телефону +7 (921) 9034963 или e-mail pr@servionica.ru.