Зачем охлаждать дата-центры
Всем знакомо ощущение, когда при скачивании тяжелого файла или запуске требовательной видеоигры ваш лэптоп начинает нагреваться. При работе серверов, которые, по сути, те же компьютеры, только мощнее, происходит то же самое. Современные машины работают круглосуточно, без выходных и праздничных дней, а учитывая их мощность, выделение тепла получается значительным. В серверах обычно не устанавливают локальные кулеры, поэтому охлаждение оборудования — это комплексное решение.
Традиционно считается, что рекомендуемая температура воздуха в машинных залах обозначена ASHRAE (Американским обществом инженеров по отоплению, охлаждению и кондиционированию воздуха) — на установленные значения ориентируются операторы дата-центров по всему миру. На сегодняшний день рекомендованная температура воздуха для охлаждения серверов составляет 20-27° C. Во многом это связано с развитием серверного оборудования: оно становится все более устойчивым к высоким температурам. Для сравнения, в начале 2000-х годов поддержание температуры на уровне 16-20° C было критичным.
Но оператор дата-центра или сервис-провайдер вправе сам установить температурный режим и не оглядываться на «общества инженеров». В России у одного крупного облачного провайдера есть дата-центр, в котором специально собранное серверное оборудование работает при температуре +35° C градусов. Единственное, на что стоит особенно обращать внимание, — это температурные максимумы и минимумы за последние 20 лет. Эту информацию как раз накапливает и распространяет ASHRAE
Итак, как дата-центры могут охлаждать воздух? Рассмотрим варианты, которые наиболее востребованы среди отечественных операторов ЦОД.
Промышленные сплит-системы на фреоне
Это, пожалуй, самый «старый» и примитивный способ охлаждения в дата-центрах. Мы все можем легко представить, как выглядят промышленные кондиционеры. В случае с фреоном система работает за счет изменения агрегатного состояния этого газа. Температура кипения фреона — момент, когда он меняет свое состояние из жидкостного в газообразное, — составляет 5° C.
В системах кондиционирования мы искусственно контролируем этот процесс, сохраняя фреон жидким и холодным. Этих пяти градусов фреоновой воды достаточно для охлаждения воздуха, поступающего в «холодные коридоры» машинного зала. Охладив серверы, отработанный воздух поступает в «горячие коридоры». Далее кондиционеры засасывают его в теплообменники, где повторяется процесс охлаждения и дальнейшей рециркуляции воздуха.
Минусы решения
Чтобы эффективно использовать фреон, постоянно поддерживая нужное агрегатное состояние, требуется дополнительная электроэнергия. Так, по грубым расчетам, чтобы произвести 500 кВт холода, необходимо затратить 200 кВт электроэнергии. Для сравнения, при фрикулинге, о котором я расскажу позже, для получения того же объема холода, понадобится всего 50 кВт электроэнергии — чисто на работу вентиляторов. Электроэнергия — важный ресурс для любого дата-центра. Разницу в потреблении можно направить на серверные стойки, а значит — подключить больше серверов и клиентов.
Кроме того, фреон — неэкологичное решение. Во-первых, испарение этого газа в атмосферу увеличивает парниковый эффект. Во-вторых, любое превышение потребления электроэнергии или неэффективное ее использование косвенно влияет на дополнительный выброс углекислого газа в атмосферу. Подробнее об этом — в блоге
Selectel на Хабре.
Системы чиллер-фанкойл
Это вариант охлаждения для компаний, которые хотят отойти от использования фреона внутри машинных залов и добавить промежуточный инертный теплоноситель. Основная особенность подхода состоит в том, что во внутренний блок системы кондиционирования в качестве хладоносителя используется незамерзающий (обычно гликолевый) раствор либо обычная вода. На крышах дата-центров устанавливают большие фреоновые холодильные машины (чиллеры), от которых идет магистральная кольцевая система трубопроводов. Она доставляет охлажденную воду во внутренние кондиционеры, где через теплообменники и вентиляторы этот холод подводится к серверным стойкам.
Плюсом системы является то, что вода — это инерционный хладоноситель. Нам не нужно менять ее агрегатное состояние или производить другие действия, чтобы поддерживать нужную температуру. А значит, не нужно постоянно поддерживать систему на «чистом» электропитании. Если у нас есть большой накопитель с охлажденной водой, серверы будут охлаждаться и при отключении электричества, и при перезагрузке чиллеров, и при переключении на ДГУ (дизель-генераторные установки). Нужно лишь обеспечить непрерывную работу насосов, которые подают потоки хладагента от чиллеров к фанкойлам. А значит, мы получаем хорошую отказоустойчивую систему. Кроме того, в холодные месяцы можно отключать фреоновый контур и охлаждать водный раствор наружным воздухом, используя так называемый непрямой фрикулинг.
Недостатки решения
Система с большим количеством жидкости (для среднего дата-центра на 2-3 МВт IT-нагрузки это десятки тысяч кубических литров охлажденной воды) требует особого внимания и контроля протечек. Кроме того, в жаркие периоды приходится по-прежнему использовать фреоновый контур. Теперь он не требует постоянного электричества, так как в наших широтах работает не круглый год, но электрическую мощность под работу этой части холодильной машины все равно приходится резервировать. Вместо того, чтобы использовать это электричество для работы вычислительного оборудования.
Фрикулинг
Этот способ охлаждения очень популярен за рубежом и набирает обороты на российском рынке ЦОД. На данный момент это самая энергоэффективная система охлаждения. Основная ее особенность в том, что охлаждение оборудования происходит за счет обдува с помощью забортного воздуха (так называется обычный воздух с улицы). Он очищается от пыли, проходя через фильтры, и поступает в машинный зал.
Если температура воздуха на улице составляет примерно 20-27 °C, то нагрузка на системы охлаждения минимальная. Если температура значительно меньше (в зимнее время, например), перед подачей в «холодный коридор» серверной воздух предварительно разбавляется теплым воздухом из «горячего коридора». «Замес» происходит в специальной камере смешения.
Для охлаждения же забортного воздуха (если в столице или в Санкт-Петербурге случилась аномальная жара) можно использовать несколько технологий: фреоновый контур, абсорбционные холодильные машины (АБХМ) или адиабатическое охлаждение. Фреон, как мы описали ранее, требует электричества. АБХМ же работает на природном газе или другом горючем топливе.
Если с АБХМ все относительно ясно, так как это все еще полноценная холодильная машина, как и чиллер, — забортный воздух просто охлаждается в теплообменнике холодильной машины, то с адиабатической системой все немного хитрее. Это охлаждение — полная противоположность классическим системам кондиционирования. В последнем случае мы тратим энергию на осушение воздуха, ведь с помощью осушения мы его, по сути, и охлаждаем. Если говорить о адиабатическом охлаждении, то мы подаем сухой воздух на поверхность, смоченную водой. Когда воздух проходит сквозь мокрую поверхность, его влажность повышается, а температура, наоборот, понижается. В городах, где влажность воздуха составляет 20% и менее, эта система очень эффективно работает
Еще несколько лет назад некоторые клиенты не принимали систему фрикулинга, поскольку считали ее недостаточно стабильной. Все-таки отчасти мы работает с капризами природы. Но годы эксплуатации таких систем показывают: мы способны довольно четко «приручать» любые показатели термометра. Несмотря на сложность систем, операторы дата-центров способны выстраивать нужный микроклимат с точностью до градуса. При этом делать это автоматически, с помощью массы датчиков температур, установленных как в серверных, так и на улице.
Минусы решения
Нужно отдавать себе отчет, где именно вы строите свой дата-центр. Например, в Москве где при повышении температуры всегда сухо, — система работает практически идеально. А в Санкт-Петербурге, с его постоянно высокой влажностью, установки такой системы потребует более внимательно расчета и взвешивания всех факторов.
Еще один относительный минус фрикулинга — это размер необходимого оборудования. Вентустановки, забирающие воздух, — довольно крупные, в разы больше прецизионных кондиционеров. Если у вас многоэтажное здание и дата-центр, работающий на фрикулинге, находится не на первом этаже, установки придется размещать внутри здания. А значит, вы занимаете полезную площадь машинного зала, где можно было поставить не один десяток серверных стоек.
Заключение
Важно понимать, что не существует идеальной и единственно верной системы охлаждения. Бывает оптимальная система. Получая бонусы одного решения, нам приходится чем-то жертвовать. Поэтому специалистам при строительстве или размещении дата-центров важно учитывать многие факторы: географическое положение, площадь территории вокруг и инфраструктуру в пределах ЦОД. Важно определять и свои приоритеты: хотите ли вы уместить больше серверных стоек, сэкономить электроэнергию или уменьшить негативное воздействие на экологию. Выбор системы охлаждения — это не «семь бед — один ответ». Как правило, каждый машинный зал имеет свои особенности и требует вдумчивого подхода к выбору системы охлаждения.
Алексей Ерёменко,
директор по инфраструктуре, Selectel