Как спроектировать и установить систему водяного охлаждения для серверной комнаты

Содержание

Если ты управляешь серверной с мощностью более 10 кВт на стойку — традиционное кондиционирование уже не справляется. Воздух не умеет эффективно отводить тепло от плотно упакованных процессоров, особенно если у тебя GPU-кластеры, AI-ускорители или высокопроизводительные вычисления. Водяное охлаждение — не роскошь, а необходимость. Но если сделать его неправильно, ты получишь не тишину и стабильность, а протечки, короткие замыкания и месяц простоя.

Я не теоретик. Я несколько лет работал с серверными в дата-центрах от 50 до 500 кВт, и за это время видел, как «умные» проекты сгорали из-за одной ошибки в выборе трубок. Ниже — то, что реально работает. Без воды, без маркетинга, только по шагам.

Почему именно водяное охлаждение?

Воздух — плохой проводник тепла. Вода — в 25 раз лучше. Это значит:

Ты можешь упаковать больше серверов в одну стойку — без перегрева;
Температура в комнате не обязана быть +20°C — можно поднять до +27–30°C и сэкономить до 40% на кондиционировании;
Шум падает в 2–3 раза — вентиляторы не кричат на 100% оборотах;
Энергопотребление на охлаждение снижается, даже если ты добавляешь насосы.

Но: водяное охлаждение — это не «вставь радиатор и забудь». Это система. И если ты пропустишь хотя бы один этап — ты рискуешь потерять всё.

Шаг 1: Определи, что именно ты хочешь охлаждать

Не все серверы одинаковы. Ты не можешь охлаждать всё одинаково. Раздели нагрузку на три типа:

Классические CPU-серверы — 1–2 процессора, 1–2 кВт на узел. Подходят для общих задач, виртуализации, баз данных. Можно охлаждать через пассивные водяные радиаторы на процессорах (direct-to-chip).
GPU-кластеры — 4–8 видеокарт, 10–15 кВт на стойку. Типичны для ИИ, рендеринга, криптомайнинга. Требуют мощного охлаждения — лучше всего подходит холодильная пластина под GPU или полный водяной охлаждающий модуль (cold plate).
Высокоплотные серверы — 20+ кВт на стойку, например, IBM Power10, AMD EPYC с большим количеством DDR5. Тут уже нужна интеграция с жидкостным охлаждением всей стойки — либо через заднюю панель (Rear Door Heat Exchanger), либо через полный контур под стойку.

Если ты не разделишь нагрузки — ты либо переплатишь за избыточную систему, либо подождёшь, пока первый сервер сгорит.

Шаг 2: Выбери тип системы

Есть три основных подхода. Каждый — под свои задачи.

Тип системы	Как работает	Плюсы	Минусы	Подходит для
Direct-to-Chip (DTC)	Металлические пластины прижимаются к CPU/GPU, по ним течёт вода. Трубки идут к внешнему теплообменнику.	Максимальная эффективность, не трогает корпус, можно модернизировать существующие серверы	Сложная установка, требует точной настройки, риск протечки на уровне чипа	GPU-кластеры, AI-серверы, где критична плотность и температура
Rear Door Heat Exchanger (RDHx)	Водяной теплообменник в задней двери стойки. Воздух от серверов проходит через него, охлаждается и возвращается.	Простая установка, не трогает серверы, легко масштабируется, безопасно	Меньше эффективность, чем DTC, всё ещё требует базового охлаждения комнаты	Серверы с нагрузкой 10–15 кВт/стойка, где важна надёжность и простота обслуживания
Immersion Cooling (погружение)	Серверы целиком погружаются в непроводящую жидкость (например, 3M Novec). Тепло уходит в теплообменник через стенки ёмкости.	Самая высокая плотность, почти нулевой шум, идеально для 20+ кВт/стойка	Самый дорогой вариант, требует специальных серверов, сложная замена компонентов	Криптомайнинг, HPC, экстремальные плотности, где важна стабильность и минимум обслуживания

Если ты только начинаешь — начни с RDHx. Это самый безопасный путь. Если ты уже на грани перегрева и хочешь выжать максимум из стойки — DTC. Если у тебя 30 кВт на стойку и ты готов инвестировать — immersion.

Шаг 3: Спроектируй контур охлаждения

Водяная система — это не просто «трубки + насос». Это замкнутый цикл, и он должен быть герметичным, сбалансированным и защищённым.

Основные компоненты:

Теплообменник — где вода отдаёт тепло. Обычно это внешний чиллер (водяной кондиционер) или связка с внешним cooling tower. Выбирай с запасом по мощности — минимум на 20% выше, чем суммарная тепловая нагрузка серверов.
Насосы — один основной, один резервный. Не экономь на них. Насосы должны работать в диапазоне 0.5–1.5 м³/ч на каждые 5 кВт нагрузки. Используй насосы с переменной скоростью (inverter) — они экономят энергию и снижают вибрации.
Трубы и фитинги — только из нержавейки, меди или специального полимера (например, PEX-AL-PEX). Избегай латуни и пластика — они разрушаются под давлением и со временем выделяют примеси.
Фильтры и датчики — обязательны. Фильтр на входе в насос (10 мкм), датчики давления, температуры, утечки. Без них ты не узнаешь, что что-то пошло не так, пока не появится вода на полу.
Расширительный бак — чтобы компенсировать изменения объёма при нагреве. Объём — минимум 5% от общего объёма системы.

Важно: система должна быть спроектирована как «один контур» — без разветвлений и «петель». Чем проще путь воды — тем меньше рисков.

Шаг 4: Установка — что может пойти не так

Самые частые ошибки, которые я видел на объектах:

Пренебрежение промывкой системы — после монтажа трубопроводы нужно промыть чистой водой, потом — дистиллированной с добавкой ингибитора коррозии. Остатки флюса, стружки, пыли — это будущие засоры и коррозия.
Неправильный выбор жидкости — вода с добавкой этиленгликоля (антифриз) — плохой выбор. Он токсичен, вязкий, разрушает уплотнения. Используй только специализированные жидкости: 3M Novec, Fluorinert, или дистиллированная вода с ингибиторами (например, Solus G).
Нет дренажа и поддона — даже если ты уверен, что не протечёт — поставь поддон под стойками и дренажную трубу в канализацию. Протечка на сервере — это не просто выключение. Это 12 часов простоя и 50 тысяч рублей убытка.
Нет мониторинга — без датчиков давления и температуры на каждом узле ты слеп. Система должна сигнализировать в SCADA или через SNMP в твою систему мониторинга. Если насос остановился — ты должен получить уведомление за 10 секунд, а не через 2 часа.
Забыли про обслуживание — фильтры чистят каждые 3–6 месяцев, жидкость проверяют на pH и проводимость раз в квартал. Это не «когда будет время» — это плановое обслуживание, как замена масла в машине.

Когда что выбирать — сценарии

Вот как я советую действовать в разных ситуациях:

Ты запускаешь первую серверную с нагрузкой 8–12 кВт/стойка и хочешь надёжность — выбирай RDHx. Установка занимает 2–3 дня, не требует перепроектировки серверов, можно запустить без остановки работы. Стоимость — от 15–25 тыс. $ за стойку.
У тебя уже есть GPU-кластер с 10+ серверами, и температура на чипах выше 85°C — переходи на DTC. Нужно заменить воздушные кулеры на водяные модули. Работа — 1–2 недели, но ты получишь снижение температуры на 20–30°C и увеличение стабильности. Стоимость — от 40 тыс. $ за кластер.
Ты строишь новый дата-центр под майнинг или ИИ с плотностью 25+ кВт/стойка — рассматривай immersion. Это дорого, но ты экономишь на кондиционировании, шуме и обслуживании. Срок окупаемости — 1.5–2 года. Стоимость — от 80 тыс. $ за стойку.
Ты не можешь позволить себе остановку на несколько дней — начни с RDHx. Его можно установить по частям, без остановки серверов. DTC и immersion требуют полного отключения.

Как лучше сделать — практические рекомендации

Вот что я делаю на каждом проекте, чтобы избежать проблем:

Сначала — замеры. Измерь температуру на входе/выходе серверов, мощность каждого узла, влажность, давление в помещении. Без данных — ты слеп.
Закажи тепловую модель — даже простую. Есть бесплатные инструменты вроде CoolIT или даже Excel-расчёты с коэффициентами. Пойми, где будет «горячая точка».
Не покупай «готовые комплекты» от китайских поставщиков. Даже если они дешевле. Надёжность важнее экономии.
Всегда используй дублирование: два насоса, два теплообменника, два источника питания. Один — в резерве, второй — в работе. Без резерва — ты не дата-центр, ты эксперимент.
Проведи тест на герметичность под давлением 2–3 атмосферы перед запуском. Никаких «проверим при работе» — это уже слишком поздно.
Обучи техников. Они должны уметь снять водяной модуль, проверить давление, заменить фильтр — без вызова инженера из другого города.

Итог: что делать прямо сейчас

Если ты читаешь это — ты уже понимаешь, что воздух не справляется. Ты не должен ждать, пока серверы начнут отключаться.

Вот твой план на следующие 2 недели:

Сделай замеры: запиши мощность и температуру на 5–10 серверах в разных стойках. Сколько кВт? Какая температура на процессорах?
Определи, какая у тебя плотность: меньше 10 кВт/стойка — RDHx. 10–15 — DTC. 20+ — immersion.
Найди поставщика, который делает именно то, что тебе нужно — не «всё и сразу», а конкретный тип охлаждения. Попроси кейсы с похожими нагрузками.
Запроси расчёт тепловой нагрузки. Если они не могут его сделать — ищи другого.
Поставь поддон и дренаж — прямо сейчас, даже если система ещё не установлена.

Водяное охлаждение — это не про моду. Это про то, чтобы твои серверы работали, когда это критично. Сделай правильно — и ты забудешь про перегревы. Сделаешь по-быстрому — заплатишь за это в 10 раз дороже.

Информация в статье носит ознакомительный характер. Проектирование и монтаж систем охлаждения требуют специальных знаний и соответствия нормам безопасности. Перед принятием решений проконсультируйтесь с инженером по инфраструктуре дата-центра.