История вычислительных систем насчитывает всего-навсего несколько десятилетий. Проследим развитие компьютерных технологий от больших машин 60-70x, переход к персональным компьютерам 80x. В 90x началось интенсивное объединение ПК в локальные сети (LAN), а потом и глобальные сети, далее – бурный расцвет всемирной сети Интернет (web-сервисы, соцсети, распределенные вычисления и базы данных). 10-е годы нового века – распространение мобильных компьютерных устройств (смартфонов, планшетов и прочих умных гаджетов). Сегодня мы живем в эпоху облачных технологий хранения, майнинговых компьютерных ферм и виртуальных сервисов, предоставляемых агрегаторами электронной торговли. Мир, как известно, развивается по спирали. И по логике вещей в ближайшем будущем нас ожидает этап концентрации информационных ресурсов… в больших вычислительных центрах или центрах обработки данных нового поколения.
Проанализировать основные тенденции и некоторые аспекты этой темы и предлагается в этом очерке. Современный Центр обработки данных (ЦОД, дата-центр) предоставляет инфраструктуру с набором базовых услуг: размещение серверного оборудования, электропитание, охлаждение, безопасность, а также связность, т.е. доступность оборудования по телекоммуникационным сетям. Предусматривается техническая 24x7x365 и многоязыковая сервисная поддержка. При этом облачные услуги, хостинг различных сервисов, а также услуги системной интеграции предоставляются клиентами и партнерами дата- центра – принцип нейтральности. Примеры: Interxion, Cologix, Equinix с десятками мощных дата-центров по всему миру.
Давайте теперь разберемся с понятием нейтральности. Независимость от предоставляемых центром сервисов – это, безусловно, важный момент. «Кем-то настойчиво рекомендуемый» и «фактически доступный для выбора» совсем не одно и тоже. Но концепт нейтрального ЦОД необходимо дополнить еще одним существенным условием: невозможность получения третьими лицами (владельцами, административным персоналом Центра, органами власти отдельно взятого царства-государства и пр.) полного доступа к «информационному депозитарию» клиентов. При этом, в идеале, нужно сделать эту процедуру технологически невыполнимой – как вариант, отказавшись от стандартных решений размещения данных на серверах (colocation) или виртуальных машинах (VM) в пользу распределенной «мозаичности» данных в различных сегментах ЦОД или даже в сети из нескольких ЦОД и применением сложных алгоритмов шифрования данных.
Но начнем по порядку. Архитектурные решения и аппаратная часть. Центр обработки данных создается по принятым международным стандартам, основным из которых является TIA-942.
Вопреки обывательскому мнению, дата-центр – это не только машинный зал (computer room), в его состав включаются также и другие помещения:
- комната(ы) ввода для провайдеров;
- комнаты для электрического и механического оборудования;
- комнаты для телекоммуникаций, обслуживающих ЦОД;
- операционный центр (NOC – network operations center);
- офисы вспомогательного персонала;
- складские помещения и погрузочные платформы.
Кроме того, аппаратные помещения системы связи, общая офисная зона за пределами контура ЦОД.
К сожалению, стандарт TIA-942 не содержит информации о возможностях взаимодействия отдельно стоящих кампусов Центра (модульное масштабирование для увеличения общей вычислительной мощности), нет требований по внутрисетевому взаимодействию между ними. Совсем не рассмотрен вопрос об особенностях включения в ЦОД супервычислителей с производительностью десятки-сотни Петафлоп/с – суперкомпьютеров типа TitanCray, K Сomputer, Tianhe и пр.
Действующим стандартом выделяются 4 уровня, отличающиеся различной степенью готовности и обеспечения безопасности инфраструктуры дата-центра. Общий рейтинг дата-центра определяется рейтингом самого слабого компонента. Из таблицы 1 (см. ниже) видно, что высоконадежным и отказоустойчивым можно считать ЦОД 4 уровня, удовлетворяющий следующим основным требованиям: отдельное здание; двойной подвод электропитания и наличие двух отдельных систем бесперебойного питания с резервированием N+1 (Need plus One); горячая замена оборудования; круглосуточная техподдержка; увеличенный объем вспомогательных площадей; отсутствие точек отказа (за исключением человеческого фактора); допустимое время простоя в год – менее 20 минут.
Таблица 1. Параметры уровней надежности ЦОД
| Уровень 1 | Уровень 2 | Уровень 3 | Уровень 4 | |
| Пути охлаждения и ввода электричества |
Один |
Один |
Один активный и один резервный |
Два активных |
| Резервирование компонентов | N | N+1 | N+1 | 2*(N+1) |
| Деление на несколько автономных блоков | Нет | Нет | Нет | Да |
| Возможность горячей замены | Нет | Нет | Да | Да |
| Здание | Часть или этаж | Часть или этаж | Отдельно стоящее | Отдельно стоящее |
|
Персонал |
Нет |
Не менее одного инженера в смене | Не менее двух инженеров в смене | Более двух инженеров, 24-
часовое дежурство |
| Загрузка мощностей, % | 100 | 100 | 90 | 90 |
| Вспомогательные площади, % | 20 | 30 | 80–90 | 100+ |
| Высота фальш-пола, см | 40 | 60 | 100–120 | 100–120 |
| Нагрузка на пол, кг/м2 | 600 | 800 | 1200 | 1200 |
| Электричество | 208–480 В | 208–480 В | 12–15 кВ | 12–15 кВ |
|
Число точек отказа |
Много + ошибки оператора | Много + ошибки оператора | Мало + ошибки оператора | Нет + ошибки оператора |
| Допустимое время простоя в год, ч | 28,8 | 22 | 1,6 | 0,4 |
| Время на создание инфраструктуры, мес. | 3 | 3–6 | 15–20 | 15–20 |
| Год создания первого ЦОД подобного класса | 1965 | 1975 | 1980 | 1995 |
Даже судя по последней строке, уровень 4 несколько устарел (это мягко говоря) и уже пора задуматься о требованиях для ЦОД 5 уровня.
Для увеличения общей надежности предлагаются оригинальные решения, например – роботизированная платформа обслуживания активного оборудования ЦОД с применением конвейерной системы на основе автоматизированных технологий хранения и RFID идентификации оборудования. Присутствие человека в машинном зале не требуется. Как следствие – минимизация ошибок «человеческого фактора», возможное увеличение серверных стативов в вертикальной плоскости (100U и более) и пр.
Также отметим, что уже приняты новые современные стандарты: по волоконно- оптическим линиям со скоростями 100 Гбит/с и выше, которые придадут импульс для оптимизации топологии дата-центра; по кабельным слаботочным линиям с возможностью передачи питания PoE+ и PoE++ (~50Вт), которые позволят использовать СКС в том числе для LED-электроосвещения помещений; по автоматизации и мониторингу IoT устройств, что в целом скажется на управляемости и экологичности дата-центра. Интересно также применение технологий виртуальной реальности (VR) для регулярной тренировки навыков технического персонала при проведении регламентных, аварийных и ремонтно-восстановительных работ.
Но все это как бы факультативно. Наиболее «весомые» системы в ЦОД: электроснабжение и охлаждение. И именно здесь необходимо сосредоточить основные усилия для поиска эффективных технологических и конструкторских решений, таких как применение альтернативных и/или автономных источников энергии (например, газогенераторные и микротурбинные установки) и фрикулинг, т.е. использование естественного охлаждения, особенностей климата. Наверное, уже пора анализировать экосистему окружения дата-центра, и вместо того, чтобы бороться с избыточным теплом, использовать его для обогрева… располагающихся неподалеку агро-парников или технопарков.
Программная составляющая. Система управления дата-центром. В классическом ЦОД функционируют отдельные системы мониторинга и управления для ИТ-инфраструктуры, для телекоммуникаций, инженерных систем, систем безопасности. Безусловно, это создает ряд проблем и снижает общую надежность. Специалистами предлагаются различные концепты, в том числе Программно-определяемый дата-центр (SDDC), в котором все системы интегрируются в единый логический слой, с абстрагированием от физических ресурсов и возможностью их динамического варьирования, более тесную интеграцию сервисов с бизнес-процессами пользователей. При этом, операционная система дата-центра (DCOS) обеспечит:
- управление единой средой и всеми ресурсами ЦОД;
- управление информационной и физической безопасностью,
- управление жизненным циклом хранения информации;
- развертывание и оркестровку приложений и сервисов;
- диагностику и оптимизацию потребления ресурсов;
- анализ и предупреждение неисправностей;
- самовосстановление при сбоях.
Тема отдельного разговора, которую мы не коснемся в данном обзоре – информационное и программное наполнение. Дата-центры нового поколения должны будут поддерживать работу с несколькими слоями данных (финансовых, технологических, аналитических, персональных и т.д.) в новой информационной среде будущего – интернете активно взаимодействующих объектов.
Экономика ЦОД. Анализ стоимости создания среднестатистического дата- центра дает примерно следующую картину (по статьям затрат):
- 70-80% инженерные системы;
- 12-15% вычислительная и сетевая инфраструктура;
- 8-10% общестроительные работы и фальшпол,
- единицы %% на все остальное.
Если проанализировать стоимость владения, то окажется, что существенной долей затрат по текущей эксплуатации будут затраты на персонал (40%), амортизационные отчисления (20%) и электроэнергию (17%). Сразу же сделаем оговорку, что приведены экспертные данные и в зависимости от конкретного случая распределение долей может быть иное.
Итак, при проектировании современного дата-центра необходимо учитывать целый ряд факторов: географическое расположение, доступность и низкая себестоимость ресурсов, архитектурные требования к пространствам, окружающей среде и экосистемам, рабочим характеристикам компьютерного и телекоммуникационного оборудования, к кабельным системам и кабелепроводам, энергоснабжению и заземлению, охлаждению (вентиляции и кондиционированию), котролю доступа, видеонаблюдению, пожарной безопасности и пожаротушению, газодымоудалению и т.д. Для решения такой достаточно сложной комплексной задачи логично применять моделирование, в том числе – онтологическое моделирование, т.е. глубокое первичное осмысление сущности объекта, его структуры и взаимосвязей. На основе обобщения мирового опыта и практик важно обеспечить единство подходов при проектировании ЦОД и сетей ЦОД для построения унифицированной, эталонной архитектуры дата-центров. Моделирование позволит в несколько раз сократить общие затраты на проектирование и создание распределенной группы ЦОД. Кроме того, цифровая модель центра обработки данных даст возможность динамически анализировать состояние всех компонентов и сервисов, прогнозировать развитие событий и возникновение перспективных бизнес-запросов.
Вместо заключения
Вы можете сказать – ну, все это «жюль-верн» и какие-то далекие фантазии. Хорошо, приведем несколько интересных фактов:
- Интернет-гигант Facebook разместил свой европейский дата-центр «Узловой полюс» (The Node Pole) в небольшом шведском городе всего в 60 милях от Полярного круга. Здание имеет габариты 300×90 метров, высота 15 метров. Среднегодовая температура составляет +1,3C и серверы охлаждаются наружным воздухом с минимальным использованием электричества. Кроме того, чтобы избежать статического электричества, необходимо поддерживать определенной уровень влажности воздуха в машинном зале. Вода же берется из расположенной неподалеку реки Луле. Течение реки также приводит в движение турбины ГЭС, благодаря которой в местной электросети имеется постоянный избыток «зеленого» и дешевого электричества, при этом уровень энергоснабжения стабильный.
- Еще один из самых ярких примеров экологичного ЦОД – дата-центр Citigroup во Франкфурте. На крыше объекта посажены растения, которые помогают поддерживать нужный уровень температуры и влажности в серверных. Такое решение позволяет использовать около 30% энергии, которую используют дата-центры такого масштаба, и экономить ежегодно около 50 млн. литров воды.
Автор: Александр Кононенко
Источник: http://digital-economy.ru/
Понравилась статья? Тогда поддержите нас, поделитесь с друзьями и заглядывайте по рекламным ссылкам!
