В современном понимании дата-центр (data center), или центр обработки данных (ЦОД), - это комплексное организационно-техническое решение, предназначенное для создания высокопроизводительной и отказоустойчивой информационной инфраструктуры. В более узком смысле ЦОД - это помещение, предназначенное для размещения оборудования для обработки и хранения данных и обеспечивающее подключение к быстрым каналам связи. Для того чтобы полнее раскрыть суть понятия ЦОД, начнем с истории его возникновения.

В принципе, вычислительные центры, знакомые многим по ЕС-машинам, которые получили распространение в нашей стране еще 30 лет назад, - это в определенном смысле прародители современных ЦОД. Общей для нынешних ЦОД и старых ВЦ является идея консолидации ресурсов. При этом ВЦ имели достаточно сложные подсистемы обеспечения необходимой для вычислительной техники среды, которая состояла из подсистем охлаждения, электропитания, безопасности и т.п., многие из которых используются и в современных ЦОД.

С распространением ПК в середине 1980-х годов наметилась тенденция к рассредоточению вычислительных средств - настольные компьютеры не требовали особых условий, а следовательно, вопросам обеспечения специальной среды для вычислительной техники уделялось все меньше внимания. Однако с развитием клиент-серверной архитектуры в конце 90-х годов возникла необходимость установки серверов в специальных помещениях - серверных комнатах. Нередко случалось так, что серверы размещали на площади старых ВЦ. Примерно в это время появился термин «дата-центр» (data center), применяемый к специально спроектированным компьютерным помещениям.

Расцвет дата-центров пришелся на период бума дот-комов. Компании, которым требовались быстрый интернет-доступ и непрерывность ведения бизнеса, стали проектировать специальные помещения, обеспечивающие повышенную безопасность обработки и передачи данных, - Интернет-дата-центры (Internet Data Centers). Поскольку все современные дата-центры обеспечивают доступ к Интернету, первое слово в названии было упразднено. Со временем появилось отдельное научное направление, которое занимается вопросами оптимизации строительства и эксплуатации дата-центров.

В начале XXI века многие крупные компании как за рубежом, так и у нас в стране пришли к необходимости внедрения ЦОД - для одних первостепенным стало обеспечение непрерывности бизнеса, для других ЦОД-решения оказались очень эффективными вследствие экономии эксплуатационных затрат. Многие крупные компании пришли к выводу, что централизованная модель вычислений обеспечивает лучший показатель TCO.

За последнее десятилетие многие крупные ИТ-компании обзавелись целой сетью ЦОД. Например, старейший глобальный оператор Cable & Wireless в 2002 году купил американскую компанию Digital Island - владельца 40 ЦОД по всему миру, а европейский оператор Interoute в 2005 году приобрел оператора и хостинг-провайдера PSINet, подключив к своей панъевропейской сети 24 ЦОД.

Практика применения риск-ориентированных подходов к ведению бизнеса стимулирует использование ЦОД. Компании начали понимать, что вложения в организацию бесперебойной работы критичных ИТ-систем обходятся для многих видов бизнеса гораздо дешевле, чем возможный ущерб от потери данных в результате сбоя. Внедрению ЦОД способствует также принятие законов, требующих обязательного резервирования ИТ-систем, появление рекомендаций по применению модели аутсорсинга ИТ-инфраструктуры, необходимость защиты бизнеса от природных и техногенных катастроф.

Отдельные ЦОД стали занимать все бо льшие территории. Например, недавно появилась информация о том, что Google намерена построить крупный ЦОД в штате Айова площадью 22,3 га, потратив на него 600 млн долл., который заработает уже весной 2009 года.

В России строительство ЦОД (в современном понимании этого термина) началось в конце прошлого - начале нового века. Одним из первых крупных российских ЦОД был Центр Сбербанка. Сегодня собственные ЦОД имеют многие коммерческие структуры (прежде всего финансовые организации и крупные операторы связи).

При этом солидные российские Интернет-компании имеют уже по нескольку дата-центров. Например, в сентябре текущего года появилось сообщение о том, что Яндекс открыл новый (уже четвертый по счету) дата-центр на 3 тыс. серверов (занимаемая площадь - 2 тыс. кв.м, подведенная мощность - 2 МВт). Новый комплекс оснащен прецизионными системами охлаждения, позволяющими снимать до 10 кВт со стойки, источниками бесперебойного питания и дизельными генераторами. Дата-центр подключен к московскому оптическому кольцу Яндекса, которое соединяет другие дата-центры и офисы Яндекса, а также к М9 и М10 - традиционным точкам обмена трафиком с провайдерами.

Одновременно с этим российский оператор «Синтерра» объявил о начале одного из самых крупных проектов (не только по российским, но и по европейским меркам) - строительстве национальной сети собственных ЦОД. Проект получил название «40x40». Создав крупные дата-центры в узлах широкополосной сети в большинстве регионов России, оператор намерен превратить их в точки локализации клиентов и продаж всего спектра услуг.

До середины 2009 года в 44 центрах субъектов Федерации будут открываться вновь создаваемые ЦОД. Первыми станут Москва, Санкт-Петербург, Казань, Самара и Челябинск. Оператор планирует, что до конца 2008 года будут введены в эксплуатацию первые 20 площадок, остальные - к середине 2009-го. Интеграторами проекта являются «Крок», «Техносерв А/С» и Integrated Service Group (ISG).

Площадь каждого ЦОД, в зависимости от потребностей региона, будет варьироваться от 500 до 1000 кв.м по фальшполу и вмещать 200-300 технологических стоек. К ЦОД должны быть подключены по два кольца сети общей пропускной способностью каналов 4x10 Гбит/с, что обеспечит клиентам высокий уровень резервирования и доступности сервисов.

Проект «40x40» ориентирован на широкий круг клиентов, имеющих потребность в аутсорсинге ИТ-инфраструктуры в масштабах всей страны, - операторов связи, «сетевых» корпоративных клиентов, разработчиков контента и приложений, операторов IP-TV и телевизионных компаний, а также на госструктуры, отвечающие за реализацию национальных ИКТ-программ.

Собственные ЦОД у нас в стране имеют не только коммерческие, но и государственные структуры, такие как МВД, МЧС и ФНС.

По данным IDC, количество дата-центров в США достигнет к 2009 году 7 тыс. - по мере перевода компаниями распределенных вычислительных систем на централизованные.

Наряду со строительством новых дата-центров на повестке дня стоит проблема модернизации старых. По данным Gartner, к 2009 году 70% оборудования ЦОД перестанет отвечать эксплуатационным требованиям и требованиям к производительности, если не будет проведена соответствующая модернизация. Средний срок обновления компьютерного оборудования в ЦОД - примерно три года. Инфраструктура ЦОД проектируется с учетом срока эксплуатации порядка 15 лет.

Назначениеи структура ЦОД

В зависимости от назначения современные ЦОД можно разделить на корпоративные, которые работают в рамках конкретной компании, и ЦОД, предоставляющие сервисы сторонним пользователям.

Например, банк может иметь дата-центр, где хранится информация по транзакциям его пользователей, - обычно он не оказывает услуг сторонним пользователям. Даже если ЦОД не предоставляет подобных услуг, он может быть выделен в отдельную организационную структуру компании и оказывать ей услуги по доступу к информационным сервисам на базе SLA. Многие крупные компании имеют ЦОД того или иного вида, а международные компании могут иметь десятки ЦОД.

ЦОД может также использоваться для предоставления услуг профессионального ИТ-аутсорсинга ИТ-решений на коммерческих условиях.

Все системы ЦОД состоят из собственно ИТ-инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС (рис. 1).

Рис. 1. ИТ-инфраструктура современного ЦОД

Рассмотрим организацию серверного комплекса и системы хранения данных.

Серверный комплекс ЦОД

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов (см. рис. 1):

  • ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
  • серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы; например, серверы, выполняющие модули SAP R/3;
  • серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
  • служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Системы хранения данных

Наиболее перспективным решением организации системы хранения данных (СХД) является технология SAN (Storage Area Network), обеспечивающая отказоустойчивый доступ серверов к ресурсам хранения и позволяющая сократить совокупную стоимость владения ИТ-инфраструктурой за счет возможности оптимального онлайнового управления доступа серверов к ресурсам хранения.

СХД состоит из устройств хранения информации, серверов, системы управления и коммуникационной инфраструктуры, обеспечивающей физическую связь между элементами сети хранения данных (рис. 2).

Рис. 2. Система хранения данных на базе технологии SAN

Подобная архитектура позволяет обеспечить бесперебойное и безопасное хранение данных и обмен данными между элементами сети хранения данных.

В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel (FC). Техническую основу сети хранения данных составляют волоконно-оптические соединения, FC-HBA и FC-коммутаторы, в настоящее время обеспечивающие скорость передачи 200 Мбайт/с.

Применение SAN в качестве транспортной основы системы хранения данных дает возможность динамической реконфигурации (добавление новых устройств, изменение конфигураций имеющихся и их обслуживание) без остановки системы, а также обеспечивает быструю перегруппировку устройств в соответствии с изменившимися требованиями и рациональное использование производственных площадей.

Высокая скорость передачи данных по SAN (200 Мбайт/с) позволяет в реальном времени реплицировать изменяющиеся данные в резервный центр или в удаленное хранилище. Удобные средства администрирования SAN дают возможность сократить численность обслуживающего персонала, что снижает стоимость содержания подсистемы хранения данных.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDC, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Проектирование, строительство и эксплуатация ЦОД - весьма сложный и трудоемкий процесс. Существует множество компаний, предлагающих необходимое оборудование - как компьютерное, так и вспомогательное, но для построения индивидуального решения без помощи интеграторов здесь не обойтись. Созданием дата-центров в России занимается целый ряд крупных отечественных системных интеграторов, таких как IBS Croc OpenTechnologies, а также специализированные компании: DataDome, IntelinePro и др.

ЦОД и ИТ-аутсорсинг

По данным IDC, мировой рынок только хостинговых услуг в ЦОД растет очень быстро и к 2009 году составит 22-23 млрд долл.

Наиболее комплексная услуга ИТ-аутсорсинга - это аутсорсинг информационных систем. Он предоставляется по долговременному соглашению, по которому поставщик услуг получает в полное управление всю ИТ-инфраструктуру клиента или ее значительную часть, в том числе оборудование и установленное на нем программное обеспечение. Это проекты с широким вовлечением исполнителя, которые предполагают ответственность за системы, сеть и отдельные приложения, входящие в ИТ-инфраструктуру. Обычно аутсорсинг ИТ-инфраструктуры оформляется долгосрочными контрактами, которые длятся более года.

Для создания собственной ИТ-инфраструктуры с нуля компаниям необходимы большие средства и высокооплачиваемые специалисты. Аренда инфраструктуры дата-центра позволяет снизить TCO за счет разделения ресурсов между клиентами, обеспечивает доступ к новейшим технологиям, дает возможность быстрого развертывания офисов с возможностями наращивания ресурсов. Для многих компаний надежность бесперебойного функционирования оборудования и сетевой инфраструктуры становится сегодня критичным фактором для функционирования бизнеса. Аутсорсинг ИТ-инфраструктуры позволяет обеспечить высокий уровень надежности данных при ограниченной стоимости, предоставляя клиентам возможность аренды серверных стоек и мест в стойке для размещения оборудования заказчика (co-location), аренды выделенного сервера (dedicated server), лицензионного ПО, каналов передачи данных, а также получения технической поддержки.

Заказчик освобождается от множества процедур: технической поддержки и администрирования оборудования, организации круглосуточной охраны помещений, мониторинга сетевых соединений, резервного копирования данных, антивирусного сканирования ПО и т.д.

ЦОД также может оказывать услугу аутсорсингового управления приложениями. Это позволяет заказчикам использовать сертифицированных специалистов, что гарантирует высокий уровень обслуживания программных продуктов и обеспечивает легкий переход с одного ПО на другое при минимальных финансовых затратах.

В режиме аутсорсинга приложений клиенты ЦОД могут получить аутсорсинг почтовых систем, интернет-ресурсов, систем хранения данных или баз данных.

Передавая свои корпоративные системы на аутсорсинг для резервирования, заказчики снижают риск потери критичной информации за счет использования профессиональных систем возобновления работоспособности ИТ-систем, а в случае аварии получают возможность страхования информационных рисков.

Обычно клиентам ЦОД предлагается несколько уровней обеспечения непрерывности бизнеса. В простейшем случае это размещение резервных систем в дата-центре с обеспечением должной защиты. Кроме того, может быть вариант, при котором клиенту также предоставляется аренда программно-аппаратных комплексов для резервирования. Наиболее полный вариант услуги предполагает разработку полномасштабного плана восстановления систем в случае аварии (Disaster Recovery Plan, DRP), который подразумевает аудит информационных систем заказчика, анализ рисков, разработку плана восстановления после аварии, создание и обслуживание резервной копии системы, а также предоставление оборудованного офисного помещения для продолжения работы в случае аварии в основном офисе.

Примеры коммерческих дата-центров

Дата-центры Stack Data Network

Сеть Stack Data Network объединяет три дата-центра, построенных с учетом зарубежного опыта.

Два из них (дата-центр Stack и дата-центр M1) общей емкостью 700 стоек расположены в Москве, а третий (дата-центр PSN) емкостью 100 стоек - в 100 км от столицы.

Существуют партнерские договоренности с рядом европейских дата-центров о возможности использования их ресурсов через Stack Data Network.

Дата-центры Stack Data Network предоставляют услугу обеспечения непрерывности бизнеса - disaster recovery, а также качественный хостинг: услугу collocation - размещение серверов (рис. 3) и услугу dedicated server - выделенный сервер (рис. 4).

Рис. 3. ЦОД Stack: размещение серверов
(server collocation)

Рис. 4. ЦОД Stack: аренда выделенного сервера

Дата-центры обладают системами автономного электропитания с источниками бесперебойного питания и мощными дизель-генераторными установками (рис. 5), системами климат-контроля и кондиционирования (рис. 6), системами круглосуточного мониторинга состояния инфраструктурных элементов и системами газового пожаротушения. Для обеспечения надежности систем жизнеобеспечения все системы зарезервированы по схеме N+1. Особый режим безопасности достигается за счет нескольких периметров доступа с использованием индивидуальных пластиковых магнитных карт, биометрической системы контроля доступа, системы видеонаблюдения и датчиков движения.

Рис. 5. ЦОД Stack: дизель-генератор

Рис. 6. ЦОД Stack: кондиционер Liebert

В сети дата-центров Stack Data Network организована круглосуточная служба эксплуатации (дежурные операторы и специалисты), в том числе по системам жизнеобеспечения. Функционируют системы круглосуточного мониторинга систем жизнеобеспечения, телекоммуникационного и серверного оборудования, сети и состояния каналов связи. Дата-центры соединены с основными телекоммуникационными узлами Москвы и объединены между собой собственными резервированными волоконно-оптическими линиями связи.

Sun Microsystems предлагает новую концепцию «ЦОД в коробке»

Процесс создания традиционных ЦОД весьма затратный и длительный. Для его ускорения компания Sun Microsystems предложила решение, получившее название Blackbox («Черный ящик»).

Система Blackbox монтируется в грузовой контейнер стандартной длины, в который можно упаковать до 120 серверов SunFire T2000 или до 250 серверов SunFire T1000 (в сумме - 2 тыс. ядер) либо до 250 серверов SunFire x64 (тысяча ядер), а также системы хранения, емкость которых может доходить до 1,5 Пбайт на жестких дисках и до 2 Пбайт на лентах. К контейнеру можно подключить до 30 тыс. терминалов Sun Ray.

Система работает под управлением Solaris 10.

Оборудование размещено в контейнере очень плотно, для циркуляции воздуха просто нет места. В связи с этим воздушное охлаждение крайне неэффективно, поэтому применяется водяное охлаждение.

По данным SUN, размещение оборудования внутри грузового контейнера позволяет снизить удельную стоимость вычислительной мощности на единицу площади в пять раз по сравнению с обычным центром обработки данных.

Решение Blackbox, как минимум, на порядок дешевле по сравнению с традиционной организацией ЦОД, при этом оно обеспечивает многократное ускорение процесса инсталляции.

Следует отметить, что такой центр может быть реализован далеко не везде, поскольку не в каждое здание можно внести подобный контейнер. Продажа решения бала начата в этом году.

Дата-центр IBS DataFort

В 2001 году IBS и Cable & Wireless объявили о начале предоставления российским и зарубежным компаниям комплексных услуг по схеме ASP в рамках совместного проекта DATA FORT на базе дата-центра. Чуть позже DATA FORT зажил самостоятельно, а в 2003-м IBS объявила о запуске собственного ДЦ, который принадлежит дочерней компании IBS - IBS DataFort. ЦОД IBS DataFort ориентирован на обслуживание клиентов с критичными требованиями к конфиденциальности и защите данных, обеспечивает высокую степень доступности данных, современные аппаратно-программные средства, надежное энергоснабжение, скоростные каналы передачи данных и высокий уровень технической поддержки. Периметр имеет усиленную охрану (рис. 7).

Рис. 7. Охраняемая территория ЦОД IBS DataFort

Внутри здания находятся технический модуль площадью более 130 кв.м, двухэтажный резервный офис площадью около 150 кв.м, а также операторский пост. Для предотвращения рисков заливов и пожаров технический модуль дата-центра построен из стальных сандвич-панелей и поднят на полметра над уровнем пола (рис. 8).

Рис. 8. Технический модуль дата-центра IBS DataFort

Технический модуль представляет собой пожаробезопасную, сейсмоустойчивую конструкцию, оборудованную высокопрочным фальшполом, системами гидроизоляции и заземления. Модуль рассчитан на 1500 Rack-серверов, размещаемых в 19-дюймовых промышленных стойках АРС.

В дата-центре установлен автоматический комплекс газового пожаротушения, состоящий из оборудования Fire Eater, «Шрак» и ГОС «Инерген», световой и звуковой сигнализации (предупреждающей о пуске газа и требующей покинуть помещения дата-центра), а также эффективной системы дымоудаления (рис. 9).

Рис. 9. Системы пожаротушения дата-центра
IBS DataFort

Система климатического контроля (рис. 10) состоит из промышленных кондиционеров с автоматическим поддержанием заданной температуры в районе 22±0,5 °C и влажности на уровне 50±5 %, включенных по схеме N+1 (при выходе из строя одного из кондиционеров расчетные параметры всей системы не нарушаются). Приток свежего воздуха с улицы осуществляется с помощью специальной установки, препятствующей проникновению пыли внутрь дата-центра.

Рис. 10. Система климатического контроля
дата-центра IBS DataFort

IBS DataFort специализируется на услугах комплексного аутсорсинга ИТ, принимая на себя все функции ИТ-подразделений заказчика, и предлагает следующие виды услуг:

  • аутсорсинг ИТ-инфраструктуры - размещение оборудования заказчика или предоставление в аренду инфраструктуры дата-центра, обеспечение работоспособности корпоративных информационных систем;
  • управление приложениями - квалифицированное администрирование и управление различными приложениями;
  • аутсорсинг ИТ-персонала - предоставление квалифицированных специалистов для решения различных ИТ-задач;
  • обеспечение непрерывности бизнеса - организация отказоустойчивых решений для восстановления информационных систем после аварий и сбоев;
  • ИТ-консалтинг и аудит - услуги аудита и инвентаризации в области ИТ, а также построение промышленных технологий эксплуатации ИТ-систем;
  • функциональный аутсорсинг - управление отдельными ИТ-функциями по оговоренным стандартам и утвержденному уровню сервиса.

Центр обработки данных (ЦОД) – единая многокомпонентная система, которая призвана обеспечивать бесперебойную автоматизированную работу бизнес-процессов . Центры обработки данных создаются в первую очередь для увеличения производительности компаний, активно использующих в своей деятельности информационные технологии, а также для повышения качества предоставляемых услуг.

Для хранения и обработки большого количества информации используются специализированные технические решения, мощные серверы, дисковые хранилища. Создавать и обслуживать такие технические системы самостоятельно достаточно сложно и дорого: содержание серверов требует специальных технических условий, отдельных помещений и квалифицированного персонала. Одним из основных назначений дата центров как раз и является создание подходящих условий для размещения таких технических решений.

Преимущества для бизнеса

Создание многокомпонентных систем, решающих большинство проблем в бизнесе, намного сокращает расходы предприятий. В частности, для компаний с территориально-распределенной инфраструктурой это незаменимое решение, поскольку 1–2 сотрудника, обслуживающих ЦОД , с успехом заменяют множество лиц, работающих в офисах в регионах. Впоследствии многие предприниматели задумались над приобретением центров обработки данных в связи с тем, что потребовалось интегрировать воедино большое количество информации. Риск потерять определенные сведения безвозвратно стал очень велик и обусловил определенные затраты по восстановлению информации. Кроме того, возникли риски по лишению части доходов в связи с простоями по разным причинам. То есть, благодаря своим уникальным особенностям ЦОД обеспечивает эффективную бесперебойную работу любой организации.

Преимущество дата-центра в том, что человек или компания, может, из любой точки планеты, используя любое устройство доступа в сеть, работать с необходимой и достаточной вычислительной мощностью, требуемым объемам памяти, всем необходимым программным обеспечением, которое будет работать и храниться на серверах в дата-центре.

Традиционные услуги в дата-центрах: аренда стойки, размещение серверов, подключение к Интернету, аренда каналов связи, установка, настройка ПО, администрирование. В настоящее время к ним добавились предоставление в аренду вычислительных мощностей, виртуальных серверов, дискового пространства для резервного копирования данных, аренды приложений.

  • Надежность хранения информации. Причем эта надежность подтверждается как заложенной на этапе проектирования архитектурой, так и последующей эксплуатацией. Интересный факт, что при детальном сравнении стоимости владения информационной системой, расположенной на территории заказчика (как правило, это бизнес-центр) и в дата центре, получаются вполне сравнимые цифры, чего нельзя сказать о сравнении надежности этих способов.
  • Уменьшение временных затрат на реализацию новых проектов в сфере IT. При работе в дата-центре компании самостоятельно выбирают услуги, которые они хотят получать. Самыми востребованными остаются аренда стойки, юнита, готового сервера, виртуального сервера и резервное копирование данных. Но помимо этого существует ряд других услуг, которыми компании-арендаторы могут при необходимости воспользоваться, что значительно сэкономит время на запуск нового IT-проекта. Например, это аренда приложений, позволяющая избежать масштабных инвестиций на начальном этапе работы. В качестве примера можно привести аренду 1С бухгалтерии – для развертывания готовой системы, пригодной к работе, достаточно заказать и оплатить такую услугу в дата центре. При этом, зачастую, в офисе заказчика не нужно ничего покупать, устанавливать или настраивать, кроме как доступа в Интернет.
  • Сокращение затрат на аренду помещения. Сюда можно отнести затраты на электричество, офисные площади, используемые под «серверные», и обслуживание собственных систем охлаждения и устройств бесперебойного питания. Кстати, купленная в офис техника становится основными средствами предприятия, на них начисляется налог на имущество.
  • Организация непрерывной работы головного офиса с филиалами компании по всей стране. доступ к рабочей информации независимо от места нахождения сотрудника. Например, руководитель компании может, находясь в отпуске, проверять рабочую почту, связываться со своими сотрудниками через IP-телефонию.
  • Возможность создания резервного офиса организации, если по каким-то причинам работа в основном офисе невозможна, а необходимо получить важную информацию, доделать проект

сокращение затрат на покупку приложений. Для усиления конкурентных позиций собственники дата-центров разрабатывают новый спектр услуг, который можно предлагать арендаторам.

Первыми, кто стал использовать в своей работе центры обработки данных, были крупные зарубежные компании. За ними последовали и российские предприниматели. В РФ в 2000-2001 годах появились первые обладатели ЦОД . Пионером выступил Сбербанк России . Именно он является наиболее территориально-распределенной организацией. То есть потребность в создании интеграции многочисленных данных была высока. В дальнейшем собственными ЦОД обзавелись и крупные нефтяные компании.

Типы центров обработки данных

В зависимости от назначения различают три разных типа дата-центров, каждый из которых рассчитан на определенную модель предприятия и имеет собственные оперативные задачи и проблемы:

  • корпоративные дата-центры;
  • хостинговые дата-центры, предоставляющие компьютерную инфраструктуру как услугу (IaaS);
  • дата-центры, использующие технологию Web 2.0.

Ниже приведены параметры, которые могут значительно отличаться в разных типах дата-центров:

  • тип трафика (внутренний, внешний или смешанный);
  • использование Layer 2 (L2) и/или Layer 3 (L3) для управлення трафиком в центре или на периферии (Top of Rack);
  • технология хранения данных;
  • уровень серверной виртуализации;
  • общий размер центра обработки данных (по количеству серверов).

Создание и модернизация ЦОД

Компоненты ЦОД

Традиционный ЦОД

Обязательные компоненты, входящие в состав ЦОД , можно разделить на три основные группы:

1. Технические компоненты . Они создают условия для эффективной работы центра. К таковым относятся:

  • серверный комплекс, включает серверы информационных ресурсов, приложений, представления информации, а также служебные серверы
  • система хранения данных и резервного копирования – ядро ЦОД. Она состоит из консолидирующих дисковых массивов, сети хранения данных, системы резервного копирования и аварийного восстановления данных
  • сетевая инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и организует каналы связи. Она включает магистрали для связи с операторами общего доступа, телекоммуникации, обеспечивающие связь пользователей с ЦОД
  • инженерная система эксплуатации ЦОД поддерживает условия для нормального функционирования центра. В ее состав входят подсистемы энергообеспечения, климатконтроля, пожарной сигнализации и пожаротушения, передачи данных, а также автоматизированные системы диспетчеризации, управления информационными ресурсами
  • система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она состоит из средств защиты, системы оповещения и системы контроля доступа

2. Программное обеспечение . Это фактически сервисы инфраструктуры ЦОД и ПО для корректной работы бизнес-процессов , необходимых для конкретной организации. К компонентам инфраструктуры относятся:

  • операционные системы серверов;
  • программное обеспечение баз данных;
  • операционные системы рабочих станций;
  • средства кластеризации ;
  • средства резервного копирования;
  • программы устройств хранения данных;
  • средства администрирования серверов и рабочих станций;
  • средства инвентаризации;
  • офисное программное обеспечение;
  • электронная почта;
  • Интернет -браузеры.

К программам, отвечающим за функционирование бизнес процессов, относятся:

  • деловые приложения;
  • базовые корпоративные информационные сервисы;
  • приложения для коллективной работы;
  • отраслевые компоненты;
  • программное обеспечение для решения задач конструкторско-технологического плана системы электронного архива и управления проектами;
  • программы, обеспечивающие сервисы файлов, печати, службы каталогов и других прикладных задач.

3. Организационная среда решает вопросы, связанные с предоставлением IT-услуг. Она должна соответствовать требованиям по оказанию IT-услуг, таким как ISO/IEC 20000. Здесь представлены:

  • процессы оказания услуг, то есть качество и доступность услуг;
  • процессы взаимоотношений между поставщиком и клиентом, а также с подрядными организациями;
  • процессы решения проблем, возникающих при функционировании любого из компонентов системы;
  • процессы управления конфигурациями, мониторинг и контроль статуса IT-инфраструктуры, инвентаризация, верификация и регистрация конфигурационных единиц, сбор и управление документацией, предоставление информации об IT-инфраструктуре для всех других процессов;
  • процессы управления изменениями, то есть определение необходимых изменений и способов их проведения с наименьшим риском для IT-услуг, а также проведение консультаций и координации действий с организацией в целом;
  • процессы релиза, то есть совместного тестирования и введения в активную деятельность организации ряда конфигурационных единиц.

Программный ЦОД

В программном ЦОДе мы все окружение реализуем в виде программных модулей в виртуальных машинах – virtual appliance. Идея состоит в том, что физически используются только серверы и коммутаторы . Все остальное реализуется в виде виртуальных машин – virtual appliance.

В мире сервис-провайдеров эта технология известна и даже стандартизована под названием NFV – Network Function Virtualization – виртуализация сетевых функций. Только там это используется для предоставления сервисов и соответственно очень много внимания уделяется средствам оркестрации и управления, интеграции с OSS системами, что позволяет автоматизировать процесс создания услуг для каждого из абонентов. В корпоративном ЦОД так часто состав услуг менять не надо, уровень автоматизации может быть существенно ниже, но перенос всех сетевых функций в виртуальные машины все равно дает существенные преимущества.

Центры обработки данных ориентированы на решение бизнес-задач путём предоставления услуг в виде информационных сервисов. Современный ЦОД, несмотря на такие относительно новые требования как высокая степень гибкости и масштабируемости, по-прежнему должен, прежде всего, обеспечивать высокую надёжность. Всё, что вы хотели знать о надёжности ЦОДов, но боялись спросить – под катом.

ЦОД: что это такое?

Что такое центр (хранения и) обработки данных (ЦОД)? Современный ЦОД – комплексное решение по управлению информационными системами предприятия. Это совокупность помещений, внешних площадок, инженерного оборудования, образующая единую систему для размещения средств передачи, хранения и обработки информации с заданной степенью доступности . ЦОД включает в себя набор взаимосвязанных программных и аппаратных компонентов, организационных процедур, мест размещения этих компонентов и персонала для безопасной централизованной обработки, хранения и предоставления данных, сервисов и приложений. С системной точки зрения ЦОД – отказоустойчивое, комплексное, централизованное решение, охватывающее информационные и инженерные системы. В обычном представлении центр обработки данных – специализированное здание, где располагается серверное, сетевое оборудование и системы хранения данных, которые размещаются в стандартных стойках.


Оборудование, используемое в ЦОДе, размещается в специальных шкафах и стойках.

Назначение ЦОДа

ЦОД – сложное инженерное сооружение для централизованного размещения и обслуживания информационных систем, компьютерного и телекоммуникационного оборудования, высокотехнологичная площадка, оснащенная системами кондиционирования, бесперебойного питания, пожаротушения, СКС, контроля доступа. Основное назначение центров обработки данных – хранение, обработка и передача критичной для заказчика информации, поэтому в инфраструктуру ЦОДа входит множество сложных и резервируемых инженерных систем высокой надёжности.
Надёжность является главной характеристикой центра обработки данных. Она включает в себя много факторов: надёжность здания, электроснабжения, инженерных систем и коммуникаций, установленного оборудования. Высокая надёжность ЦОДа означает бесперебойное предоставление услуг заказчикам в случае коммерческого центра обработки данных и уверенную работу собственной ИТ-инфраструктуры компании, эксплуатирующей корпоративный ЦОД.

ЦОД обеспечивает доступ к информации предприятия, управление его информационными системами, организацию хранения и обработки данных. Как единая многокомпонентная система с консолидированным централизованным хранением и обработкой данных ЦОД, прежде всего, призван гарантировать бесперебойное автоматизированное функционирование бизнес-процессов.

К основным задачам ЦОДа, в первую очередь, относятся эффективное консолидированное хранение и обработка данных, предоставление пользователям прикладных сервисов, а также поддержка функционирования корпоративных приложений. Центры обработки данных создаются, в первую очередь, для повышения эффективности работы компаний, активно использующих в своей деятельности информационные технологии, повышения качества предоставляемых услуг. Они дают возможность надежно хранить важную информацию на протяжении всего ее жизненного цикла.

Состав и структура ЦОД

Любой ЦОД состоит из трех технологических блоков: информационного (отвечающего за обработку и хранение информации), телекоммуникационного (обеспечивающего взаимосвязь элементов центра и передача данных) и инженерного (сюда входят бесперебойное электроснабжение, поддержание температуры и влажности в помещении, системы пожаротушения). Таким образом, элементы ЦОДа включают в себя информационную, сетевую, инженерную инфраструктуру, а также системы мониторинга/управления и обеспечения безопасности.


Основными элементами ЦОДа являются системы обработки и хранения данных, активное сетевое оборудование, инженерные системы. В нем размещаются вычислительные платформы и СХД, система передачи данных, система электроснабжения и электроосвещения, система прецизионного кондиционирования, структурированная кабельная система, система кабельных каналов, фальшпол, подвесной потолок, интегрированная система безопасности, средства физической защита вычислительных систем и телекоммуникационного оборудования, системы раннего обнаружения пожара и газового пожаротушения.

В состав информационной инфраструктуры входят серверный комплекс, системы хранения данных и резервного копирования. Сетевая и телекоммуникационная инфраструктура обеспечивает взаимодействие между серверами, объединяет логические уровни и образует каналы связи, в том числе магистральные соединения с операторами связи и каналы, обеспечивающие доступ пользователей к ресурсам центра обработки данных. Телекоммуникационная инфраструктура позволяет осуществлять взаимосвязь элементов ЦОДа, взаимодействие между ЦОДом и пользователями.


Структура ЦОД.

Инженерная инфраструктура обеспечивает нормальное функционирование основных систем ЦОДа. Она включает в себя подсистемы контроля климата и кондиционирования, энергообеспечения, пожарной сигнализации и пожаротушения.


Сетевая инфраструктура (СКС) обеспечивает взаимодействие между серверами, а также включает в себя магистральные каналы для связи с операторами и коммуникации для связи пользователей с ЦОДом.

Автоматизированные системы мониторинга, диспетчеризации и управления информационными ресурсами – необходимый элемент повышения надёжности ЦОДа, уменьшения негативного влияния «человеческого фактора». Система безопасности предотвращает несанкционированное вторжение в зоны конфиденциальной информации. Она включает в себя средства защиты, оповещения и контроля доступа. Часто для предотвращения несанкционированного проникновения в ЦОД (физическая безопасность) устанавливаются камеры видеонаблюдения.

Надёжность ЦОДа

Основная функция современных ЦОДов – это повышение надёжности обработки и хранения информации. Одним из главных критериев оценки качества работы любого ЦОД является время доступности информационных систем. ЦОД должен обеспечивать безопасность бизнеса и минимизировать риски простоя, отвечая следующим требованиям:
  • Отказоустойчивость. Это свойство технической системы сохранять свою работоспособность после отказа одного или нескольких составных компонентов.
  • Высокая доступность. Это свойство системы определяет её надёжность, возможность выполнять требуемую функцию при заданных условиях в данный момент времени или в течение заданного интервала времени при соблюдении определенного набора условий.
  • Непрерывность бизнеса. Она включает в себя процессы и методы, направленные на обеспечение безостановочного выполнение критичных бизнес-функций.
  • Катастрофоустойчивость. Это способность к восстановлению после катастрофы т.е. устойчивость к воздействию аварий и природных катаклизмов.
Эти первоочередные требования определяются стоимостью простоя и стоимостью обеспечения доступности приложений и данных. То есть требования бизнеса – стоимость решения, время восстановления приложений и данных после отказа – определяют соответствующие технические требования к подсистемам ЦОД, в числе которых их избыточность, производительность, пропускная способность, емкость и целостность данных.

Надёжность ЦОД обычно включает в себя такие составляющие как правильно выбранное помещение, наличие отлаженной системы бесперебойного гарантированного энергоснабжения, грамотной системы вентиляции и кондиционирования, водоснабжения и водоотвода, а также правильное построение телекоммуникационных систем. Критичным для пользователя остается обеспечение комплексной безопасности центра обработки данных – контроля доступа, охранной и пожарной сигнализации, пожаротушения. Все большее значение приобретают аспекты катастрофоустойчивости, наличия резервной площадки.

При проектировании современных центров обработки данных, помимо исключительной надёжности, отказоустойчивости и работоспособности, к системам предъявляется целый ряд дополнительных требований, таких как управляемость, ремонтопригодность, низкая совокупная стоимость владения, масштабируемость, адаптируемость к изменениям и безопасность. Поэтому ЦОД обычно проектируется как комплексное решение, тесно интегрированное как со службами эксплуатации здания, так и с ИТ-инфраструктурой предприятия. Модульность и стандартизация позволяет всему комплексу развиваться, адаптироваться к меняющимся условиям и нагрузкам.

ЦОД обеспечивает гарантированное бесперебойное питание размещаемого оборудования даже при отказе внешнего энергоснабжения, выполнение требований по климатическим параметрам (температура, влажность) и безопасности (физической и информационной). Как правило, для высокой доступности ЦОД подключают к нескольким (каналам различных операторов связи или узлам корпоративной сети. Качество и ширина каналов влияют на уровень предоставляемых услуг.

Основная характеристика ЦОДа – уровень его надёжности. По стандарту TIA-942 выделяют четыре уровня надёжности:

Tier I (N) - без резервирования. Доступность 99,71%. Это самый ненадежный ЦОД, в котором в случаи возникновения неполадок и отказа оборудования либо при начале ремонтных работ происходит остановка все центра обмена данными. Более того в таком ЦОДе нет фальшполов и дополнительных источников питания, а инженерная инфраструктура не зарезервирована.

Tier II (N+1) - резервирование критических узлов. Доступность 99,741%. В этом случае есть некий уровень резервирования, в таком ЦОДе присутствуют фальшполы и дополнительные источники питания, но в случае начала ремонтных работ ЦОД приостановит свою работу.

Tier III (N+1) - резервирование критических узлов, путей получения электроэнергии и трасс доставки хладоносителя. При этом есть возможность вывода любого узла из эксплуатации для его обслуживания с сохранением полной функциональности объекта в целом. Доступность 99,982%. В таких ЦОДах есть возможность проведения ремонтных работ без прекращения работы центра обработки данных. Инженерные системы однократно зарезервированы и существует несколько каналов служащих для распределения электропитания и охлаждения, но постоянно работает лишь один из них.

Tier IV (2(N+1)) - это самый отказоустойчивый уровень, где допускается одна авария (а не плановый вывод узла из эксплуатации) в один момент времени. Доступность составляет 99,995%, что означает простой в течение всего 26 минут в год. В ЦОДах такого типа возможно проведение всех видов работ без остановки его работы. Инженерные системы зарезервированы двукратно, продублирована основная и дополнительная система.


Четыре уровня отказоустойчивости ЦОДа.

По оценкам экспертов, ЦОД с полным резервированием обычно обходится в 2,5 раза дороже простого ЦОД, поэтому крайне важно еще на уровне предпроектной подготовки определиться, какой категории должна соответствовать площадка. Как недооценка, так и переоценка важности параметра допустимого времени простоя одинаково негативно сказываются на бюджете компании. Ведь финансовые потери возможны либо из-за простоя и сбоев в работе критически важных систем, либо из-за нерациональных инвестиций.

Другие характеристики

Главная характеристика ЦОДа – отказоустойчивость, но не менее важными являются стоимость эксплуатации, показатель расхода электроэнергии и энергоэффективности (PUE). При определении требований к ЦОДу необходимо учитывать тенденции развития информационных систем и телекоммуникаций, предусмотреть варианты расширения мощностей ЦОДу в соответствии с планами развития предприятия.

Требования к площадям и пространству ЦОДа определяются наряду с общей производительностью и емкостью ИТ-систем также такими факторами, как расчетный отвод тепла и необходимый уровень резервирования для обеспечения отказоустойчивости. Важный параметр – энергопотребление основного оборудования. Например, при проектировании нового ЦОДа рекомендуют ориентироваться не на 5−6 кВт на стойку, а на подведение 10−15 кВт. Мощность источников бесперебойного питания выбирается в зависимости от энергопотребления основного оборудования.

Подводимая к ЦОДу должна составлять примерно 250% от мощности, потребляемой ИТ-системами. Наряду с ИТ ее потребляют системы кондиционирования и электропитания, а также системы освещения, вентиляции, пожаротушения, контроля доступа, видеонаблюдения.
Размеры и общий вес стоек определяют требования к минимальной нагрузочной способности перекрытий и фальшпола, а состав и производительность информационных систем – к кабельным системам и внешним кабельным вводам для каналов связи. На основании емкости и типов размещаемого оборудования, а также необходимых уровней обслуживания составляются требования к вспомогательным помещениям.
Требования к ЦОДу также определяются особенностями эксплуатации прикладных систем и необходимостью выделения ИТ-ресурсов, законодательными актами государственных регуляторов хозяйственной деятельности. В целом они зависят от потребностей бизнеса и решаемых бизнес-задач, однако есть и общие требования, определяемые стандартами.

Классификация ЦОДов

Центры обработки данных можно разделить на несколько видов, которые зависят от некоторых параметров. По целям использования обычно выделяют два вида ЦОД: корпоративный и коммерческий (КЦОД). Целью создания корпоративного ЦОД является автоматизация бизнес-процессов, хранение и обработке информации компании или организации. Главная задача коммерческого ЦОДа – получение прибыли от сдачи площадей в аренду, предоставления услуг и сервисов.

По своему назначению в информационной инфраструктуре ЦОД может быть основным или резервным. Последний необходим для замены основного в случае непредвиденных происшествий либо профилактических работ.

ЦОДы можно также разделить на несколько типов по размерам. Крупные ЦОДы имеют собственное здание, которое создано или выбрано в соответствии с предъявляемыми к центру обработки данных требованиями. Средние ЦОДы, как правило, арендуют помещение необходимого размера, а также каналы определенной пропускной способностью. Малые ЦОДы и серверные вовсе не обязательно располагаются в плохо приспособленных для этого помещениях, а перечень услуг представлен по минимуму. В последние годы становятся популярными высокотехнологичные контейнерные ЦОДы – специально спроектированные и быстро развертываемые модульные решения. Наконец, ЦОДы классифицируются по уровням надёжности – упомянутым выше Tier I-IV.

Существует несколько типов коммерческого использования ЦОДов. Первый - виртуальный хостинг, подразумевающий аренду части дискового пространства, процессорного времени и оперативной памяти (один физический сервер делится между множеством клиентов). Второй - выделенный хостинг - аналогичная схема, но с гарантированными ресурсами. Третий - размещение сервера и другого оборудования клиента в помещении центра (co-location).

Стандарты ЦОДов

Есть два основных документа, которые чаще всего упоминаются при обсуждении стандартов центров обработки данных: это стандарт TIA 942 и классификация по уровням от Uptime Institute. Оба этих документа регламентируют уровни надёжности (Tier), что часто приводит к путанице: например, Tier III по TIA 942 и Tier III по Uptime Institute - это две большие разницы.

Стандарт ANSI/TIA/EIA-942 регламентирует требования к расположению центров обработки данных, к внешней инфраструктуре, телекоммуникационному пространству внутри центра данных, к кабельной системе и кабельным каналам ЦОДа, к его инфраструктуре в зависимости от требуемого уровня надёжности ЦОДа. ЦОДы I и II класса могут занимать часть какого-либо помещения, а объекты III и IV класса размещаются только в отдельных зданиях. Всего EIA/TIA-942 описывает до 200 различных параметров ЦОДа.

Стандарт TIA 942 (Telecommunications Industry Association - Telecommunications Infrastructure Standard for Data Centers) разработан ассоциацией телекоммуникационной промышленности США и, в первую очередь, касается вопросов организации структурированных кабельных систем в ЦОДе и отказоустойчивости и других инженерных подсистем. Он носит рекомендательный характер. Разработанный Uptime Institute документ – не стандарт, а скорее методология нормирования отказоустойчивости ЦОДа. В нем сформулированы основные принципы проектирования и подходы. Сертифицируется как проект (Tier Certification of Design Documents), так и работающая площадка (Tier Certification of Constructed Facility) и её эксплуатация (Operational Sustainability Certification). Сертификация осуществляется только самим Uptime Institute.

Хотя по сути эти уровни схожи, принципы оценки значительно различаются. Uptime Institute проверяет полученный результат – как работает построенный ЦОД, а не строгое соответствие документам. В России нет единого стандарта, однако ЦОДы ориентируются на требования, разработанные для сооружений связи, на TIA-942, а также на ГОСТы. Существует также относительно новый стандарт BICSI 002 2010 Data Center Design and Implementation Best Practices, который появился в 2010 году и был обновлен в 2011 году. Он создан с целью дополнения уже существующих стандартов. Близок к завершению и европейский стандарт EN 50173-5, на основе которого в будущем предполагается сформировать соответствующий российский ГОСТ.

ЦОДы SAFEDATA

Центры обработки данных – основное направление деятельности SAFEDATA , оператора собственной распределенной сети ЦОДов и поставщика услуг ИТ-аутсорсинга. Группа SAFEDATA, в состав которой сегодня входят Центр Хранения Данных, Центр Технологий Виртуализации, оператор CDN компания NGENIX и оператор площадки обмена трафиком MСК-IX, владеет сетью ЦОДов, построенных в соответствии с требованиями международных стандартов TIA-942 (Tier III).

По данным iKS-Consulting, структуры «Ростелекома» в 2015 году займут 12,5% российского рынка ЦОДов. Сейчас госкомпания запустила 3081 стойку, включая ЦОДы ММТС-9 и SAFEDATA. На конец 2014 года доход ее ЦОДов оценивается в 1,67 млрд руб.

ЦОДы SAFEDATA - современные и энергоэффективные инженерные решения. Они спроектированы так, что смогут функционировать практически в любых условиях. ЦОД SAFEDATA Москва-I общей площадью более 2000 кв.м расположен в Остаповском проезде.


ЦОД Москва-I начал свою работу в сентябре 2007 года. С момента запуска ЦОДа не было зафиксировано ни одной аварийной остановки.


Инфраструктура ЦОДа, рассчитанного на 500 стоек, построена в соответствии со стандартом TIA-942.


Питается этот ЦОД мощностью 4 МВт напрямую от ТЭЦ-8 Мосэнерго. ЦОД обеспечивает бесперебойное электропитание категории 1, имеет независимые энерговводы, резервированные дизель-генераторные установки. Для бесперебойной работы ЦОДа задействованы четыре ДГУ FG Wilson мощностью 1250 кВА каждая, и четыре ИБП мощностью 800 кВА. ДГУ автоматически запускается при пропадании напряжения от трансформаторной подстанции и работает до 8 часов без дозаправки топливом.


ЦОД имеет ВОЛС до ММТС-9, ММТС-10, а клиентам предоставляется возможность ввода собственной ВОЛС.


Работа системы энергоснабжения круглосуточно контролируется сотрудниками SAFEDATA.

В ЦОДе Москва-I установлены прецизионные шкафные кондиционеры, работающие по схеме (N+1), холодопроизводительностью 100 кВт каждый. Система прецизионного кондиционирования построена на базе шкафных кондиционеров Hiref и холодильных машин Geoclima. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола - в «холодные» коридоры.


На крыше здания расположены внешние конденсаторные блоки Guntner, соединенные с кондиционерами двумя независимыми трассами.

На открытых технологических площадках ЦОДа установлены два чиллера с технологией естественного охлаждения (free cooling) по 700 кВт холодопроизводительности, а также две холодильные машины с технологией Turbocool. Суммарная холодопроизводительность двух контуров независимой системы охлаждения ЦОДа доведена до 2600 кВт. В качестве хладагента используется 40% раствор этиленгликоля. ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 227.

ЦОД Москва-II , расположенный по адресу пл. Академика Курчатова, д.1, стр.19, построен в рамках сотрудничества с Российским Научным Центром «Курчатовский Институт».


ЦОД Москва-II общей площадью 3500 кв.м. построен в соответствии со стандартом TIA-942 (Tier III) и введен в эксплуатацию в 2014 году.


Он рассчитан на 900 стоек, а выделенная электрическая мощность составляет 10 МВт.

Как и Москва-I, данный ЦОД предусматривает собственные ВОЛС до ММТС-9 и ММТС-10, а крупным клиентам предоставляется возможность ввода собственной ВОЛС.


ЦОД имеет бесперебойное электропитание категории 1, независимые энерговводы, дублированные дизель-роторными источниками бесперебойного питания. Он оснащен восемью дизель-роторными источниками бесперебойного питания Hitec Power Protection мощностью 1680 кВА каждый, зарезервированными по схеме N+1.

Специальная резервная емкость обеспечивает время автономной работы всей системы дизель-роторных ИБП не менее 20 часов (оперативная доставка дизельного топлива гарантирует бесперебойную работу ЦОДа даже при долговременном отсутствии питания городской электросети).

Поддержание требуемых климатических параметров осуществляется с помощью прецизионных кондиционеров Hiref. В ЦОДе Москва-II установлены несколько десятков прецизионных шкафных кондиционеров, работающих по схеме (N+1), холодопроизводительностью 100 кВт каждый. Вся система кондиционирования зарезервирована по схеме N+1 для каждого машинного зала. От кондиционеров охлажденный воздух подается под фальшпол и далее, через перфорированные плитки фальшпола в «холодные» коридоры.


ЦОД оборудован системами автоматического газового пожаротушения (АГПТ) на основе газовой смеси Хладон 125. В состав АГПТ входят световая и звуковая сигнализация, предупреждающая о пуске газа, которая интегрирована с системой охлаждения для отключения кондиционирующего оборудования в случае аварии, и системой разграничения физического доступа.


Система безопасности и ограничения доступа ЦОДов Москва-I и Москва-II организована на нескольких уровнях и включает в себя охраняемую территорию, организационные процедуры контроля доступа в ЦОД, систему разграничения физического доступа на базе «proximity»-карт, систему видеонаблюдения внутри, снаружи ЦОДа и в каждом модуле с тридцатидневным архивированием записей. По желанию заказчика могут быть установлены дополнительные средства безопасности.

Главное свойство современного ЦОДа - надёжность. Он не останавливается даже при авариях в энергосистемах города. Вышедшее из строя оборудование и каналы связи подменяют резервные системы. ЦОДам SAFEDATA не помешают нештатные ситуации – на случай любого бедствия есть ответ.

Теги: Добавить метки

Рядовой потребитель услуг хостинг компании не имеет никакого отношения и никак не взаимодействует с дата-центом, который использует хостер. Однако надежность работы хостера непосредственно связана с качеством и надежностью дата-центра. Образуется такая незримая связь, вы не видите дата-центр, не знаете, где он находится, а работа ваших ресурсов зависит от работы дата-центров, не меньше, чем профессионализм сотрудников хостинг компании.

Что такое дата-центр и почему одной из основных характеристик надежного хостинга является надежность используемого им дата-центра.

Что такое дата-центр, иначе ЦОД

Дата-центр или центр обработки данных (ЦОД) это специально оборудованное здание, реже помещение, которое специально создано для установки в нем специального серверного оборудования с целью хранения данных и подключение к каналам Интернет сети.

По сути, ЦОД это помещение, в котором установлены компьютерные стойки (сервера), подключенные к Интернет. Каждая такая стойка или набор стоек сдается в аренду, тем самым хостинг компаниям, которые «дробят» её на более мелкие части и сдают в аренду пользователям в виде услуг шаред хостинга или виртуального сервера.

Первое замечание по надежности. По описанной выше схеме становится понятно, что более надежны хостинг компании, у которых свой дата-цент, а не арендованная стойка. Правда нужно заметить, что хостинг компания может не арендовать оборудование в чужом дата-центре, а купить его, что тоже хорошо.

Второе замечание по надежности. Хочу заметить, что практически можно создать дата-центр в подвале или квартире. Это будут всё те же компьютерные стойки. Вопрос в другом, могут ли они обеспечить надежную работу или нет.

Пример «подвального» дата-центра

Поэтому, при выборе хостинг компании нужно интересоваться, каким дата-центром пользуется хостинг и на каких условиях.

Основным критерием качества дата-центров была и остается его доступность в промежуток времени (uptime), то есть время непрерывной работы за контрольный промежуток времени. Хороший аптайм ЦОД () обеспечивает его инженерное оборудование.

Инженерное оборудование дата центра


Пример ДОЦ, дата центра в работе

Обязательным составляющими инженерного оборудования ДЦ являются:

  • Энергоснабжение;
  • Резервное электропитание;
  • Система кондиционирования;
  • Система пожаротушения;
  • Система ограничения доступа.

Для информации приведу пример надежного инженерного оборудования одного из ДЦ.

  • Выделенная мощность на два независимых ввода для нагрузки 4 МВт;
  • Надежность энергоснабжения 1-го класса;
  • Четыре источника бесперебойного питания (ИБП) по 800 кВА;
  • Четыре ДГУ (дизельные генераторные установки) по 1250 кВА. Автономная работа каждой ДГУ без дополнительной заправки 8 часов;
  • Автоматическое и распределительное электрооборудование импортного производства;
  • Установлены прецизионные кондиционеры шкафного типа, производительностью по 100 кВт. Микроклимат 20±1°C. Идеален, для работы серверов.

Как видите, хоть это и не всё инженерное обеспечение хорошего дата-центра, надежный дата-центр «на коленке» не соберешь.

Расположение дата центра

При выборе хостинга есть простое правило: Дата-центр вашего хостера должен быть ближе к вашим клиентам.

Классификация дата-центра по надежности

Общий показатель безотказной работы дата-центра, включая все инженерные показатели и показатели надежности серверного оборудования регламентируются стандартами. Основной из них, стандарт TIA-942. По нему, классифицируют четыре уровня надежности дата-центров: Tier 1; Tier 2; Tier 3; Tier 4.

Tier 1. Первый уровень надежности

  • Инфраструктура дата-центров без резервирования. Подходит для агентств недвижимости, туристических компаний, юридических контор и т.п.
  • Время отключения в год не более 28,8 часов. Uptime 99,671%.
  • Класс оборудования (N)

Tier 2. Второй уровень надежности

  • Есть система резервирования, основная и резервная системы электропитания, система охлаждения с резервом мощности. Подходит для ведомственных и образовательных организаций.
  • Время отключения в год не более 22 часа. Uptime 99,749%.
  • Класс оборудования (N+)

Tier 3. Третий уровень надежности

  • Все инженерные системы имеют резервные замены. Технические работы и обслуживание, ремонт проводятся без отключения оборудования. Подходят для крупных банков, финансовых организаций, электронных торгов и другой круглосуточной работы с клиентами.
  • Время отключения в год не более 1,6 часа. Uptime 99,982%.
  • Класс оборудования (N+)

Tier 4. Четвертый уровень надежности

  • Полная устойчивость к отказам, выдерживают
    пожар и взрыв. Подходит для, военных, торговли ценными бумагами, расчетных центров.
  • Время отключения в год не более 40 минут. Uptime 99,995

Нормативные документы по инженерным системам ЦОД

  • ПУЭ: Для систем электропитания оборудования в ДЦ;
  • СНиП 2.04.05-86: Промышленная система кондиционирования и вентиляции;
  • ГОСТ 12.4.124-83, СанПиН 2.2.2.542, СН-2152-80 -96: электростатическая защита помещения;
  • ГОСТ 12.1.004-76.ССБТ: Система автоматического газо- и пожаротушения.

Стремительное развитие современных технологий приводит к неизбежному росту автоматизации большинства процессов не только на предприятиях различного уровня, но и в быту. С повышением уровня технологий ускоряются процессы обмена данными между различными субъектами. Появляется необходимость в специальных автоматизированных центрах, где вся информация будет надежно и упорядоченно храниться и обрабатываться. Лучшим решением в этом вопросе являются ЦОДы (центры обработки данных), которые постепенно становятся неотъемлемой частью инфраструктуры любого предприятия.

Назначение и виды ЦОД

Центры обработки данных - это сложная система, которая включает в себя целый комплекс IT решений, высокотехнологичного оборудования и инженерных конструкций. Основная задача такого центра заключается в быстрой обработке любого объема данных, хранении информации и ее выдаче в стандартизированном виде пользователю. Фактически ядром центра являются мощные серверные станции, снабженные необходимым программным обеспечением, системами охлаждения и безопасности.

Существуют две основные разновидности таких центров:

  • коммерческого типа. Это целые комплексы, которые сооружают для последующей аренды вычислительных мощностей. Они отличаются высокой производительностью и максимальной скоростью обмена данными. Пользователь, воспользовавшись такой услугой, получает виртуальный ЦОД, который фактически может находиться в другом городе или даже стране. Преимущества такого варианта очевидны - пользователь может самостоятельно настроить конфигурацию системы по определенным параметрам, управление происходит дистанционно, не нужно затрачивать средства на строительство и обслуживание собственного ЦОДа;

  • внутренние (корпоративные). Центры, которые устанавливаются в рамках конкретного предприятия. Они предназначены только для внутреннего корпоративного пользования. Несмотря на затраты, связанные с созданием и вводом в эксплуатацию такого центра, главное его преимущество заключается в прямом управлении всей системой. Компания не зависит от стороннего владельца оборудования (поставщика услуг) и сможет более эффективно обеспечить безопасность данных и сохранность коммерческой тайны. В случае выхода из строя определенных систем процесс их восстановления пройдет гораздо быстрее. Не стоит забывать, что предприятие, которое владеет собственным ЦОД, может обеспечить автономную работу оборудования на случай с перебоями в сети электроснабжения и максимально быстро реагировать на различные внештатные ситуации.

Мобильный и модульные ЦОД

Отдельно стоит рассмотреть мобильный ЦОД, который представляет собой готовое решение для небольших компаний. Преимущества очевидны - не нужно проектировать специальное помещение для стационарного дата-центра, учитывать специфику оборудования, температурный режим и другие факторы. Некоторые производители мирового уровня занялись разработкой таких центров и достигли большого успеха.

Конструктивно система представляет собой определенное количество унифицированных модулей, которые легко объединяются в полноценный автономный комплекс и быстро настраиваются. Модульный ЦОД - это наиболее рациональный и простой способ для многих компаний среднего уровня. Еще одно преимущество такого центра - на его создание и ввод в эксплуатацию уходит существенно меньше времени, чем на стационарную конструкцию.

Такие комплексные решения получили широкое распространение на предприятиях различной сферы деятельности. В первую очередь речь идет об организациях и компаниях, для которых ключевым полем деятельности является быстрый обмен данными. Это различные банковские системы, государственные и коммерческие телекоммуникационные организации, IT компании, call-центры, аварийно-диспетчерские службы.

Правильно обработанная информация, которая оперативно подана, играет первостепенную роль в работе таких компаний. Важным критерием являются также возможные потери прибыли в случае неправильной или слишком медленной обработки данных. Поэтому для крупных организаций такие центры снабжаются новейшим технологическим оборудованием и программным обеспечением.

Что важно знать при выборе ЦОД?

От надежности и скорости обработки информации во многих компаниях зависит построение рабочего процесса и уровень оказания услуг клиентам.

Ключевые требования к ЦОД следующие:

  • автономная работа;
  • высокий уровень надежности;
  • защита данных;
  • безотказность;
  • высокая производительность, вне зависимости от того, будет это облачный ЦОД (виртуальный) или внутренний корпоративный вариант;
  • большой объем для хранения информации;
  • возможность расширения и модернизации (закладывается на ближайшие 5-7 лет с учетом прогнозируемого роста компании и развития технологий).

Центры обработки данных в России, который соответствует этим критериям, - лучшее решение для отечественных компаний профильной сферы деятельности. Для большинства заказчиков очень важно совокупное соотношение требований к стоимости. Сегодня Центры данных в РФ в связи с кризисом в экономике уже не настолько востребованы, как 10 лет назад, и такая тенденция прослеживается во всем мире. Крупные компании понимают важность таких центров, но при выборе оборудования ориентируются в первую очередь на стоимость, а не на новейшие технологии и расширенные возможности.

Ключевые элементы центров данных

Структура центров обработки данных включает в себя целый ряд компонентов и подсистем, без которых оперативная обработка информации и хранение данных невозможны.

Система включает в себя следующие блоки:

  • IT-инфраструктура ЦД;
  • инженерные системы различного уровня сложности;
  • комплексный подход к безопасности;
  • управление и мониторинг.

Чтобы более подробно разобраться в структуре, следует рассмотреть основные блоки более внимательно.

IT составляющая ЦОД;

Первый блок представляет собой комплекс высокотехнологичного оборудования, который объединен в общую систему.

Это своеобразное ядро любого современного ЦОДа, которое состоит из:

  • серверного оборудования;
  • системы передачи, обработки и хранения данных.

Чтобы повысить эффективность сервера, многие известные компании разрабатывают новые продукты: программное обеспечение, технологии виртуальной реальности и готовые комплексные решения на основе использования блэйд-серверов. Это одно из наиболее востребованных направлений в специализированной IT сфере. Новые разработки позволяют существенно увеличить производительность оборудования, улучшить энергоэффективность, уменьшить расходы на содержание и максимально оптимизировать рабочие процессы.

Инженерные решения в ЦОД

Чтобы обеспечить бесперебойную работу мощного высокотехнологичного оборудования, необходимо создать эффективную инженерную систему.

Основные инженерные системы ЦОД относятся к двум категориям:

  • электроснабжение. Специальное оборудование должно обеспечивать не только бесперебойную подачу электричества к оборудованию, но и в случае аварий на ЛЭП перейти на автономное питание. Для осуществления этого используют различные источники бесперебойного питания и дополнительные генераторы. Очень важно, чтобы напряжение и частота тока соответствовали необходимым параметрам и в сети не было перебоев и резких скачков. Такие перепады негативно воздействуют на серверное оборудование и могут привести к его выходу из строя;
  • охлаждение. Мощные серверы во время работы выделяют огромное количество тепла, которое отводится при помощи специальных встроенных радиаторов. Это не решает проблему целиком, так как серверные станции находятся в отдельных закрытых помещениях. Чтобы обеспечить надежное охлаждение, используют различные системы кондиционирования, которые работают в автоматическом режиме, обеспечивая оптимальную температуру в помещении и препятствуя перегреву оборудования. Используя новые технологии в области кондиционирования (инверторные компрессоры, высокоточные тепловые датчики), можно добиться уменьшения затрат потребляемой электроэнергии на 10-15%.

Безопасность центров обработки данных

Одна из важнейших составляющих работоспособности любого ЦОД - это правильно разработанная система безопасности. Для того чтобы обеспечить сохранность данных и предотвратить доступ к ним посторонних лиц через Интернет, компании используют новейшее антивирусное ПО и другие программы защиты данных. Чтобы предотвратить проникновение посторонних лиц, разрабатывается и внедряется система допуска определенной категории сотрудников, методы противодействия взлому и физическому проникновению к оборудованию, видеонаблюдение, противопожарная система. Комплексный подход к безопасности обеспечивает сохранность важной информации.

Мониторинг ЦОД

Комплексный подход к управлению и мониторингу является важной составляющей любого современного ЦОДа. Такие системы в автоматическом режиме контролируют работоспособность всего оборудования и параметры окружающей среды (температура, влажность, напряжение и частота тока). Неотъемлемой частью мониторинга являются системы прогнозирования вероятного отказа оборудования и раннего оповещения.

Отдельное место занимает диспетчеризация - это важная составляющая рабочего процесса, которая позволяет организовать информирование персонала о внештатной ситуации при помощи современных технологий связи (отправка данных на электронный адрес, возможность автоматического дозвона абонентам определенной группы или короткие СМС сообщения). Комплексный подход существенно снижает риск возникновения аварийных ситуаций, а в случае наступления форс-мажора обеспечивает максимально эффективную методику борьбы и восстановление поврежденных участков системы.

Центры обработки данных на выставке «Связь»

На территории ЦВК «Экспоцентр» пройдет важное мероприятие - выставка Связь. Большая экспозиция будет посвящена вопросам оперативной обработки данных и безопасному хранению информации. Это событие международного уровня, где ведущие мировые производители специализированного оборудования и программного обеспечения продемонстрируют свои последние разработки в этой сфере.

Все желающие могут узнать самые актуальные новости о ЦОД, ознакомиться с системами проектирования, новыми мобильными и стационарными комплексами. Отдельное внимание будет уделено безопасности и необходимому оборудованию для обеспечения охлаждения, вентиляции и бесперебойного электроснабжения центров обработки данных. Это важное событие для всех специалистов в данной отрасли и руководителей компаний, которые хотят модернизировать свое предприятие, используя современные технологии и новейшее оборудование для хранения, передачи и обработки данных.