В современных условиях комплексная система безопасности должна не только решать основные задачи безопасности - обеспечения защиты от пожара и защиты от проникновения посторонних, но и способствовать повышению трудовой дисциплины, автоматизировать кадровый учет.
Одним из важнейших компонентов ЦОД является система технической безопасности. Дорогостоящее оборудование должно быть надежно защищено от несанкционированного проникновения, от возникновения пожара. Обслуживающий персонал ЦОД должен быть защищен от пожара, непредвиденных внештатных ситуаций. Комплексная система безопасности ЦОД объединяет в себе систему видеонаблюдения (СВН), систему контроля и управления доступом (СКУД), систему охранной сигнализации (СОС), систему голосового оповещения (СГО) о пожаре и систему пожарной сигнализации (СПС), интегрированную с системой газового, либо порошкового пожаротушения (ГПТ).

Для обеспечения безопасности персонала ЦОД, в здании установлена автоматическая система светозвукового оповещения о пожаре, которая, в случае возгорания и получения информации от системы пожарной сигнализации, будет передавать звуковые сигналы при помощи сирен, установленных в помещении здания, и указывать эвакуационные выходы при помощи световых табло «Выход».
При проектировании и создании системы пожарной сигнализации, входящей в состав комплексной системы безопасности, используется в основном оборудование и технологии компании НВП «БОЛИД». Информация с дымовых и ручных пожарных извещателей поступает на панель управления пожарной сигнализации. Установленное в системе сигнализации программное обеспечение организует автоматическую работу системы в случаях задымления или возгорания в помещениях, которые контролирует система безопасности.
В частности, при поступлении тревоги от любого извещателя системы, прибор пожарной сигнализации подает команду на включение системы оповещения о пожаре, отключает систему вентиляции и открывает двери, которые оборудованы системой контроля и управления доступом. В случае поступления тревожной информации от системы пожаротушения, прибор пожарной сигнализации будет отрабатывать ту же самую последовательность действий.

Для контроля и фиксации событий на территории ЦОД комплексная система безопасности использует возможности системы видеонаблюдения, которая позволяет сотрудникам службы безопасности осуществлять дистанционный визуальный контроль над всеми зонами объекта, а также записывать и хранить всю видеоинформацию. Цифровые системы видеонаблюдения - самый эффективный метод охраны. Автоматическая система видео наблюдения работает одинаково эффективно в любое время суток, регистрируя все внештатные ситуации. Архивирование данных производится в папки с указанием даты и времени записи. При просмотре видеозаписи пользователь получает полную картину событий, происходящих в охраняемой зоне.
Есть еще один немаловажный аспект видеоконтроля - сотрудники, находящиеся под непрерывным наблюдением начинают работать гораздо эффективнее.

Автоматическая система пожаротушения это один из самых эффективных способов (методов) экстренного пожаротушения. Автоматическая система пожаротушения воздействует на очаг возгорания, в самом его зарождении, таким образом можно избежать распространения огня и соответственно огромного ущерба от пожара.В качестве огнетушащего вещества - системы используют двуокись углерода, инертные газы, а также различные составы фторосодержащих углеводородов. Установка автоматического пожаротушения позволяют обезопасить, а затем предотвратить пожар на ранней стадии возгораний.

Функциональные возможности комплексной системы безопасности:

• Фиксация и оповещение службы безопасности о возникновении задымления или пожара на территории предприятия с указанием адреса тревожного помещения.
• Автоматическое включение системы пожаротушения в местах возникновения пожара.
• Управление входными дверьми.
• Отключение системы вентиляции при поступлении сигнала тревоги с пожарных извещателей.
• Звуковое оповещение персонала ЦОД о пожаре и указание безопасных путей их эвакуации.
• Круглосуточное видеонаблюдение за охраняемой территорией с записью видеоинформации на цифровые устройства комплексной системы безопасности.
• Архивирование видеозаписей по помещениям ЦОД с возможностью по кадрового воспроизведения записей тревог, в том числе по дате, времени суток, по камере и т.п.
• Управление системой контроля и управления доступом для регулирования санкционированного входа/выхода сотрудников ЦОД и учета рабочего времени каждого сотрудника.

Безопасность ЦОД - немаловажное условие эффективности его работы, а значит и качества бизнес-процессов предприятия. Более того, в современных условиях под безопасностью ЦОД, как правило, понимается не только обеспечение защиты всех его подсистем от пожара, взлома и т. д., но и повышение дисциплины труда персонала, а также автоматизация таких серьезных и трудоемких процессов, как, например, кадровый учет. Именно поэтому нельзя сказать, что какая-либо из интегрированных систем, входящих в состав единого комплекса безопасности, является первоочередной и наиболее важной: все они функционируют в тесной взаимосвязи друг с другом.

Основные компоненты комплексной системы безопасности ЦОД и их функции

Итак, современная практика организации вычислительных центров определяет несколько подсистем, на основе которых обеспечивается безопасность ЦОД. При этом, одновременно в ход идут как «физические», так и «программные» средства защиты. Под «физическими» средствами, как правило, понимаются:

• охранное видеонаблюдение
• охранно-пожарная сигнализация
• система голосового оповещения
• система контроля и управления доступом
• системы жизнеобеспечения ЦОД и правильность его местоположения

Системы охранного видеонаблюдения позволяет операторам видеонаблюдения и сотрудникам службы безопасности осуществлять дистанционный визуальный мониторинг всех «проблемных» зон объекта. Преимущество видеонаблюдения определяется уже тем, что у Вас не будет надобности приставлять к каждому помещению своего охранника: контроль охраняемых зон ведется дистанционно, в круглосуточном режиме без выходных и праздников. Кроме того, архивирование видеоинформации позволяет в любое время организовать ретроспективный просмотр того или иного происшествия с целью проведения расследования. Также видеонаблюдение повышает трудовую дисциплину персонала, исключая нерациональное использование рабочего времени, производственные хищения, промышленный шпионаж и т. д.

К видеонаблюдению тесно примыкает система контроля и управления доступом (СКУД), осуществляющая автоматическое управление входами-выходами и призванная разграничивать доступ тех или иных лиц на определенные территории, вести подсчет посетителей, фиксировать их перемещения по территории и т. д. В связке с видеонаблюдением данная система также способна распознавать лица, цвета, автомобильные номерные знаки и т. п. и на основе полученной информации «принимать решение» о доступе объекта или предмета, обладающего данными признаками, к определенной зоне.

Система светозвукового оповещения осуществляет оперативное реагирование на полученную от системы охранно-пожарной сигнализации информацию о возгорании, проникновении нарушителя и любом другом чрезвычайном происшествии, а затем передает соответствующие тому или иному сценарию звуковые и световые сигналы при помощи сирен, а также указывает кратчайшие безопасные пути эвакуации людей при помощи световых табло.

Важным фактором обеспечения безопасности ЦОД является своевременное установление факта пожара, задымления и т. п. и оперативное оповещение о нем службы безопасности. Таким образом, список дополняет автоматическая система пожаротушения - один из самых эффективных методов оперативного экстренного пожаротушения. Данная система воздействует на очаг возгорания еще в процессе его зарождения, позволяя избежать распространения огня на большой площади и, соответственно, минимизируя ущерб.

И, наконец, важную роль играет размещение ЦОД в соответствии с определенными правилами. Так, например, система бесперебойного питания существенно продлевает срок эксплуатации оборудования ЦОД. И даже такой «пустяк», как глухие стены без окон, способен предотвратить не только вторжение злоумышленника, но и проникновение в помещение излишней пыли, губительно сказывающейся на работе сложной вычислительной системы ЦОД.

Что же касается «программных» средств, политика безопасности ЦОД, прежде всего, предполагает надежную защиту проходящих через ЦОД данных посредством многоуровневого шифрования информации, аутентификацию пользователей, установку усовершенствованных антивирусных продуктов, строгое разграничение доступа персонала к определенным данным и, конечно же, функционирование сложной системы бэкапов, благодаря которой система оперативно восстанавливает сама себя даже после удачной попытки взлома.

Опираясь на многолетний опыт работы в области создания охранных систем и ЦОДов различного масштаба и назначения, компания «Флайлинк» разработает и реализует продуманный, надежный и эффективный охранный комплекс, с тем, чтобы безопасности ЦОД, равно как и Вашему предприятию в целом, ничто не угрожало.

Стремление повысить эффективность использования ИТ-ресурсов на фоне их усложнения ведет к их централизации и переходу к сервисной модели предоставления доступа к ИТ. Учесть эти стратегические изменения в области ИТ и адекватно удовлетворить новые требования к ним позволяют такие технологические объекты, как ЦОДы, строительство которых стало сегодня выгодным направлением для инвестирования. Так, по прогнозам аналитиков, в этом году в России объем рынка ЦОДов вырастет примерно на 25%.

Вместе с тем обеспечение информационной безопасности (ИБ) на таком сложном объекте, как современный ЦОД, имеет свою специфику и вызывает немало вопросов, особенно с учетом широкомасштабного использования в ЦОДах технологий виртуализации и облачных вычислений. Свой вклад в специфику решения задач защиты информации в ЦОДах вносит также необходимость следовать требованиям разного рода регуляторов в области ИБ.

Технологические особенности ЦОДов и ИБ

Специфика организации ИБ в ЦОДах, по мнению наших экспертов, связана прежде всего с использованием виртуализации и включением их в облачные структуры. Именно с приходом этих технологий стал наиболее целесообразным и востребованным широкий спектр услуг, связанных с эксплуатацией ЦОДов. Как отметил начальник отдела научных исследований и развития продуктов дивизиона продаж и партнерских программ компании “ИнфоТеКС” Николай Смирнов, до применения в ЦОДах виртуализации вообще можно было говорить только о хостинге, иначе - использовании лишь малой части возможностей ЦОДов как площадок предоставления ИТ-сервисов. В то же время наши эксперты отмечают, что организационные и архитектурные решения для облачных вычислений, в основе которых лежит виртуализация, далеко не безупречны с точки зрения ИБ.

Предметом атаки в виртуальной среде становится гипервизор. По выражению специалиста департамента маркетинга компании “Информзащита” Олега Глебова, гипервизор представляет собой единую точку отказа в виртуальной инфраструктуре и открывает новое направление в ИБ. И хотя, как отмечает технический консультант "Trend Micro Россия и СНГ" Николай Романов, его изолированность от внешней по отношению к нему среды обеспечивает изначально высокую защищенность и успешных атак на гипервизоры на сегодня, к счастью, очень мало, чтобы говорить о серьезности связанных с этим рисков, тем не менее в системы ИБ виртуальных сред уже стали вводить средства контроля целостности гипервизора. “Если он оказывается захваченным злоумышленниками, то установленные внутри виртуальных машин (ВМ) ИБ-средства, такие как антивирусы, межсетевые экраны, системы IDS/IPS и т. п. будут уже неспособны защитить данные виртуальной среды”, — считает г-н Романов.

С переносом ВМ в облако, как отмечает начальник отдела проектов и технических решений департамента информационной безопасности компании “Ай-Теко” Константин Кузовкин, защита периметра теряет смысл. По его мнению, необходимы методы защиты самих данных. Кроме того, поскольку физически разделить ВМ невозможно, так же как и использовать аппаратные средства обнаружения и предотвращения атак между ними, то, считает он, следует размещать средства защиты непосредственно на серверах виртуализации и на ВМ. Прежде всего это такие программные средства защиты, как межсетевой экран, система обнаружения и предотвращения вторжений, система контроля целостности, система анализа журналов, система защиты от вредоносного кода.

Специфические ИБ-угрозы ЦОДа связаны также с появлением новой ИТ-роли - администратор виртуальной инфраструктуры. Эксперты отмечают, что его действия трудно контролировать на уровне операционной среды ВМ без дополнительных наложенных средств и это делает его выгодным объектом для атак злоумышленников. Менеджер по развитию направления компании “Код Безопасности” Юлия Смирнова вообще полагает, что администраторы, имеющие в силу своих должностных обязанностей непосредственный доступ к информационным системам клиентов ЦОДа, представляют самую серьезную угрозу ИБ. При этом ИБ-риски связаны как с их преднамеренными действиями, преследующими злой умысел, так и с их ошибками.

В современных ЦОДах, по мнению руководителя отдела стратегического ИТ-консалтинга "ИНЛАЙН ГРУП" Алексея Баданова, повышаются риски нарушения конфиденциальности, целостности и подлинности информации, связанные с тем, что при удаленном доступе к размещенным в ЦОДе информационным системам каналы передачи данных, как правило, неподконтрольны компании-пользователю, и безопасность данных в значительной степени зависит от ответственности и добросовестности провайдера. Особенно остро эта проблема обозначается в публичных облаках. Поэтому при использовании облаков следует особенно тщательно выбирать облачного провайдера. Злонамеренный инсайд на его стороне, взлом интерфейсов управления или недостаточный контроль за деятельностью пользователей облачных сервисов, DDoS-атаки на ЦОД провайдера могут привести к краже, подделке или уничтожению информации, к прекращению доступа к сервисам, остановке бизнес-процессов.

В связи с этим, считает г-н Баданов, провайдерам приходится кардинально менять свое отношение к качеству предоставляемых услуг и управлению ими: “Должны произойти конструктивные изменения во взглядах на качество, безопасность и управляемость потребления и предоставления ИТ-услуг обеими сторонами, что должно выразиться в самом серьезном отношении к заключению соглашений об уровне услуг и управлению уровнем услуг как наиболее действенным инструментам выстраивания взаимовыгодных отношений между провайдером и клиентом ИТ-услуг. От «делаю, что могу» провайдеры должны переходить к предоставлению услуг по принципу «делаю, как требуют»”.

Ведущий консультант "McAfee в России и СНГ" Михаил Чернышев обращает внимание на высокие требования к производительности средств защиты при высокой концентрации ИТ-ресусов в условиях ЦОДа (в первую очередь, речь идет о сетевой пропускной способности ИБ-средств), а также на необходимость экономного расходования вычислительных ресурсов виртуальной среды, для чего целесообразно нагрузку, связанную с обеспечением безопасности, переносить на выделенные серверы. По его мнению, серьезную угрозу представляют зараженные выключенные ВМ. При очередном включении они могут скомпрометировать безопасность всего ЦОДа. На этот счет он рекомендует проводить детектирование и устранение заражений в офлайновом режиме.

Обеспечение ИБ критически важных объектов ЦОДа, не охваченных виртуализацией (в числе наследуемых такие не редкость), по мнению г-на Чернышева, можно возложить на решения по контролю приложений и изменений, фиксирующие состояние виртуальной или обычной ОС и на низком уровне блокирующие попытки внесения изменений и запусков неавторизованного исполняемого кода. “Это может показаться не подходящим для ЦОДов, но именно такие решения работают в медицинских системах, системах промышленной автоматики, банкоматах. А они по уровню требований к защищенности соответствует ЦОДам”, - подчеркнул он.

Г-н Смирнов обращает внимание на риски, связанные с обязанностью провайдера услуги содействовать правоохранительным органам при проведении оперативно-следственных мероприятий, поскольку из-за претензий к одному клиенту ЦОДа доступа к сервисам могут быть лишены и другие. Это обстоятельство, как он считает, может оказаться серьезным препятствием для использования услуг ЦОДов, особенно связанных с использованием критически важных ресурсов.

Специфика ИБ-угроз и защита от них в ЦОДах

По наблюдениям руководителя департамента маркетинга и развития компании DEAC, европейского оператора ЦОД-услуг, Олега Наскидаева, типовые модели угроз и нарушителей ИБ для российских ЦОДов схожи с европейскими. К тому же и там, и здесь нарушителей следует разделять на внутренних, имеющих права доступа различной категории на территорию контролируемой зоны ЦОДов и к его ресурсам, и внешних, не имеющих таких прав.

Типичной угрозой для ЦОДов, считает г-н Чернышева, сегодня являются целевые атаки, в которых эффективно используется инсайд.

По мнению г-на Романова, при любом типе угроз цели атак на ЦОДы в большинстве случаев одинаковы - это попытки получить ценную информацию, остановить работу ЦОДа и тем самым нанести ущерба репутации владельцу или пользователям, завладеть удаленным управлением, чтобы изменить внутренние процессы систем и вовлечь системы в бот-сети и т. п. Говорить же о типовых моделях угроз и нарушителях для ЦОДов, сказал он, некорректно.

Директор департамента консалтинга компании LETA Александр Бондаренко отмечает, что на организацию ИБ в ЦОДах влияют такие ключевые особенности этих объектов, как концентрация больших вычислительных мощностей в ограниченном пространстве, обслуживание большого количества клиентов, приложений, бизнес-процессов, а также совместная обработка в одной программно-аппаратной среде информации разного характера - открытой информации, персональных данных, информации, содержащей коммерческую тайну и т. п. Поэтому, как полагает он, в работе ЦОДов основными ИБ-рисками, приводящими к наиболее тяжелым последствиям, оказываются приостановка деятельности ЦОДа и масштабное хищение информации за счет внутреннего взлома.

Риски масштабного хищения информации, обусловленные большими объемами данных, которыми оперирует ЦОД, по мнению г-на Бондаренко, связаны с действиями внешних злоумышленников, которым могут помогать инсайдеры из ЦОДа. Для этого злоумышленники выявляют и используют уязвимости в системе разграничения доступа в виртуальной инфраструктуре ЦОДа. В качестве возможного сценария реализации такой угрозы г-н Бондаренко описывает ситуацию, при которой преступники легально арендуют виртуальную площадку, размещенную в ЦОДе, и используют ее далее для проникновения в другие информационные системы, расположенные по соседству. Нарушение функционирования ЦОДа г-н Бондаренко связывает также с угрозами природного и техногенного характера. На случай возникновения форс-мажорных обстоятельств владельцы ЦОДов и их клиенты должны иметь программы восстановления после катастроф.

Угрозу для ЦОДов, по мнению г-на Наскидаева, представляет также использование открытого ПО, которое требует особенно внимательного отношения к разработке алгоритмов системного и прикладного ПО для ЦОДов, а также к своевременной установке обновлений.

Специалист по продажам решений по безопасности "IBM в России и СНГ" Кирилл Керценбаум напоминает, что современный ЦОД - это, как правило, физически изолированная от пользователя инфраструктура, что повышает значимость шифрования информации, резервирования каналов связи и защищенности от DDoS-атак. По его мнению, защита облачных технологий наиболее эффективна на уровне гипервизора. Среди других ИБ-технологий он выделяет контроль трафика, межсетевое экранирование, защиту от проникновений за счет уязвимостей с помощью средств IPS и IDS.

Сервисный инженер APC by Schneider Electric Дмитрий Тогушев напоминает, что обеспечение ИБ ЦОДа невозможно без надлежащей организации физического доступа к ресурсам ЦОДов, что тесно сопряжено с ИБ. Одним из эффективных вариантов поддержки ИБ-политики клиентов ЦОДа, по его мнению, может служить реализация концепции виртуальных комнат, позволяющая администраторам таких комнат самостоятельно настраивать правила физического доступа к оборудованию и реагирования на инциденты. Каждая такая комната в данной концепции представляется отдельным ЦОДом со всей инфраструктурой.

Константин Кузовкин отметил, что применение только традиционных средств защиты неэффективно в условиях архитектуры современных ЦОДов. Более того, такой подход сам становится источником ИБ-угроз. Против специфических атак на виртуальные среды традиционные средства защиты неэффективны. “Если, например, идет атака с зараженной виртуальной машины на другие, то трафик с данными оказывается зацикленным внутри сети хоста и традиционные межсетевые экраны не могут его перехватить”, - подчерккнул г-н Баданов.

Архитектор инфраструктуры информационной безопасности компании “Инфосистемы Джет” Алексей Воронцов тоже считает, что традиционные средства защиты неприменимы в виртуальных средах и даже могут быть опасны для них: “Например, одновременная антивирусная проверка жестких дисков нескольких ВМ может создать значительную нагрузку на всю платформу виртуализации. Сетевой трафик между ВМ не покидает физического сервера, и, следовательно, традиционные сетевые средства защиты его даже не видят”.

ИБ технологических процессов в ЦОДе

После успешной атаки Stuxnet на АСУ ТП Бушерской АЭС в Иране трудно оставить без внимания вопросы уязвимости технологических процессов ЦОДов.

Характеризуя подобные атаки, г-н Керценбаум обращает внимание на их узкую направленность, трудоемкость организации, высокую стоимость, нацеленность не только на ПО, но и на аппаратное обеспечение. Как модель защиты он предлагает рассматривать прежде всего физическую изоляцию сегментов АСУ ТП: “После защиты внешнего периметра следует объединить системы, которые входят в АСУ ТП, в единую технологическую сеть и изолировать ее от Интернета. Нужно организовать контроль этой технологической сети средствами IPS/IDS и наладить мониторинг разных типов трафика. На рабочих местах операторов АСУ ТП важно использовать тонкие клиенты, исключающие подключение съемных устройств”.

Имея в виду атаки, аналогичные Stuxnet, г-н Чернышев советует обратить внимание на проактивную защиту, т. е. защиту от тех видов угроз, которые еще не были обнаружены. “Есть несколько подходов к ее реализации. Компании, специализирующиеся на ИБ, предлагают облачные сервисы, предоставляющие доступ к своим аккумулированным знаниям и экспертным системам, помогающим отслеживать аномалии в мировом информационном пространстве и проактивно реагировать на них. Можно использовать концепцию “фиксирования” рабочего состояния объекта, исключающего возможность вносить в него какие бы то ни было изменения без соответствующего разрешения”, - советует он.

Как противодействие этим сложным угрозам г-н Смирнов рекомендует применение систем анализа аномалий, которые хоть и не смогут предотвратить атаку, но помогут ее вовремя детектировать и локализовать. Кроме того, на его взгляд, повысить защищенность технологических систем помогут также криптосредства, ориентированные на межмашинные коммуникации.

“К сожалению, традиционные хостовые средства защиты для серверных сегментов, работающих в режиме реального времени, малоприменимы, - заметил г-н Воронцов. - Поэтому возможен только комплексный подход, при котором создается несколько периметров защиты. И прежде всего необходимо обеспечить защиту рабочих станций диспетчеров АСУ ТП (именно оттуда, как мы помним, проходило заражение Stuxnet). Затем следует создать шлюзовые системы для доступа к серверным сегментам с рабочих станций, обеспечить контроль несанкционированной сетевой активности и обеспечить другие основные меры защиты”.

Вместе с тем, считает г-н Смирнов, следует учитывать, что всегда может найтись заинтересованная группа лиц, располагающая необходимыми для организации специфичной, конкретно ориентированной атаки бюджетами.

ИБ ЦОДов и человеческий фактор

Появление в ЦОДе администратора виртуальной инфраструктуры, как отмечают наши эксперты, повышает значимость противодействия как злонамеренному инсайду, так и непреднамеренным ошибкам со стороны этих специалистов. Ситуация усугубляется все более активным использованием злоумышленниками при проведении атак методов социальной инженерии в отношении персонала ЦОДов и компаний-клиентов.

Эффективными средствами против инсайда г-н Баданов считает использование программ повышения лояльности сотрудников, обучение персонала противодействию методам социальной инженерии и другие подобные организационно-административные инструменты, которые в сочетании с системами предотвращения утечек данных, по его мнению, позволяют создать базу для борьбы с подобными угрозами ИБ в ЦОДах. При этом он подчеркнул, что применять эти средства необходимо на стороне как провайдера, так и клиента ЦОДа.

Противодействие инсайду, напомнил г-н Романов, следует начинать с правильного разграничения доступа к ресурсам: “Нужно исключать единоличный доступ специалистов к критически важным системам. Этому должна препятствовать жесткая ИБ-политика, обязывающая привлекать к контролю использования таких систем двух - четырех сотрудников с различным уровнем прав, а также тщательный контроль исполнения самих этих политик”.

Г-жа Смирнова обращает внимание на то, что разделение ролей и сфер ответственности между разными специалистами позволяет решить проблему “суперпользователя”. По ее мнению, за назначение прав доступа к защищаемым ресурсам клиентов ЦОДа должен отвечать администратор безопасности, который, в свою очередь, не получает прав доступа к самим ресурсам.

Как полагает г-н Наскидаев, окончательный сценарий защиты от инсайдерских атак определяется после детальной проработки модели угроз и нарушителей в ЦОДе, хотя сегментация сетевой инфраструктуры и защита межсетевыми экранами в основном решают проблему.

Основой стратегии, направленной на снижение рисков, связанных с инсайдом, должно стать максимальное исключение из функционирования системы ИБ ЦОДа человеческого фактора. Важным шагом в этом направлении является централизация управления средствами защиты информации. “Согласитесь, что устанавливать и настраивать, например, межсетевой экран администратору гораздо удобнее и быстрее со своего рабочего места, чем на каждом объекте в отдельности”, - заметила г-жа Смирнова. Автоматизировать трудоемкую работу ИБ-администратора по настройке политик ИБ, по ее мнению, позволяют средства защиты с готовыми шаблонами таких политик.

Существенную роль здесь играет, считает г-н Чернышев, управление ИБ-рисками: “Следует систематически производить оценку состояния ЦОДа и усиливать безопасность именно в тех местах, где это действительно необходимо. Оценка рисков с учетом приоритетов защищаемых активов с периодическим сканированием на уязвимости, проверками соответствия регулятивным нормам в сочетании с централизованным управлением, позволяющим посмотреть на ИБ-проблемы сверху, по моему глубокому убеждению, дает желаемый результат”.

Поскольку, по мнению г-на Керценбаума, построение ЦОДа является серьезным этапом, его владельцу самое время задуматься о построении собственного центра оперативного управления ИБ, куда должна сходиться и где должна обрабатываться информация со всех систем и устройств, чтобы администраторы ИБ могли видеть комплексную картину, включая попытки несанкционированного доступа, источники поступления информации – таков путь к автоматизации систем ИБ.

Поясняя конкретную ситуацию с нынешним состоянием управления виртуальными средами на примере продукции лидера направления, компании VMware, г-н Романов заметил, что в платформе vSphere есть система централизованного управления средой, которая, однако, не имеет встроенных средств контроля доступа к инфраструктуре, и если кто-то завладел доступом с правами суперпользователя, оправдаются опасения клиентов ЦОДа за сохранность своих данных. Вместе с тем он отметил, что существуют решения, позволяющие снизить эти риски.

Автоматизацию сбора, обработки и анализа ИБ-данных из различных систем ЦОДа г-н Романов предлагает строить на базе систем управления инцидентами и событиями информационной безопасности. Главной сложностью в выстраивании такой системы, по его мнению, является подготовка данных для корректной их обработки такими системами. Одним из ключевых условий обеспечения ИБ ЦОДа должно стать также наличие штата профессиональных специалистов, занимающихся постоянной адаптацией систем под меняющиеся сценарии угроз.

По мнению г-на Наскидаева, подход к автоматизации системы ИБ должен быть продуманным и системным, подтверждением чего может стать ее сертификация по стандарту ISO 27001, который определяет требования к управлению ИБ, подтвержденные передовым международным опытом.

ИБ ЦОДов и ИБ-регулирование

Известно, что российские регуляторы области ИБ сосредоточены на контроле технологической стороны защиты информации. Особенно явно это проявилось в законе “О персональных данных”. Вместе с тем даже в последних редакциях своих документов они ничего не поясняют о регламентах использования виртуализации и облачных вычислений с позиций ИБ.

Отсутствие нормативной базы, регулирующей соответствие ЦОДа требованиям к размещению и обработке информации разной категории, по мнению г-на Смирнова, создает проблемы потребителям услуг ЦОДов и провайдерам облачных услуг, которым необходимы закрепленные договором обязательства по соблюдению в отношении размещаемой клиентами информации требований федеральных законов, в том числе и закона “О персональных данных”. “К сожалению, типовой договор провайдеров предполагает предоставление услуг “как есть”, что переносит все ИБ-риски на потребителей услуг. Именно это обстоятельство сдерживает развитие рынка услуг облачных вычислений и ЦОДов, так как неопределенность в части обеспечения ИБ останавливает до 80% потенциальных потребителей. Это подрывает экономическую модель этого направления, несмотря на то что за счет унификации и стандартизации сценариев использования ИТ-ресурсов оно дает большой экономический эффект”, - считает он.

Как отмечает г-н Воронцов, для ЦОДов, эксплуатируемых несколькими юридическими лицами, разрешение некоторых рабочих вопросов по упомянутым выше причинам могут вызвать у них юридические затруднения. В качестве примеров он упоминает аттестацию помещения ЦОДа в соответствии с законом “О персональных данных”, оказание услуг по технической защите конфиденциальной информации одним юридическим лицом другим лицам, правильное оформления договорных обязательств. По его мнению, трудными в этой ситуации могут оказаться и технологические задачи - физический доступ к серверному оборудованию, организация видеонаблюдения и др.

Тем не менее, отметил г-н Кузовкин, есть прецеденты выполнения в виртуализованной многопользовательской ИТ-среде регулятивных требований, действующих и в России. К таковым он относит стандарт PCI DSS. Появившиеся на российском рынке средства защиты для виртуальных инфраструктур, сертифицированные на отсутствие недекларированных возможностей (по четвертому уровню контроля), а также для использования в автоматизированных системах класса защищенности до 1Г включительно и для защиты информации в информационных системах персональных данных до первого класса включительно, по его оценкам, позволяют привести виртуальную инфраструктуру в соответствие с требованиями руководящих документов ФСТЭК по защите персональных данных, а также стандарта PCI DSS.

Г-н Наскидаев сообщил, что после консультаций с юристами и ИТ-экспертами было сделано заключение о том, что использование услуг компании DEAC не упрощает и не усложняет российским компаниям процесс аттестации в качестве оператора персональных данных и позволяет российскому бизнесу рассматривать варианты использования ее ЦОДов. Более того, услуги DEAC, как утверждает г-н Наскидаев, в ряде случаев упрощают и удешевляют процесс аттестации на соответствие закону “О персональных данных”.

ИБ в ЦОДе и фактор доверия

Помимо особенностей регулирования ИБ на распространение услуг ЦОДов существенное влияние оказывает фактор доверительности в отношениях между провайдерами и клиентами.

Как считает г-н Смирнов, для этого должны быть разработаны соответствующая нормативная база, методы сертификации процессов оказания услуг и инфраструктуры провайдера, в том числе услуг для работы с информацией разных классов требований к защите. “Необходимы механизмы обеспечения прозрачности работы провайдеров, нормативные документы для потребителей услуг, чтобы последние, размещая персональные данные на площадке, сертифицированной для куда менее значащей информации, не переносили ответственность за инциденты на провайдера”, - подчеркнул он.

Пока такой специализированной нормативной базы нет, но когда она появится, возникнет и экономическая мотивация для провайдеров услуг дополнять договоры с клиентами специфичными для них требованиями к политике ИБ. Пока же ситуация далека от желаемой. “Например, совершенно неясно, кто является оператором персональных данных - провайдер услуги хранения информации в ЦОДе или потребитель данной услуги, встроивший использование удаленных хранилищ в собственные системы обработки информации, в том числе содержащей персональные данные”, - констатирует г-н Смирнов.

Как считает г-н Романов, тут все зависит от того, насколько тщательно поставщик услуг предусмотрел различные аспекты обеспечения ИБ и заложил их в свою систему: “Если у тех из провайдеров, кто связан с рынком ИБ, эти аспекты предусмотрены и проработаны, пусть даже и не всесторонне, то у большинства из них, даже таких крупных, как Amazon, эти вопросы решаются только на базовом уровне. Трудности с обеспечением ИБ провайдеры стараются переадресовывать самим клиентам, если предоставляемые им ресурсы допускают доработку провайдерских систем под их требования. В основном это может быть реализовано только на уровне самой площадки ЦОДа, а не готового сервиса. Поэтому мои общие рекомендации потребителям услуг ЦОДов таковы: максимально внимательно оценивайте поставщика услуг и договор с ним”.

Как утверждает г-н Наскидаев, ссылаясь на результаты исследований, доля использования коммерческих ЦОДов в ИТ-проектах начинает вытеснять собственные площадки. Для этого, по его мнению, есть ряд причин: более высокий уровень маштабируемости, быстрый для клиента запуск ИТ-решений, круглосуточно доступный компетентный многоязычный персонал и другие преимущества, реализовать которые самостоятельно сложнее и дороже. Он полагает, что при использовании в ИТ сервисной модели все зависит от степени готовности клиента делегировать оператору ЦОДа определенные задачи, а далее оператор уже разрабатывает сценарии поддержки клиентских ИБ-политики и контроля за ее исполнением. При этом окончательное заключение об отношениях между провайдером и клиентом можно дать, только проанализировав стратегические планы конкретного клиента.

Способствовать установлению доверительных отношений между клиентами и поставщиками услуг ЦОД может реализация на стороне провайдера поддержки клиентских ИБ-политики и возможностей контроля за их исполнением в сервисной модели предоставления ИТ-ресурсов. Как отметил г-н Кузовкин, в настоящее время на российском рынке уже появляются даже сертифицированные продукты, с помощью которых это можно реализовать.

Оптимистично оценивает ситуацию с облачными сервисами и г-н Чернышев, заявляя, что мы уже вплотную подошли к концепции облаков и сегодня важными стали такие их аспекты, как сам сервис, модель его предоставления, возможность его тарификации и биллинга. При этом он отмечает, что даже наиболее продвинутую модель SaaS не следует рассматривать как верх эволюции облачных сервисов: “Уже сегодня есть системы, которые в состоянии контролировать фактическое время использования услуги, выставлять счет в соответствии с этим и отслеживать корректность транзакций, выполняемых при этом”.

Защищенность ЦОДов: физическая и юридическая

Решение задачи хранения растущих объемов информации сегодня берут на себя ЦОДы, а значит, на них ложится и обязанность обеспечить ее сохранность.

Сегодня процесс обмена данными практически полностью перешел в сферу интернета. Информация стала ценным продуктом на мировом рынке: многие компании готовы платить за сведения о клиентах, конкурентах, своих сотрудниках и т.д., что увеличивает риск похищения таких данных. К тому же с каждым днем объем информации увеличивается, проблемы ее хранения становятся все острее - и все чаще решение этой задачи берут на себя ЦОДы.

В первую очередь клиенты оператора ЦОДа заинтересованы в получении качественных услуг и высоком уровне отказоустойчивости инфраструктуры, но это далеко не все. Одним из существенных критериев при выборе дата-центра является уровень защищенности информации.

Вопреки представлению многих клиентов ЦОДа, средства безопасности не ограничиваются только системами, защищающими данные от хакерских атак, взломов и прочих способов получения несанкционированного удаленного доступа к информации. Есть еще проблема физической защищенности ЦОДа, поскольку он должен обеспечить сохранность информации клиентов, размещенной на серверах в его машинных залах. Причем, в отличие от организации информационной безопасности телекоммуникационных сетей, которая должна соответствовать законодательству и нормативным требованиям РФ (это, например, Федеральный закон №149-ФЗ от 27 июля 2006 г., указ Президента Российской Федерации от 17 марта 2008 г. № 351, постановление правительства №531 от 31 августа 2006 г. и т.д.), физическая защита ЦОДа практически полностью передается в ведение его оператора, поэтому перед клиентом встает ответственная задача выбора надежного дата-центра для хранения своей информации.

Проблема защищенности ЦОДа охватывает множество существенных аспектов, которые заказчику нужно тщательно проанализировать. В целом их можно разделить на две основные группы: физическая защищенность ЦОДа и его юридическая защищенность.

Физическая защищенность

Основная задача физической защиты ЦОДа - предотвратить несанкционированный доступ посторонних лиц к информации, хранящейся на серверах клиентов. Уже при строительстве ЦОДа огромное внимание должно уделяться организации безопасности и контроля доступа на его территорию, включая размещение КПП, установку камер видеонаблюдения, организацию процедуры доступа и т.д. Рассмотрим ключевые аспекты организации системы физической безопасности.

Охрана объекта. Опе-ра-тору ЦОДа необходимо ответственно подойти к выбору охранного предприятия. В соответствии с законодательством РФ частные охранные предприятия (ЧОП) вправе оказывать профессиональные услуги в области охраны объекта, в том числе с применением огнестрельного оружия. Само-стоятельный набор персонала охраны «с улицы» лишит оператора ЦОДа квалифицированных специалистов, отлаженной системы взаимодействия, а также контроля со стороны профессионального руководителя службы безопасности.

При выборе предприятия оператору ЦОДа необходимо обратить внимание на следующие моменты: как долго ЧОП работает на рынке охранных услуг, какие проекты он уже обслуживает, имеются ли необходимые лицензии и разрешения, сменность кадрового состава за прошедший год и т.д. Проведение юридической экспертизы (due diligence) ЧОПа на этапе его выбора обезопасит оператора ЦОДа от возможных проблем с охраной объекта.

Видеонаблюдение . Система видеонаблюдения должна полностью охватывать всю площадь внутренних помещений ЦОДа и прилегающую территорию. Поскольку ЦОД функционирует беспрерывно и доступ для клиентов и провайдеров обеспечивается круглосуточно, в системе наблюдения должен быть организован не только постоянный контроль со стороны службы безопасности, но и продолжительная видеозапись. Для ЦОДа, оказывающего услуги премиум-уровня, недостаточно только системы видеонаблюдения с большой емкостью хранения файлов: необходимо дополнительное архивирование и продолжительное хранение всех видеозаписей, сроком примерно до 5 лет, что позволит оператору ЦОДа, его клиентам и провайдерам услуг при необходимости оперативно восстановить события любого дня. Такой уровень хранения видеозаписей незаменим при расследованиях попыток несанкционированного проникновения в ЦОД.

Системы безопасности доступа . Организация доступа в здание и непосредственно в машинные залы ЦОДа должна включать несколько уровней защиты. Наиболее распространенные сейчас системы защиты используют биометрические данные посетителей (отпечатки пальцев, рисунок радужной оболочки глаза и т.д.).

Оснащение дата-центра мощными противопожарными дверями и тамбур-шлюзами также увеличивает надежность ЦОДа.

Помимо защиты самого здания перед оператором ЦОДа стоит задача ограничить доступ на прилегающую к дата-центру территорию. Для этого можно использовать надежные ограждения с противоподкопной защитой.

В машинных залах можно дополнительно установить ограждения вокруг серверных стоек клиентов.

Защита данных от потери . Помимо риска похищения данных, существует и риск их уничтожения. Поэтому здание ЦОДа должно быть не только неприступной крепостью, но и бункером, полностью оборудованным всеми необходимыми системами защиты. В частности, ЦОД, обеспечивающий премиум-услуги, должен быть оснащен новейшими системами сверхраннего обнаружения возгорания и газового пожаротушения, которые не причиняют ущерба оборудованию клиента, а также высокоточным температурным контролем и системой охлаждения оборудования. Контроль за всей инфраструктурой дата-центра должен вестись из диспетчерской, расположенной непосредственно в том же здании, - тем самым исключается риск получения несанкционированного контроля за системой управления ЦОДа.

Юридическая защищенность

Обеспечение юридической защиты ЦОДа должно быть реализовано не только на протяжении всех этапов его строительства, но и в ходе эксплуатации. Такие меры обеспечат защиту оператора ЦОДа, клиентов и провайдеров от претензий третьих лиц и от посягательства на право собственности на здание дата-центра. Очевидно, что такие посягательства могут не только привести к потере контроля над ЦОДом, но и поставить под удар надежность защиты данных клиентов.

Фактически вся хозяйственная деятельность оператора ЦОДа должна быть направлена на предотвращение потенциальных рисков посягательства на данные клиентов. При выборе подрядчиков и поставщиков услуг для ЦОДа необходимо провести подробный due diligence контрагентов на предмет возникновения рисков несанкционированного доступа к информации клиентов.

Выделим некоторые существенные аспекты юридической защищенности ЦОДа.

Анализ правовых рисков. При выборе территории для строительства ЦОДа необходимо провести подробный due diligence на предмет наличия любых обременений и споров, связанных с земельным участком. Подъезды к ЦОДу должны быть организованы по дорогам общего пользования, что обеспечивает независимость оператора ЦОДа от собственников соседних участков и зданий. В противном случае оператор может столкнуться со сложностями при получении сервитута на проезд по территории соседних участков.

Мониторинг соседних земельных участков. В связи с тем, что инфраструктура ЦОДа (кабельная канализация, электросети и т.д.) выходит за границы территории земельного участка, необходимо организовать постоянный мониторинг правового положения соседних земельных участков и зданий. Не исключена ситуация, когда владелец соседнего участка при проведении строительных работ неумышленно может повредить кабельную канализацию ЦОДа. По этой причине любое изменение в использовании земельных участков и зданий или изменение в структуре собственников соседних территорий должно сопровождаться оперативным due diligence на предмет потенциальных рисков и конфликтов.

Защищенная правовая структура собственности. В отношении структуры собственности ЦОДа юридическая безопасность обеспечивается путем передачи права собственности и права аренды в отношении здания ЦОДа разным юридическим лицам, входящим в одну группу лиц с оператором ЦОДа. Таким образом, оператор ЦОДа обеспечивает юридическую защиту здания от неправомерных попыток захвата собственности, а также грамотно распределяет риски, связанные с эксплуатацией здания и оказанием услуг colocation.

Готовность к любым проверкам. Для юридической безопасности ЦОДа существенна качественная и проработанная процедура взаимодействия с контролирующими государственными органами. Поскольку многие из них наделены полномочиями приостанавливать деятельность организации при обнаружении нарушений, оператор ЦОД в первую очередь должен гарантировать полное и всестороннее исполнение требований законодательства. Например, если для обеспечения отказоустойчивости ЦОДа используются дизельные генераторные установки, то оператор ЦОДа обязан принять меры для постановки объекта на учет в Рос-при-род-надзоре и разработки проекта предельно допустимых выбросов, в противном случае ему грозит проверка и возможная приостановка деятельности ЦОДа.

Как правило, оператор ЦОДа, оказывающего премиум-услуги, предоставляет своим клиентам дополнительные гарантии в случае приостановки ЦОДа по решению государственных органов.

Надежная защита информации увеличивает ее ценность, и операторы ЦОДов способны в этом помочь. С другой стороны, постоянно появляются новые способы похищения информации, поэтому непрерывное улучшение физической и юридической защищенности объекта - безусловный приоритет операторов дата-центров, особенно премиум-уровня. Нередко операторы ЦОДов экономят на организации безопасности и отказоустойчивости, и в результате уровень защищенности ЦОДа не гарантирует полную защиту информации клиентов. Но если информационную безопасность телеком-сетей можно постоянно совершенствовать, то физическая безопасность изначально должна соответствовать высокому уровню надежности - и об этом важно помнить клиенту при выборе ЦОДа.

В зависимости от назначения современные ЦОД можно разделить на закрытые, которые обеспечивают потребности в вычислительных мощностях конкретной компании, и ЦОД, предоставляющие сервисы в виде услуг пользователям.

Все системы ЦОД состоят из собственно ИТ- инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС.

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов:

• · ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
• · серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы;
• · серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
• · служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDС, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено, только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Архитектура ЦОД

Сетевая архитектура центра обработки данных определяет его важные характеристики, такие как производительность, масштабируемость и гибкость в дальнейших конфигурационных изменениях. Ведь чем гибче настроена сеть в ЦОДе, тем быстрее возможно реагировать на запросы рынка, избегая лишних затрат. Основной инструмент разворачивания сети между серверами ЦОД - это коммутаторы, но есть различные пути настройки взаимодействия между серверами. Топологии характеризуются различными требованиями к аппаратным ресурсам, целью которых является увеличение производительность дата-центров. При этом существуют стандартные схемы подключения коммутаторов к серверам:

• · top-of-raсk - это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с агрегирующим слоем (в стандартной трехзвенной модели)
• o Преимущества топологии top-of-rack:
  • § большинство коммутаций внутри шкафа;
  • § более простая в обслуживании и дешевая кабельная система;
  • § модульная архитектура «per rack» (каждый шкаф как отдельный независимый блок);
  • § подключение серверов с использованием дешевых SFP+ модулей 10GE (40 GE) для коротких расстояний.
• o Недостатки топологии top-of-rack:
• § много коммутаторов для управления, много портов на уровне агрегации;
• § ограничения масштабируемости (STP logical ports и емкость портов коммутатора агрегации);
• § много L2 трафика на уровне агрегации
• · end-of-row модель предполагает расположение коммутатора, условно, «в конце ряда стоек» и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд
• o Преимущества топологи end/middle-of-row:
  • § меньше коммутаторов;
  • § меньше портов на уровне агрегации.
  • § надежные, зарезервированные и как правило модульные коммутаторы доступа;
  • § единая точка управления для сотен портов.
• o Недостатки топологи end/middle-of-row:
• § более дорогостоящая кабельная инфраструктура;
• § много кабелей - препятствие для охлаждения;
• § длинные кабели - ограничение на использованием дешевых подключений на 10/40 GE - «Per row» архитектура (каждый ряд как отдельный независимы блок).

Топология сети взаимодействия между серверами в ЦОДе имеет значительное влияние на гибкость и возможность переконфигурирования инфраструктуры датацентра. Так как данный вопрос получил отклик, как в академической, так и коммерческой средах, то в последнее время было разработано немалое число возможных топологий датацентров:

• · фиксированные (после развертывания сети в архитектуре невозможны изменения)
• o древовидные - стандартное широко используемое решение для ЦОД, когда каждый сервер подключен к одному коммутатору, находящемуся на низшем уровне топологии:
  • § Basiс tree
  • § Fat tree
  • · Al-Fares et al
  • · Portland
  • · Hedera
  • § Сlos network
  • · VL2
• o Рекурсивные - топологии, при которых сервера могут быть подключены к разноуровневым коммутаторам или к другим серверам:
• § DСell
• § BСube
• § MDСube
• § FiСonn
• · Гибкие (возможны изменения в топологии уже после развертывания сети) - принципиальное отличие состоит в том, чтобы использовать коммутаторы с оптическими портами. Помимо увеличения пропускной способности (до Тб/сек с использованием технологий спектрального уплотнения каналов - WDM), данное решение обладает высокой гибкостью при переконфигурации топологии сети.
• o Полностью оптические
• § OSA
• o Гибридные
• § С-Through
• § Helios

Сетевая инфраструктура ЦОДа

Подход к построению сетевой инфраструктуры должен обеспечивать должный уровень таких качественных параметров как:

• · надежность,
• · безопасность,
• · производительность,
• · управляемость,
• · масштабируемость.

В целях организации сетевой инфраструктуры ЦОД применяются такие классы оборудования, как:

• · Канальное оборудование, в число которых входят мультиплексоры CWDM и DWDM, транспондеры, конверторы и т.д.
• · Оборудование коммутации Ethernet, отличающееся высокой производительностью и высокой надёжностью, с функционалом маршрутизации и распределения нагрузки. В связи с тем, что в центрах обработки данных для бизнеса используется большой объем передаваемых данных, то предъявляются жесткие требования к оборудованию в плане производительности, функциональности и надежности.
• · Коммутационное оборудование стандарта FibreChannel. При этом могут быть использовано оборудования различных классов. Это зависит от выбранной архитектуры сетевой инфраструктуры ЦОД. Могут быть использованы как простейшие коммутаторы уровня рабочей группы или же оборудование уровня предприятия.
• · Программные комплексы, осуществляющие централизованный мониторинг и управление сетью, которые предоставляют единую точку управления всей сетевой инфраструктурой ЦОД за счёт графического интерфейса, а также расширенных средств визуализации наблюдаемых параметров, таких как состояние функциональных компонентов, загруженность ресурсов коммутаторов и даже некоторые параметры подключенных устройств, включая версию микропрограммного обеспечения интерфейсных карт FibreChannel в серверах.

Сеть современного ЦОД можно строить в один, два и три уровня, . У каждого варианта есть свои предназначения. Рассмотрим далее вкратце упомянутые выше варианты:

• · Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами
• · Двухуровневая архитектура (L1) подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня коммутаторов по схеме ToR (Top-of-Raсk).
• · Трехуровневый вариант архитектуры (L3), иногда его еще называют EoR (End-of-Row). В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам.

В настоящее время используемая большинством ЦОД сеть использует трехуровневую архитектуру с уровнями L2 (коммутация) и L3 (маршрутизация), которая предназначалась для систем с гораздо меньшими объемами передачи данных, таких как: корпоративная переписка, бухгалтерская отчетность, хранение документации, ведение документации предприятий. Проблема заключается в том, что подобная архитектура устанавливает ограничения на сегодняшний трафик, в котором большую долю занимает цифровой контент, и негативно влияет на мобильность виртуальных машин, что приводит к увеличению капитальных и операционных расходов на поддержание работоспособности ЦОД, а также росту энергопотребления.

Сейчас набирают популярность такие варианты подключения, как оптоволоконный Ethernet (FCoE - Fibre Сhannel over Ethernet) и новые разработки высокоскоростного Ethernet (1 Гбит/с и 10Гбит/с). Традиционное решение в ЦОД предполагает создание двух сетей - сеть передачи данных на базе протокола Ethernet и сеть хранения данных на базе протокола Fiber Channel (FC).

В последние годы получила развитие другая технология - конвергентных сетей. Конвергентная сетевая инфраструктура - это единая сеть, объединяющая сеть передачи данных и сеть хранения данных, обеспечивающая доступ к системам хранениям данных с использованием любых протоколов - как блочных, так и файловых. Такое решение позволяет не только в два раза сократить количество сетевых подключений, но и обеспечить единый уровень надежности и доступности для всей сетевой инфраструктуры.

В основе решения лежит протокол Fiber Channel over Ethernet (FCoE), обеспечивающий передачу FC-трафика через Ethernet-транспорт. При помощи DataCenterBridging (DCB), Ethernet превращается в протокол без потерь, который подходит для трафика FCoE, обеспечивающего традиционную в SAN-сетях изоляцию фабрик (Fabric A и Fabric B). Помимо этого унифицированная коммутация позволяет упростить управление и сэкономить на оборудовании, электропитании, а так же на кабельной инфраструктуре.

Развертывание среды виртуализации в ЦОД

В текущий период экономической нестабильности компании пытаются всеми способами сократить свои операционные издержки. В случае с развитыми ИТ- инфраструктурами данная деятельность не должна иметь негативных последствий для информационных ресурсов организации. Внедрение платформы виртуализации позволит избежать этих последствий, так как оптимизация по средствам виртуализации имеет ряд преимуществ:

• * Увеличение коэффициента использования аппаратного обеспечения
• * Уменьшение затрат на замену аппаратного обеспечения
• * Повышение гибкости использования виртуальных серверов
• * Обеспечение высокой доступности серверов
• * Повышение управляемости серверной инфраструктуры
• * Экономия на обслуживающем персонале
• * Экономия на электроэнергии

Виртуализация сетевой инфраструктуры ЦОД включает в себя:

• · Виртуализацию физической сети;
• · Построение виртуальной сети внутри виртуальной серверной среды.
• · Виртуализация физической сети.

Благодаря технологиям виртуализации физическая сетевая инфраструктура ЦОД разбивается на множество виртуальных срезов, представляющие собой виртуальные ЦОД.

Примерами использования такого разделения может быть использование сети для разных заказчиков, что больше подходит для провайдеров, а также сегментация сети для создания различных зон безопасности, что является актуальным для корпоративного применения.

Примерами зон безопасности могут быть:

• · корпоративный сегмент;
• · защищенный сегмент PCI DSS;
• · тестовый сегмент сети;
• · демилитаризованная зона.

Виртуальные сегменты по умолчанию изолированы между собой. Для возможного обмена данными между ними используются межсетевые экраны. Для виртуализации физической сетевой инфраструктуры ЦОД используются следующие основные технологии:

• · виртуализация устройства (VDC для Nexus 7000, виртуальные контексты межсетевых экранов, IPS, traffic domain для балансировщика Citrix);
• · виртуализация таблицы маршрутизации (VRF), или виртуализация маршрутизатора;
• · VLAN для L2 сегментации.

Информационная безопасность ЦОДа

Подход к обеспечению безопасности информации, хранимой (обрабатываемой) в ЦОД, должен исходить из требований конфиденциальности, доступности и целостности. Концепции и стандарты, описанные в Глава 1, будут аналогичны и для защиты информации центров обработки данных.

Основные этапы обеспечения безопасности ЦОД:

• · Определение объектов защиты, типичный список которых включает в себя:
  • o Информация, хранимая (обрабатываемая) в системе;
  • o Оборудование;
  • o Программное обеспечение.
• · Построение модели угроз и модели действий нарушителя;
• · Оценка и анализ рисков (возможные риски приведены ниже):
  • o Сбои и отказы программно-аппаратных средств;
  • o Угрозы со стороны обслуживающего персонала;
  • o Ошибка руководства организации в связи с недостаточным уровнем осознания ИБ;
  • o Утечка информации;
  • o Нарушение функциональности и доступности персонала;
• · Разработка и внедрение в системы ЦОД методов и средств защиты.

В отношении территориально разнесенных дата-центров необходимо сформулировать дополнительные требования к системам защиты информации:

• · Обеспечение конфиденциальности и целостности данных передаваемых по каналам связи;
• · Поддержка единого адресного пространства для защищаемой LAN ЦОД;
• · Быстродействие и производительность;
• · Масштабируемость;
• · Отказоустойчивость;
• · Соответствие требованиям регулятора.

Катастрофоустойчивость ЦОДа

В существующих условиях повышения угроз различного характера: природного, техногенного, террористического - становится критически важным аспектом резервирование систем хранения и обработки данных, используемых в организации, в интересах обеспечения непрерывности бизнес-процессов.

В случае возникновения катастрофы вполне вероятно полное физическое разрушение конструкции центра обработки данных, поэтому, устойчивость дата-центра к катастрофам природного характера обеспечивается развертыванием территориально удаленного (на расстоянии от нескольких сотен км) резервного центра обработки данных.

Распределение ЦОД по нескольким площадкам требует организации следующих компонентов:

• · Резервируемые каналы связи
• · Репликация данных файловых хранилищ;
• · Разработка плана действий резервного копирования и восстановления систем;

Программно-аппаратный комплекс одного дата-центра, работающего в комплексе распределенных ЦОДов, может обслуживать бизнес-приложение в рамках одной площадки и обладать локальной отказоустойчивостью, т. е. способностью к восстановлению при единичных отказах. При этом инженерные системы ЦОД также должны обладать свойствами надежности и возможности обслуживания без остановки -именно эти характеристики отличают ЦОД различных классов.

Для защиты от катастроф (аварий на уровне всей площадки) предназначено катастрофоустойчивое решение, которое включает в себя два или более ЦОД. Задача - активация приложения в ручном или автоматическом режиме с актуальными данными на запасной площадке.

Возможны две основные стратегии использования распределенных ЦОД:

• · «активный/активный» - инфраструктурные приложения и сервисы распределены между площадками, и пользователи работают с ближайшим ЦОД;
• · «активный/пассивный» - при которой приложения централизованы, и пользователи работают с основным узлом. В случае отказа системы, нагрузка автоматически переключается на резервный ЦОД.

При определении географии размещения дата-центров следует учитывать распределение пользователей сервисов, предоставляемых компанией. Если все пользователи приложения размещаются в том же здании, что и ЦОД, бессмысленно резервировать площадку - в случае аварии локация в любом случае будет недосупна. Если география пользователей рассеяна в национальном или мировом масштабе, то и стратегия защиты должна предусматривать возможность восстановления соответствующего масштаба в случае катастрофы.

Крупные банки и другие коммерческие организации в силу особенностей своих отраслей прорабатывают стратегию защиты в масштабах страны. Лучшие практики описываются формулой 2СЗС: 2 сities, 3 сenters. Это означает, что в городе основного базирования находятся два ЦОД в метро-радиусе (т. е. нескольких десятков километров), дублирующих друг друга в синхронном режим, а в другом городе, на расстоянии не менее нескольких сотен километров, располагается третий ЦОД на случай региональной катастрофы в городе основного базирования.

Переключение между двумя основными площадками может быть быстрым и автоматическим, а переключение на удаленную площадку - медленным и ручным. Это связано с тем, что соединения между площадками должны иметь очень низкие показатели задержек (Latency), так как большие задержки отрицательно сказываются на производительности всей системы. А поскольку с увеличением расстояния задержки увеличиваются, расстояние между ЦОД не должно превышать 100 км. Иначе уже не возможно использовать технологию синхронной репликации. Ключевые транзакционные данные на основных площадках поддерживаются в синхронном состоянии, а на удаленной площадке, скорее всего, будет некоторое отставание. (см. подробнее раздел «Синхронизация данных в комплексе ЦОДов»).

Механизмы обеспечения надежности и защищенности сфере катастрофоустойчивости

Решения данной задачи могут быть реализовано как аппаратно, так и программно:

• · На рынке представлены высокодоступные аппаратные платформы, в которых функции избыточности и восстановления при сбоях реализованы на системном уровне. Исторически в данном сегменте сильны позиции мэйнфреймов. Это актуально прежде всего для тех предприятий, которые применяют подобные платформы много лет.
• · Наиболее предпочтительны решения, реализующие функции отказо- и катастрофоустойчивости непосредственно на прикладном уровне либо на уровне программной платформы (ПО промежуточного уровня). Такая реализация позволяет отрабатывать сбои с минимальными потерями, задержками и накладными расходами. Общее правило: чем выше уровень, на котором реализуются функции высокой доступности, тем лучше. Уровень платформы - наиболее подходящий, поскольку в данном случае разработчики прикладной функциональности изолированы от непрофильных для них низкоуровневых системных вопросов.

Наибольшее влияние на механизмы обеспечения надежности и защищенности оказали следующие технологии:

• · серверная виртуализация, позволяющая свести восстановление "упавшего" сервера к копированию файла с его образом из одного места в другое вместо восстановления физического сервера путем замены его сбойных компонентов или полной замены. Это уменьшает время восстановления в разы, а в случае плановых манипуляций с сервером - до нуля за счет Live Migration, позволяющей переносить продуктивную нагрузку с одного виртуального сервера на другой вообще без прерывания сервиса;
• · виртуализация систем хранения данных - обеспечение с помощью аппаратных или программных виртуализаторов СХД одинаковой (параллельной) видимости дисковых ресурсов и файлов для серверов, расположенных как в главном, так и в резервном вычислительных центрах. С учетом того, что виртуальный продуктивный сервер обычно представляет собой файл, применение виртуализатора позволяет существенно упростить общую конструкцию системы, повышает надежность и упрощает взаимодействие продуктивной и резервной систем;
• · дедупликация - значительное уменьшение объема трафика при передаче данных между главным и резервным центрами, что повышает надежность и снижает требования к каналам связи.

Важная оставляющая обеспечения защищенности - планы аварийного восстановления как со стороны ИТ (Disaster Reсovery Plan,) так и со стороны бизнеса (Business Сontinuity Plan). Последний предполагает наличие плана действий в случае утраты бизнесом основного инструмента. Оба плана должны периодически тестироваться согласно разработанному в организации регламенту.

Специфика территориально разнесенных ЦОДов

Основные отличия катастрофоустойчивого ЦОД от традиционного заключаются в том, что:

• · Он создается на базе двух или более территориально удаленных друг от друга площадок, которые объединены высоконадежными каналами связи.
• · Требуется внедрение целого ряда специализированных решений, например системы репликации данных и механизма аварийного восстановления информационных систем.
• · Все должно быть настроено таким образом, чтобы для пользователей переключение с площадки на площадку происходило предельно гладко и незаметно.
• · Эксплуатация катастрофоустойчивого решения ощутимо дороже, чем традиционного ЦОД, хотя бы потому, что для обслуживания нескольких площадок требуется больше сотрудников. Кроме того, чтобы обеспечить непрерывность бизнес-процессов и добиться бесшовности перехода, надо регулярно проводить учения (тестовые проверки) по переключению с одного комплекса серверов на другой.

При проектировании нужно помнить о пропускной способности каналов связи - они должны обеспечивать оперативную передачу данных между ЦОД, соответствующую требованиям SLA в части потери данных и сроков восстановления. Помимо этого должна быть разработана детальная программа эксплуатации дата-центра, которая должна включать:

• · поиск, подбор и должное обучение персонала объекта,
• · наличие хорошо работающих поставщиков,
• · безопасность и охрану труда,
• · аварийные и рабочие процедуры,
• · четкий график работ,
• · управление инцидентами и изменениями на объекте,
• · профилактическое обслуживание,
• · компьютерные системы мониторинга и обеспечения.

Что касается сетевой инфраструктуры территориально распределенных ЦОДов, то сейчас тенденция такова, что все больше заказчиков при построении своих сетей ориентируются на построение сетей передачи данных второго уровня (L2) с плоской топологией. В сетях ЦОД переход к ней стимулируется увеличением числа потоков «сервер - сервер» и «сервер - система хранения». Такой подход упрощает планирование сети и внедрение, а также снижает операционные расходы и общую стоимость вложений, делает сеть более производительной.

Уязвимость территориально распределенных ЦОДов

Консолидация ИТ-сервисов в ЦОД имеет множество преимуществ: эффективное использование вычислительных ресурсов, высокая доступность критичных сервисов, гибкость и масштабируемость ИТ-инфраструктуры. Однако, ЦОДы также стали и чрезвычайно привлекательной мишенью для злоумышленников. Особенно перспективной точкой взлома выглядят магистральные каналы, соединяющие ЦОДы, ведь через них передается колоссальное количество данных. Одна часть этих данных является ценностью сама по себе (например, персональные или коммерческие данные), другая часть позволяет узнать больше о внутренней структуре ЦОД, используемых версиях операционных систем и программного обеспечения и прочей ценной служебной информации. В результате злоумышленники могут получить доступ к ресурсам ЦОД через известные или новые уязвимости, а также вследствие ошибок, допущенных техническим персоналом при конфигурировании оборудования или программного обеспечения (ПО).

Становится очевидно, что каналы, соединяющие ЦОД между собой, необходимо защищать как от пассивного вмешательства (т.е. прослушивания данных), так и от активных действий злоумышленников (т.е. попыток изменить передаваемую информацию или не допустить её передачи).

Одним из вариантов такой защиты может служить физическая защита канала передачи данных. Она может хорошо работать в том случае, если канал проходит в пределах одного здания или, по крайней мере, по закрытой частной территории. В тех же случаях, когда ЦОДы географически удалены друг от друга, физическая защита становится очень дорогой, а зачастую совсем невозможной. В такой ситуации приходится использовать недоверенные каналы связи и применять криптографическую защиту передаваемых данных.

Важно также учесть, что если в информационной системе компании обрабатывается информация, подлежащая обязательной защите в соответствии с российским законодательством (например, персональные данные), то необходимо использовать сертифицированные средства защиты, прошедшие процедуру оценки регуляторами - ФСБ России и ФСТЭК России.

Синхронизация данных в комплексе ЦОДов

Для синхронизации массивов данных в распределенных ЦОД применяются синхронные и асинхронные технологии репликации. В первом случае данные параллельно записываются на исходную и удаленную системы хранения. Запрос записи на исходной системе подтверждается лишь по завершении процесса записи на целевой системе. Во втором случае процессы записи на исходной и удаленной системах могут осуществляться независимо друг от друга. Среди прочих различают методы на базе снимков (Snapshot), уровне блоков и байтов. В Таблица 4 приведено сравнение технологий репликации по следующим критериям:

• · RPO (Reсovery point objeсtive) - допустимая точка восстановления
• · Допустимое расстояние для работы технологии
• · Уровень защиты информации
• · Зависимость производительности решения от расстояния/объема данных
• · Необходимый уровень пропускной способности коммуникационных каналов

В среде локальных и городских сетей (Metropolitan Area Network, MAN) эти методы, как правило, функционируют очень хорошо. Проблемы появляются, когда увеличивается задержка на линиях передачи, а в распоряжении пользователя имеется только глобальная сеть с гораздо более узкой полосой пропускания по сравнению с локальной/городской сетью.