Физическая защита ЦОДа — понятие комплексное. Автоматизированная защита от ddos

В современных условиях комплексная система безопасности должна не только решать основные задачи безопасности - обеспечения защиты от пожара и защиты от проникновения посторонних, но и способствовать повышению трудовой дисциплины, автоматизировать кадровый учет.
Одним из важнейших компонентов ЦОД является система технической безопасности. Дорогостоящее оборудование должно быть надежно защищено от несанкционированного проникновения, от возникновения пожара. Обслуживающий персонал ЦОД должен быть защищен от пожара, непредвиденных внештатных ситуаций. Комплексная система безопасности ЦОД объединяет в себе систему видеонаблюдения (СВН), систему контроля и управления доступом (СКУД), систему охранной сигнализации (СОС), систему голосового оповещения (СГО) о пожаре и систему пожарной сигнализации (СПС), интегрированную с системой газового, либо порошкового пожаротушения (ГПТ).

Для обеспечения безопасности персонала ЦОД, в здании установлена автоматическая система светозвукового оповещения о пожаре, которая, в случае возгорания и получения информации от системы пожарной сигнализации, будет передавать звуковые сигналы при помощи сирен, установленных в помещении здания, и указывать эвакуационные выходы при помощи световых табло «Выход».
При проектировании и создании системы пожарной сигнализации, входящей в состав комплексной системы безопасности, используется в основном оборудование и технологии компании НВП «БОЛИД». Информация с дымовых и ручных пожарных извещателей поступает на панель управления пожарной сигнализации. Установленное в системе сигнализации программное обеспечение организует автоматическую работу системы в случаях задымления или возгорания в помещениях, которые контролирует система безопасности.
В частности, при поступлении тревоги от любого извещателя системы, прибор пожарной сигнализации подает команду на включение системы оповещения о пожаре, отключает систему вентиляции и открывает двери, которые оборудованы системой контроля и управления доступом. В случае поступления тревожной информации от системы пожаротушения, прибор пожарной сигнализации будет отрабатывать ту же самую последовательность действий.

Для контроля и фиксации событий на территории ЦОД комплексная система безопасности использует возможности системы видеонаблюдения, которая позволяет сотрудникам службы безопасности осуществлять дистанционный визуальный контроль над всеми зонами объекта, а также записывать и хранить всю видеоинформацию. Цифровые системы видеонаблюдения - самый эффективный метод охраны. Автоматическая система видео наблюдения работает одинаково эффективно в любое время суток, регистрируя все внештатные ситуации. Архивирование данных производится в папки с указанием даты и времени записи. При просмотре видеозаписи пользователь получает полную картину событий, происходящих в охраняемой зоне.
Есть еще один немаловажный аспект видеоконтроля - сотрудники, находящиеся под непрерывным наблюдением начинают работать гораздо эффективнее.

Автоматическая система пожаротушения это один из самых эффективных способов (методов) экстренного пожаротушения. Автоматическая система пожаротушения воздействует на очаг возгорания, в самом его зарождении, таким образом можно избежать распространения огня и соответственно огромного ущерба от пожара.В качестве огнетушащего вещества - системы используют двуокись углерода, инертные газы, а также различные составы фторосодержащих углеводородов. Установка автоматического пожаротушения позволяют обезопасить, а затем предотвратить пожар на ранней стадии возгораний.

Функциональные возможности комплексной системы безопасности:

• Фиксация и оповещение службы безопасности о возникновении задымления или пожара на территории предприятия с указанием адреса тревожного помещения.
• Автоматическое включение системы пожаротушения в местах возникновения пожара.
• Управление входными дверьми.
• Отключение системы вентиляции при поступлении сигнала тревоги с пожарных извещателей.
• Звуковое оповещение персонала ЦОД о пожаре и указание безопасных путей их эвакуации.
• Круглосуточное видеонаблюдение за охраняемой территорией с записью видеоинформации на цифровые устройства комплексной системы безопасности.
• Архивирование видеозаписей по помещениям ЦОД с возможностью по кадрового воспроизведения записей тревог, в том числе по дате, времени суток, по камере и т.п.
• Управление системой контроля и управления доступом для регулирования санкционированного входа/выхода сотрудников ЦОД и учета рабочего времени каждого сотрудника.

Cегодня мы решили обратить внимание на тему «жизненного цикла» центров обработки данных, рассказать о том, что это такое и как правильное управление им позволяет компаниям сократить не только текущие, но и капитальные затраты. Учитывая современные тенденции к внедрению все новых решений (включая гиперконвергентные системы) и сервисов, значительные трудности в этом процессе могут быть связаны с изменением и адаптацией физической инфраструктуры дата-центров.

Жизненный цикл ЦОДа включает в себя поэтапный процесс развития инженерной инфраструктуры в соответствии с задачами бизнеса и ИТ-процессами и может быть разделен на несколько этапов:

1. Подготовительный : понимание целей создания, формирование концепции решения, выбор площадки;
2. Проектирование в соответствии с выбранной концепцией и характеристиками площадки;
3. Строительство ;
4. Эксплуатация ;
5. Оценка соответствия и анализ эффективности.

Требования бизнеса к ИТ-сервисам постоянно меняются, и завершающая данный цикл оценка соответствия как раз и помогает понять, насколько эффективно ЦОД позволяет решать текущие задачи, и способен ли он справиться с новыми, готов ли он к росту. Далее следует планирование доработки или модернизации площадки под новые задачи и все последующие этапы – круг замыкается.

Проектирование и строительство

На российском рынке накоплена солидная компетенция в области проектирования и строительства ЦОДов, есть специалисты соответствующей квалификации, однако не всегда удается выполнить проект в соответствие с заданными клиентом KPI. Уже в ходе реализации проекта требования бизнеса могут измениться и далее некорректно сформулированы и отражены в техзадании. Как следствие, строительство площадки производится качественно, однако основная сложность на этапе проектирования – понять, какие задачи стоят перед объектом и как именно ЦОД должен быть сконструирован и оснащен, чтобы отвечать всем требованиям бизнеса, что удается сделать не всегда.

Сегодня требуется четко формировать техническое задание, описывая в нём корректные и оптимальные решения, отвечающие задачам бизнеса в перспективе как минимум 5-8 лет. Помочь в подготовке грамотных специалистов может Центр обучения вендора, обладающего соответствующей компетенцией. Так задачей Центра обучения Schneider Electri c является ознакомление партнеров и клиентов с технически сложной продукцией компании, особенностями ее применения, установки и эксплуатации в реальных условиях.
ЦОД, как правило, физически не привязан к потребителям его услуг, однако, важно учитывать, что размещение его в неподходящем здании радикально увеличивает стоимость инфраструктуры площадки. Стоит помнить и о том, что окружение ЦОДа может влиять на его надежность.

Типичные ошибки, совершаемые на подготовительном этапе:

1. Проектирование ЦОДа как офиса, в то время как это промышленный объект;
2. Ошибки в резервировании систем, компонентов, коммуникаций;
3. Ошибки в расчете размера выделяемой площади под инженерные системы и вспомогательные помещения, с оценкой веса оборудования и его габаритов, с обеспечением автономности объекта.

Важным является понимание ключевых метрик ЦОДа, перспектив его развития, так как инженерные системы должны «пережить» 2-3 поколения ИТ-оборудования. Службу эксплуатации редко вовлекают в проект на этапе строительства. Между тем специалисты по электроснабжению и системам охлаждения должны привлекаться еще на этапе проектных работ и присутствовать в рабочих группах.

Эксплуатация

Как бы хорошо не был продуман и грамотно реализован проект, на этапе эксплуатации возникает немало проблем. Одна из их носит организационный характер и касается взаимодействия между административно-хозяйственным и ИТ-департаментом. Когда такой связки нет, решение в целом может работать неэффективно или вовсе не функционировать.
На практике административно-хозяйственные подразделения порой оказываются крайне далеки от понимания, что такое дата-центр и каковы предъявляемые к нему требования, а иногда попросту становятся непреодолимым бюрократическим барьером, поэтому желательно показать этой службе концепцию построения дата-центра на их объекте, объяснить принципы работы инженерных систем и приблизительные параметры оборудования.

В ИТ-отделе могут быть и свои, внутренние проблемы. Когда разные ИТ-подразделения отвечают за разные компоненты (серверы, СХД, сетевое оборудование, системы охлаждения и пр.) и при этом не имеют четких регламентов и разделения зон ответственности, на площадке возникает хаос.

В этом случае проще «переехать» на новую площадку, чем проводить глубокую модернизацию старой, и уже потом переделывать имеющийся ЦОД, не нарушая работы функционирующих на новом месте ИТ-сервисов. Еще один вариант – на время «капремонта» арендовать площади в коммерческом ЦОДе. Оптимальное решение выбирается в каждом конкретном случае.
В современных ЦОДах за непрерывную и эффективную работу инфраструктуре, как правило, отвечает отдельная команда специалистов. Для автоматизации мониторинга, управления, ведения отчётности, управления перемещениями и контроля эффективности используют инструменты, которые принято обозначать аббревиатурой DCIM (Data Center Infrastructure Management).

Задачи мониторинга событий, состояния оборудования и среды зачастую решаются в первую очередь – для этого применяются такие средства, как контроллеры NetBotz и система мониторинга Data Center Expert. Но сейчас наиболее актуальными становятся задачи эффективного использования ресурсов - от электроэнергии до пространства в машинных залах. Своевременное внедрение эффективных регламентов и контроль использования электроэнергии позволяет не только снизить весьма значительные эксплуатационные затраты и вернуть инвестиции раньше, но и планировать новые приобретения или строительство с учётом оценки реальной, а не «бумажной» эффективности оборудования. В качестве платформы для организации такого подхода можно использовать Data Center Operation – модульное решение с набором всех необходимых функций.

Данное решение Schneider Electric позволяет операторам ЦОДов контролировать и эффективнее управлять центрами обработки данных и выполнять текущие задачи, а интеграция сторонних ИТ-сервисов позволяет обмениваться соответствующей информацией между системами разных вендоров, получая в результате более полное представление о производительности и доступности ЦОДа для повышения его надежности и эффективности эксплуатации.

Оценка и оптимизация

Оптимизация – улучшение параметров подсистем ЦОДа – требует предварительного проведения этапа оценки – аудита, анализа эффективности их работы, создания математической модели площадки и устранения проблемных точек на основе данных мониторинга.
Качественная система мониторинга, созданная специально для решения задач эксплуатации дата центра, система моделирования работы оборудования, позволяющая получить понятную модель функционирования ЦОДа, - важные инструменты, благодаря которым специалисты по эксплуатации могут отследить состояние ЦОДа в режиме реального времени.

Различные улучшения, такие как построение систем изоляции воздушных коридоров, реорганизация плит фальшпола, устранение в стойках мест с неправильной циркуляцией воздушных потоков с последующей перенастройкой систем кондиционирования, позволяет сократить энергопотребление ЦОДа в реальных проектах на 10-20%. Окупается такая оптимизация (если брать в расчет только энергопотребление) за 3-3,5 года.

Еще один эффект оптимизации – улучшение работы систем охлаждения, когда эффективнее используется установленное ранее оборудование , к примеру, становится возможной установка в стойку большего числа серверов. «Коэффициент полезного использования ЦОДа» можно довести с 70-75% до 90-95%. Такая оптимизация окупается примерно за полгода.

Аналитика данных помогает найти конкретное решение для снижения стоимости эксплуатации устройств на площадке заказчика, выбрать наиболее энергоэффективный режим или оптимизировать использование ресурсов. Или понять, что пришла пора модернизации.

Модернизация ЦОДа не всегда означает установку нового оборудования и в первую очередь представляет собой повышение КПД систем и эффективности их использования.

Оценка ситуации помогает понять, что нужно сделать, чтобы ЦОД вновь работал эффективно. У одного из заказчиков такая проблема была решена с помощью создания закрытых холодных коридоров и блокирования воздушных потоков там, где они снижали эффективность отвода тепла. Причем работа выполнялась без остановки систем дата-центра.

Во многих проектах работа ведется на стыке этапов эксплуатации и оценки. Сегодня у многих заказчиков появляются новые ИТ-задачи, идет информатизация, цифровизация бизнеса, приходится решать различные эксплуатационные проблемы. Справиться с ними помогает помощь экспертов на этапе оценки и проведение аудита ЦОДа. Созданный Schneider Electric в России Региональный центр разработки приложений (Regional Application Center) занимается комплексными решениями для дата-центров. Его основная задача – создание и поддержка устойчивого и эффективного функционирования ЦОДа на всех этапах его жизненного цикла.

Специалисты Schneider Electric принимают участие в проектировании, строительстве, комплексных испытаниях и вводе объектов в эксплуатацию, в последующей поддержке и модернизации дата-центра. На каждом этапе заказчику обеспечивается отказоустойчивость и эффективность работы ЦОДа. При росте масштабов и скорости цифровых технологий предлагаемые нами решения помогут компаниям, провайдерам облачных, телекоммуникационных сервисов и коммерческих площадок смотреть в будущее с уверенностью.

В зависимости от назначения современные ЦОД можно разделить на закрытые, которые обеспечивают потребности в вычислительных мощностях конкретной компании, и ЦОД, предоставляющие сервисы в виде услуг пользователям.

Все системы ЦОД состоят из собственно ИТ- инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС.

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов:

• · ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;
• · серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы;
• · серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;
• · служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDС, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено, только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Архитектура ЦОД

Сетевая архитектура центра обработки данных определяет его важные характеристики, такие как производительность, масштабируемость и гибкость в дальнейших конфигурационных изменениях. Ведь чем гибче настроена сеть в ЦОДе, тем быстрее возможно реагировать на запросы рынка, избегая лишних затрат. Основной инструмент разворачивания сети между серверами ЦОД - это коммутаторы, но есть различные пути настройки взаимодействия между серверами. Топологии характеризуются различными требованиями к аппаратным ресурсам, целью которых является увеличение производительность дата-центров. При этом существуют стандартные схемы подключения коммутаторов к серверам:

• · top-of-raсk - это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с агрегирующим слоем (в стандартной трехзвенной модели)
• o Преимущества топологии top-of-rack:
  • § большинство коммутаций внутри шкафа;
  • § более простая в обслуживании и дешевая кабельная система;
  • § модульная архитектура «per rack» (каждый шкаф как отдельный независимый блок);
  • § подключение серверов с использованием дешевых SFP+ модулей 10GE (40 GE) для коротких расстояний.
• o Недостатки топологии top-of-rack:
• § много коммутаторов для управления, много портов на уровне агрегации;
• § ограничения масштабируемости (STP logical ports и емкость портов коммутатора агрегации);
• § много L2 трафика на уровне агрегации
• · end-of-row модель предполагает расположение коммутатора, условно, «в конце ряда стоек» и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд
• o Преимущества топологи end/middle-of-row:
  • § меньше коммутаторов;
  • § меньше портов на уровне агрегации.
  • § надежные, зарезервированные и как правило модульные коммутаторы доступа;
  • § единая точка управления для сотен портов.
• o Недостатки топологи end/middle-of-row:
• § более дорогостоящая кабельная инфраструктура;
• § много кабелей - препятствие для охлаждения;
• § длинные кабели - ограничение на использованием дешевых подключений на 10/40 GE - «Per row» архитектура (каждый ряд как отдельный независимы блок).

Топология сети взаимодействия между серверами в ЦОДе имеет значительное влияние на гибкость и возможность переконфигурирования инфраструктуры датацентра. Так как данный вопрос получил отклик, как в академической, так и коммерческой средах, то в последнее время было разработано немалое число возможных топологий датацентров:

• · фиксированные (после развертывания сети в архитектуре невозможны изменения)
• o древовидные - стандартное широко используемое решение для ЦОД, когда каждый сервер подключен к одному коммутатору, находящемуся на низшем уровне топологии:
  • § Basiс tree
  • § Fat tree
  • · Al-Fares et al
  • · Portland
  • · Hedera
  • § Сlos network
  • · VL2
• o Рекурсивные - топологии, при которых сервера могут быть подключены к разноуровневым коммутаторам или к другим серверам:
• § DСell
• § BСube
• § MDСube
• § FiСonn
• · Гибкие (возможны изменения в топологии уже после развертывания сети) - принципиальное отличие состоит в том, чтобы использовать коммутаторы с оптическими портами. Помимо увеличения пропускной способности (до Тб/сек с использованием технологий спектрального уплотнения каналов - WDM), данное решение обладает высокой гибкостью при переконфигурации топологии сети.
• o Полностью оптические
• § OSA
• o Гибридные
• § С-Through
• § Helios

Сетевая инфраструктура ЦОДа

Подход к построению сетевой инфраструктуры должен обеспечивать должный уровень таких качественных параметров как:

• · надежность,
• · безопасность,
• · производительность,
• · управляемость,
• · масштабируемость.

В целях организации сетевой инфраструктуры ЦОД применяются такие классы оборудования, как:

• · Канальное оборудование, в число которых входят мультиплексоры CWDM и DWDM, транспондеры, конверторы и т.д.
• · Оборудование коммутации Ethernet, отличающееся высокой производительностью и высокой надёжностью, с функционалом маршрутизации и распределения нагрузки. В связи с тем, что в центрах обработки данных для бизнеса используется большой объем передаваемых данных, то предъявляются жесткие требования к оборудованию в плане производительности, функциональности и надежности.
• · Коммутационное оборудование стандарта FibreChannel. При этом могут быть использовано оборудования различных классов. Это зависит от выбранной архитектуры сетевой инфраструктуры ЦОД. Могут быть использованы как простейшие коммутаторы уровня рабочей группы или же оборудование уровня предприятия.
• · Программные комплексы, осуществляющие централизованный мониторинг и управление сетью, которые предоставляют единую точку управления всей сетевой инфраструктурой ЦОД за счёт графического интерфейса, а также расширенных средств визуализации наблюдаемых параметров, таких как состояние функциональных компонентов, загруженность ресурсов коммутаторов и даже некоторые параметры подключенных устройств, включая версию микропрограммного обеспечения интерфейсных карт FibreChannel в серверах.

Сеть современного ЦОД можно строить в один, два и три уровня, . У каждого варианта есть свои предназначения. Рассмотрим далее вкратце упомянутые выше варианты:

• · Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами
• · Двухуровневая архитектура (L1) подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня коммутаторов по схеме ToR (Top-of-Raсk).
• · Трехуровневый вариант архитектуры (L3), иногда его еще называют EoR (End-of-Row). В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам.

В настоящее время используемая большинством ЦОД сеть использует трехуровневую архитектуру с уровнями L2 (коммутация) и L3 (маршрутизация), которая предназначалась для систем с гораздо меньшими объемами передачи данных, таких как: корпоративная переписка, бухгалтерская отчетность, хранение документации, ведение документации предприятий. Проблема заключается в том, что подобная архитектура устанавливает ограничения на сегодняшний трафик, в котором большую долю занимает цифровой контент, и негативно влияет на мобильность виртуальных машин, что приводит к увеличению капитальных и операционных расходов на поддержание работоспособности ЦОД, а также росту энергопотребления.

Сейчас набирают популярность такие варианты подключения, как оптоволоконный Ethernet (FCoE - Fibre Сhannel over Ethernet) и новые разработки высокоскоростного Ethernet (1 Гбит/с и 10Гбит/с). Традиционное решение в ЦОД предполагает создание двух сетей - сеть передачи данных на базе протокола Ethernet и сеть хранения данных на базе протокола Fiber Channel (FC).

В последние годы получила развитие другая технология - конвергентных сетей. Конвергентная сетевая инфраструктура - это единая сеть, объединяющая сеть передачи данных и сеть хранения данных, обеспечивающая доступ к системам хранениям данных с использованием любых протоколов - как блочных, так и файловых. Такое решение позволяет не только в два раза сократить количество сетевых подключений, но и обеспечить единый уровень надежности и доступности для всей сетевой инфраструктуры.

В основе решения лежит протокол Fiber Channel over Ethernet (FCoE), обеспечивающий передачу FC-трафика через Ethernet-транспорт. При помощи DataCenterBridging (DCB), Ethernet превращается в протокол без потерь, который подходит для трафика FCoE, обеспечивающего традиционную в SAN-сетях изоляцию фабрик (Fabric A и Fabric B). Помимо этого унифицированная коммутация позволяет упростить управление и сэкономить на оборудовании, электропитании, а так же на кабельной инфраструктуре.

Развертывание среды виртуализации в ЦОД

В текущий период экономической нестабильности компании пытаются всеми способами сократить свои операционные издержки. В случае с развитыми ИТ- инфраструктурами данная деятельность не должна иметь негативных последствий для информационных ресурсов организации. Внедрение платформы виртуализации позволит избежать этих последствий, так как оптимизация по средствам виртуализации имеет ряд преимуществ:

• * Увеличение коэффициента использования аппаратного обеспечения
• * Уменьшение затрат на замену аппаратного обеспечения
• * Повышение гибкости использования виртуальных серверов
• * Обеспечение высокой доступности серверов
• * Повышение управляемости серверной инфраструктуры
• * Экономия на обслуживающем персонале
• * Экономия на электроэнергии

Виртуализация сетевой инфраструктуры ЦОД включает в себя:

• · Виртуализацию физической сети;
• · Построение виртуальной сети внутри виртуальной серверной среды.
• · Виртуализация физической сети.

Благодаря технологиям виртуализации физическая сетевая инфраструктура ЦОД разбивается на множество виртуальных срезов, представляющие собой виртуальные ЦОД.

Примерами использования такого разделения может быть использование сети для разных заказчиков, что больше подходит для провайдеров, а также сегментация сети для создания различных зон безопасности, что является актуальным для корпоративного применения.

Примерами зон безопасности могут быть:

• · корпоративный сегмент;
• · защищенный сегмент PCI DSS;
• · тестовый сегмент сети;
• · демилитаризованная зона.

Виртуальные сегменты по умолчанию изолированы между собой. Для возможного обмена данными между ними используются межсетевые экраны. Для виртуализации физической сетевой инфраструктуры ЦОД используются следующие основные технологии:

• · виртуализация устройства (VDC для Nexus 7000, виртуальные контексты межсетевых экранов, IPS, traffic domain для балансировщика Citrix);
• · виртуализация таблицы маршрутизации (VRF), или виртуализация маршрутизатора;
• · VLAN для L2 сегментации.

Информационная безопасность ЦОДа

Подход к обеспечению безопасности информации, хранимой (обрабатываемой) в ЦОД, должен исходить из требований конфиденциальности, доступности и целостности. Концепции и стандарты, описанные в Глава 1, будут аналогичны и для защиты информации центров обработки данных.

Основные этапы обеспечения безопасности ЦОД:

• · Определение объектов защиты, типичный список которых включает в себя:
  • o Информация, хранимая (обрабатываемая) в системе;
  • o Оборудование;
  • o Программное обеспечение.
• · Построение модели угроз и модели действий нарушителя;
• · Оценка и анализ рисков (возможные риски приведены ниже):
  • o Сбои и отказы программно-аппаратных средств;
  • o Угрозы со стороны обслуживающего персонала;
  • o Ошибка руководства организации в связи с недостаточным уровнем осознания ИБ;
  • o Утечка информации;
  • o Нарушение функциональности и доступности персонала;
• · Разработка и внедрение в системы ЦОД методов и средств защиты.

В отношении территориально разнесенных дата-центров необходимо сформулировать дополнительные требования к системам защиты информации:

• · Обеспечение конфиденциальности и целостности данных передаваемых по каналам связи;
• · Поддержка единого адресного пространства для защищаемой LAN ЦОД;
• · Быстродействие и производительность;
• · Масштабируемость;
• · Отказоустойчивость;
• · Соответствие требованиям регулятора.

Катастрофоустойчивость ЦОДа

В существующих условиях повышения угроз различного характера: природного, техногенного, террористического - становится критически важным аспектом резервирование систем хранения и обработки данных, используемых в организации, в интересах обеспечения непрерывности бизнес-процессов.

В случае возникновения катастрофы вполне вероятно полное физическое разрушение конструкции центра обработки данных, поэтому, устойчивость дата-центра к катастрофам природного характера обеспечивается развертыванием территориально удаленного (на расстоянии от нескольких сотен км) резервного центра обработки данных.

Распределение ЦОД по нескольким площадкам требует организации следующих компонентов:

• · Резервируемые каналы связи
• · Репликация данных файловых хранилищ;
• · Разработка плана действий резервного копирования и восстановления систем;

Программно-аппаратный комплекс одного дата-центра, работающего в комплексе распределенных ЦОДов, может обслуживать бизнес-приложение в рамках одной площадки и обладать локальной отказоустойчивостью, т. е. способностью к восстановлению при единичных отказах. При этом инженерные системы ЦОД также должны обладать свойствами надежности и возможности обслуживания без остановки -именно эти характеристики отличают ЦОД различных классов.

Для защиты от катастроф (аварий на уровне всей площадки) предназначено катастрофоустойчивое решение, которое включает в себя два или более ЦОД. Задача - активация приложения в ручном или автоматическом режиме с актуальными данными на запасной площадке.

Возможны две основные стратегии использования распределенных ЦОД:

• · «активный/активный» - инфраструктурные приложения и сервисы распределены между площадками, и пользователи работают с ближайшим ЦОД;
• · «активный/пассивный» - при которой приложения централизованы, и пользователи работают с основным узлом. В случае отказа системы, нагрузка автоматически переключается на резервный ЦОД.

При определении географии размещения дата-центров следует учитывать распределение пользователей сервисов, предоставляемых компанией. Если все пользователи приложения размещаются в том же здании, что и ЦОД, бессмысленно резервировать площадку - в случае аварии локация в любом случае будет недосупна. Если география пользователей рассеяна в национальном или мировом масштабе, то и стратегия защиты должна предусматривать возможность восстановления соответствующего масштаба в случае катастрофы.

Крупные банки и другие коммерческие организации в силу особенностей своих отраслей прорабатывают стратегию защиты в масштабах страны. Лучшие практики описываются формулой 2СЗС: 2 сities, 3 сenters. Это означает, что в городе основного базирования находятся два ЦОД в метро-радиусе (т. е. нескольких десятков километров), дублирующих друг друга в синхронном режим, а в другом городе, на расстоянии не менее нескольких сотен километров, располагается третий ЦОД на случай региональной катастрофы в городе основного базирования.

Переключение между двумя основными площадками может быть быстрым и автоматическим, а переключение на удаленную площадку - медленным и ручным. Это связано с тем, что соединения между площадками должны иметь очень низкие показатели задержек (Latency), так как большие задержки отрицательно сказываются на производительности всей системы. А поскольку с увеличением расстояния задержки увеличиваются, расстояние между ЦОД не должно превышать 100 км. Иначе уже не возможно использовать технологию синхронной репликации. Ключевые транзакционные данные на основных площадках поддерживаются в синхронном состоянии, а на удаленной площадке, скорее всего, будет некоторое отставание. (см. подробнее раздел «Синхронизация данных в комплексе ЦОДов»).

Механизмы обеспечения надежности и защищенности сфере катастрофоустойчивости

Решения данной задачи могут быть реализовано как аппаратно, так и программно:

• · На рынке представлены высокодоступные аппаратные платформы, в которых функции избыточности и восстановления при сбоях реализованы на системном уровне. Исторически в данном сегменте сильны позиции мэйнфреймов. Это актуально прежде всего для тех предприятий, которые применяют подобные платформы много лет.
• · Наиболее предпочтительны решения, реализующие функции отказо- и катастрофоустойчивости непосредственно на прикладном уровне либо на уровне программной платформы (ПО промежуточного уровня). Такая реализация позволяет отрабатывать сбои с минимальными потерями, задержками и накладными расходами. Общее правило: чем выше уровень, на котором реализуются функции высокой доступности, тем лучше. Уровень платформы - наиболее подходящий, поскольку в данном случае разработчики прикладной функциональности изолированы от непрофильных для них низкоуровневых системных вопросов.

Наибольшее влияние на механизмы обеспечения надежности и защищенности оказали следующие технологии:

• · серверная виртуализация, позволяющая свести восстановление "упавшего" сервера к копированию файла с его образом из одного места в другое вместо восстановления физического сервера путем замены его сбойных компонентов или полной замены. Это уменьшает время восстановления в разы, а в случае плановых манипуляций с сервером - до нуля за счет Live Migration, позволяющей переносить продуктивную нагрузку с одного виртуального сервера на другой вообще без прерывания сервиса;
• · виртуализация систем хранения данных - обеспечение с помощью аппаратных или программных виртуализаторов СХД одинаковой (параллельной) видимости дисковых ресурсов и файлов для серверов, расположенных как в главном, так и в резервном вычислительных центрах. С учетом того, что виртуальный продуктивный сервер обычно представляет собой файл, применение виртуализатора позволяет существенно упростить общую конструкцию системы, повышает надежность и упрощает взаимодействие продуктивной и резервной систем;
• · дедупликация - значительное уменьшение объема трафика при передаче данных между главным и резервным центрами, что повышает надежность и снижает требования к каналам связи.

Важная оставляющая обеспечения защищенности - планы аварийного восстановления как со стороны ИТ (Disaster Reсovery Plan,) так и со стороны бизнеса (Business Сontinuity Plan). Последний предполагает наличие плана действий в случае утраты бизнесом основного инструмента. Оба плана должны периодически тестироваться согласно разработанному в организации регламенту.

Специфика территориально разнесенных ЦОДов

Основные отличия катастрофоустойчивого ЦОД от традиционного заключаются в том, что:

• · Он создается на базе двух или более территориально удаленных друг от друга площадок, которые объединены высоконадежными каналами связи.
• · Требуется внедрение целого ряда специализированных решений, например системы репликации данных и механизма аварийного восстановления информационных систем.
• · Все должно быть настроено таким образом, чтобы для пользователей переключение с площадки на площадку происходило предельно гладко и незаметно.
• · Эксплуатация катастрофоустойчивого решения ощутимо дороже, чем традиционного ЦОД, хотя бы потому, что для обслуживания нескольких площадок требуется больше сотрудников. Кроме того, чтобы обеспечить непрерывность бизнес-процессов и добиться бесшовности перехода, надо регулярно проводить учения (тестовые проверки) по переключению с одного комплекса серверов на другой.

При проектировании нужно помнить о пропускной способности каналов связи - они должны обеспечивать оперативную передачу данных между ЦОД, соответствующую требованиям SLA в части потери данных и сроков восстановления. Помимо этого должна быть разработана детальная программа эксплуатации дата-центра, которая должна включать:

• · поиск, подбор и должное обучение персонала объекта,
• · наличие хорошо работающих поставщиков,
• · безопасность и охрану труда,
• · аварийные и рабочие процедуры,
• · четкий график работ,
• · управление инцидентами и изменениями на объекте,
• · профилактическое обслуживание,
• · компьютерные системы мониторинга и обеспечения.

Что касается сетевой инфраструктуры территориально распределенных ЦОДов, то сейчас тенденция такова, что все больше заказчиков при построении своих сетей ориентируются на построение сетей передачи данных второго уровня (L2) с плоской топологией. В сетях ЦОД переход к ней стимулируется увеличением числа потоков «сервер - сервер» и «сервер - система хранения». Такой подход упрощает планирование сети и внедрение, а также снижает операционные расходы и общую стоимость вложений, делает сеть более производительной.

Уязвимость территориально распределенных ЦОДов

Консолидация ИТ-сервисов в ЦОД имеет множество преимуществ: эффективное использование вычислительных ресурсов, высокая доступность критичных сервисов, гибкость и масштабируемость ИТ-инфраструктуры. Однако, ЦОДы также стали и чрезвычайно привлекательной мишенью для злоумышленников. Особенно перспективной точкой взлома выглядят магистральные каналы, соединяющие ЦОДы, ведь через них передается колоссальное количество данных. Одна часть этих данных является ценностью сама по себе (например, персональные или коммерческие данные), другая часть позволяет узнать больше о внутренней структуре ЦОД, используемых версиях операционных систем и программного обеспечения и прочей ценной служебной информации. В результате злоумышленники могут получить доступ к ресурсам ЦОД через известные или новые уязвимости, а также вследствие ошибок, допущенных техническим персоналом при конфигурировании оборудования или программного обеспечения (ПО).

Становится очевидно, что каналы, соединяющие ЦОД между собой, необходимо защищать как от пассивного вмешательства (т.е. прослушивания данных), так и от активных действий злоумышленников (т.е. попыток изменить передаваемую информацию или не допустить её передачи).

Одним из вариантов такой защиты может служить физическая защита канала передачи данных. Она может хорошо работать в том случае, если канал проходит в пределах одного здания или, по крайней мере, по закрытой частной территории. В тех же случаях, когда ЦОДы географически удалены друг от друга, физическая защита становится очень дорогой, а зачастую совсем невозможной. В такой ситуации приходится использовать недоверенные каналы связи и применять криптографическую защиту передаваемых данных.

Важно также учесть, что если в информационной системе компании обрабатывается информация, подлежащая обязательной защите в соответствии с российским законодательством (например, персональные данные), то необходимо использовать сертифицированные средства защиты, прошедшие процедуру оценки регуляторами - ФСБ России и ФСТЭК России.

Синхронизация данных в комплексе ЦОДов

Для синхронизации массивов данных в распределенных ЦОД применяются синхронные и асинхронные технологии репликации. В первом случае данные параллельно записываются на исходную и удаленную системы хранения. Запрос записи на исходной системе подтверждается лишь по завершении процесса записи на целевой системе. Во втором случае процессы записи на исходной и удаленной системах могут осуществляться независимо друг от друга. Среди прочих различают методы на базе снимков (Snapshot), уровне блоков и байтов. В Таблица 4 приведено сравнение технологий репликации по следующим критериям:

• · RPO (Reсovery point objeсtive) - допустимая точка восстановления
• · Допустимое расстояние для работы технологии
• · Уровень защиты информации
• · Зависимость производительности решения от расстояния/объема данных
• · Необходимый уровень пропускной способности коммуникационных каналов

В среде локальных и городских сетей (Metropolitan Area Network, MAN) эти методы, как правило, функционируют очень хорошо. Проблемы появляются, когда увеличивается задержка на линиях передачи, а в распоряжении пользователя имеется только глобальная сеть с гораздо более узкой полосой пропускания по сравнению с локальной/городской сетью.

В. А. Конявский, д.т.н.

Д. В. Угаров

Специфика угроз информационной безопасности и защиты от них в ЦОД

Если человек будет платить в 5 раз меньше, то ему это выгодно. И если ресурсы компьютера разделить на 20 человек, и каждый будет платить за 10 процентов ресурсов, то и владелец компьютера останется в ощутимой выгоде, тем более что на оплату энергетики будет уходить в разы меньше средств. Вот такие рассуждения и явились причиной появления систем виртуализации.

Очевидно, что чем мощнее компьютер, тем больше виртуальных машин может на нем работать, и тем эффективнее будет виртуализация. Конечно, в том случае, если большая часть виртуальных машин будет использоваться. Мало их создать, нужно, чтобы они были востребованы.

Если компьютер достаточно мощный, и все его ресурсы уже заняты, а виртуальных машин не хватает — тогда нужно покупать еще один компьютер. Станет их много — нужно строить специальное инженерное сооружение, эффективно обеспечивающее энергетикой компьютеры, на которых функционируют ВМ. Все вместе это называется ЦОД — центр обработки данных.

Чтобы получить на ЦОДе в свое распоряжение ВМ, нужно определить, какими именно ресурсами эта машина должна располагать, и попросить администратора создать именно такую ВМ. Однажды созданная, ВМ останется именно такой до тех пор, пока не будет изменена или удалена администратором. Другими словами, мы наблюдаем статическое распределение ресурсов. Пользователь знает, где именно находится его ВМ, и что она из себя представляет.

Несколько ЦОДов иногда объединяются одним механизмом управления. Теперь ВМ могут размещаться не только на разных физических серверах, но и на разных ЦОДах. Но до сих пор пользователь при желании может точно установить, где находится его конкретная виртуальная машина.

Так может продолжаться до тех пор, пока ресурсов группы ЦОД хватает для размещения всех требуемых виртуальных машин. Рано или поздно все ресурсы ЦОД окажутся занятыми, и тогда придется «уплотняться».

Мало кто удержится от заказа ВМ «на вырост». Конечно, за заказанные ресурсы нужно платить, но не так уж и много, и, значит, лучше взять «про запас». В результате, хотя эффективность использования ресурсов в ЦОД намного выше, чем при использовании ПЭВМ, все-таки оптимальным такое использование не назовешь. Каждый взял себе по 20-30% запаса ресурсов, значит, свободные ресурсы есть, а использовать их нельзя. Неэкономно получается.

Вот только здесь появляется потребность в том, что отличает «облако» от виртуализации оборудования. Это — динамическое распределение (выделение) ресурсов. «Облако» характеризуется виртуализацией оборудования, виртуализацией ОС, виртуализацией приложений и динамическим распределением ресурсов.

При работе «в облаке» ВМ может размещаться на любой памяти, исполняться на любом сервере любого ЦОД, входящего в состав облачной инфраструктуры. Говорят, что ВМ «мигрируют» между ЦОД. Решение о миграции ВМ принимает «планировщик», исходя из различных соображений, например, из логики равномерности загрузки ЦОД, цены ресурсов, просто наличия свободных ресурсов, и других.

То есть облачные технологии начинаются тогда, когда исчерпаны все ресурсы ЦОДов. Облачная инфраструктура — это взаимодействующие на основе специализированного «планировщика» ЦОДы, средства доступа и клиентские машины. Защищенная облачная инфраструктура — это защищенные серверы, защищенные ЦОД, защищенные ВМ, защищенный доступ (WEB и/или терминальный), и, наконец, защищенный планировщик, планирующий миграцию ВМ из соображений, в том числе, защищенности информационных ресурсов.

Защищенность ЦОДа, соответственно, обеспечивается «проще» на планировщик. Это важно, так как серьезных технологий защиты планировщика на рынке пока не представлено, они находятся в разработке.

Требования к защите понятны - если информационное взаимодействие связано с обработкой персональных данных и обработкой государственных информационных ресурсов, то меры по защите должны соответствовать требованиям приказов 17 и 21 ФСТЭК.

Перечислим возможные средства защиты:

1. Доверенная среда на компьютерах пользователей может создаваться применением СЗИ НСД (например, «Аккорд») или СОДС (например, «МАРШ!»);
2. Защищенный доступ пользователей к ВМ можно обеспечить применением VPN в доверенной среде для WEB-доступа, или системой доверенной терминальной загрузки (например, «Центр-Т»);
3. Контролируемый старт (доверенная загрузка) системы виртуализации и защита ВМ обеспечивается специализированными СЗИ для виртуальных инфраструктур (например, для VMware — «Аккорд-В.», для MS HV — «ГиперАккорд»);

Очевидно, что защищенность ЦОДа не имеет никакого смысла, если взаимодействующие с ним пользователи работают в недоверенной среде — контур защиты теряет непрерывность.

В этом смысле необходимо учитывать два обстоятельства:

1. являются ли пользовательские рабочие места контролируемыми (это так, если ЦОД корпоративный и пользователи — сотрудники организации, но не так — если это ЦОД, предоставляющий облачные сервисы неограниченному кругу пользователей, использующих неограниченный круг компьютеров);
2. ПЭВМ или тонкие клиенты используются в качестве рабочих мест пользователей.

Легко заметить, что эти вопросы находятся в иерархической связи и дают следующие варианты систем:

1) Фиксированные рабочие места пользователей, контролируемые (управляемые) службой информационной безопасности (относится она к владельцу ЦОДа или нет — вопрос в данном случае второстепенный; достаточно знать, что какой-то службой информационной безопасности — контролируются).

• тонкие клиенты

2) неизвестный и неконтролируемый парк СВТ.

Неизвестный и неконтролируемый парк СВТ

Казалось бы, этот случай полностью исключает возможность гарантировать защищенность. И если ЦОД может доказать свою безопасность для использующих его клиентов, подтверждением своей защищенности теми или иными средствами, аттестатом соответствия, и так далее, то рассчитывать на такие же подтверждения со стороны пользователей, конечно, невозможно.

При этом такой незащищенный клиент подвергает опасности не только себя (считая, что он защищен, раз облако — защищенное), но и сам ЦОД, создавая «дыру в заборе».

Для доверия ЦОДа пользователю необходим механизм контроля его вычислительной среды, что невозможно ни при каких других обстоятельствах, кроме применения технологии доверенного сеанса связи (ДСС) и средств его обеспечения (СОДС).

Принципиально важно, чтобы средство защиты ЦОДа могло контролировать, действительно ли клиент подключился из доверенной среды!

Не всегда у пользователя «под рукой» оказывается одинаковый набор условий, но и не всегда ему нужен одинаковый набор услуг. Очевидно, что нельзя обеспечить безопасность любого сервиса на любом типе устройства в любое время в любом месте. Естественно ожидать, что в предоставлении части сервисов для некоторых устройств может быть отказано.

Отказ может последовать и в случае совокупности нетехнических факторов. Например, нахождение корпоративного абонентского устройства за пределами корпоративной беспроводной или проводной сети. А может и не последовать, если устройство при этом поддерживает работу в доверенном сеансе связи с необходимыми характеристиками.

Фиксированные рабочие места, контролируемые службой информационной безопасности

Этот случай проще потому, что на состояние клиентских рабочих мест проще влиять: средства защиты, предписанные проектной документацией на систему, будут установлены на рабочие места пользователей.

Рабочие места в общем случае можно разделить на ПЭВМ и тонкие клиенты.

ПЭВМ почти наверняка используются не только для взаимодействия с ЦОДом, но и автономно. И значит, они должны быть защищены полноценным программно-аппаратным комплексом СЗИ НСД (например, «Аккорд-Win32» или «Аккорд-Win64). В зависимости от политики безопасности запуск ВМ может требовать от пользователя, например, предъявления другого идентификатора.

Важно понимать, что даже в том случае, если единственной задачей пользователя ПЭВМ является работа с виртуальной инфраструктурой, все равно необходима установка именно ПАК, ограничиваться только АМДЗ — неверно, так как даже если пользователь не должен , он может использовать ОС своего компьютера для каких-либо не установленных ему задач, и контролировать потенциальных общий ресурс — необходимо.

Применение тонких клиентов как правило связано с тем, что локально задачи пользователями не выполняются или они минимальны. В то же время, ОС тонких клиентов тоже должна быть доверенной. И в этом случае целесообразно применять либо СОДС, либо — если пользователи работают в терминальном режиме с виртуальным терминальным сервером — ПАК для защищенной сетевой загрузки ОС терминальных клиентов (например, КАМИ-терминал или «Центр-Т»), обеспечивающий защищенное хранение и доверенную сетевую загрузку образов ПО терминальных станций с подтверждением их целостности и аутентичности.

При этом с точки зрения действий пользователей система практически не будет отличаться, с одной стороны, от построенной на базе СОДС, а с другой — от «реальной» терминальной системы: пользователь будет подключать USB-устройство, вводить PIN-код и ожидать загрузки терминала и старта сессии с терминальным сервером. Что он виртуальный — пользователь может и вовсе не знать. В рамках сессии то же USB-устройство выполняет функцию идентификатора пользователя в ПАК СЗИ НСД на серверной части системы.