Новые кабельные решения для ЦОДов
Новые стандарты для кабельных систем во многом ориентируются на дата-центры и существенно увеличивают скорости передачи данных.
Стоимость СКС составляет 3% стоимости ЦОДа, однако, как сообщил на организованной «ИКС-Медиа» конференции «ЦОД-2018» Сергей Горюнов, менеджер по развитию продаж компании Molex MPN Structured Cabling, кабельные соединения являются причиной 70% инцидентов. А инцидент в ЦОДе — это потеря денег, репутации и доверия клиентов.
Волшебное слово «быстро»!
Вложения в кабельную систему — долгосрочные, ведь средний срок ее эксплуатации составляет 10—15 лет. Поэтому при проектировании СКС следует учитывать перспективу стремительного роста объема передаваемых данных и требований к скорости передачи по каналам связи. Если в офисных СКС по-прежнему встречаются каналы 10 Мбит/с, то в ЦОДах уже используются каналы c пропускной способностью 100 Гбит/c. И это не предел. В декабре 2017 г. официально принят новый стандарт IEEE 802.3bs, предусматривающий увеличение скорости канала до 200 и 400 Гбит/с (см. табл.).
Таблица. Спецификации стандарта IEEE 802.3bs
| Спецификация | Расстояние, м | Тип волокна* | Примечание |
| 400GBASE-SR16 | 100 | MM | По 16 волокон на прием и передачу |
| 400GBASE-DR4 | 500 | SM | Четыре параллельных волокна в обоих направлениях, 100 Gb на одно волокно |
| 400GBASE-FR8 | 2000 | SM | WDM ( два волокна, одно на прием, другое на передачу) |
| 400GBASE-LR8 | 10000 | SM | То же |
| 200GBASE-DR4 | 500 | SM | Четыре параллельных волокна в обоих направлениях |
| 200GBASE-FR4 | 2000 | SM | WDM (два волокна, одно на прием, другое на передачу) |
| 200GBASE-LR4 | 10000 | SM | То же |
| *SM – одномодовое, MM — многомодовое | |||
Источник: IEEE
Оборудование, отвечающее стандарту IEEE 802.3bs, уже появляется на рынке. Так, в 2018 г. упомянутая Molex начала производить поддерживающие новые стандарты коннекторы высокой плотности, а Mellanox Technolgies, по заявлению системного инженера этой компании Александра Петровского, планирует в следующем году выпустить коммутаторы с портами 400 Гбит/с.
Ethernet для СХД
Одна из сфер применения кабелей нового стандарта — Ethernet-фабрики для систем хранения данных (Ethernet Storage Fabric, ESF). Раньше СХД рассматривалась как некая проприетарная система с набором дисков, подключенная к сети хранения данных. Ее было сложно обслуживать и дорого масштабировать. Сейчас, особенно в облачных инфраструктурах, используются программно определяемые хранилища. Для их создания обычные серверы с большим количеством дисков масштабируются горизонтально в виде одного большого пула хранения, а программные решения формируют из них общий кластер. Подключаются серверы друг к другу с помощью высокоскоростной сети. Для этих целей теперь может использоваться технология Ethernet, которая значительно выигрывает в скорости у Fibre Chanel, способной обеспечить производительность не более 32 Гбит/с.
Рис. 1. Ethernet-фабрика для СХД
Сеть Ethernet-фабрики для хранилища строится в топологии Leaf-Spine (рис. 1). К коммутаторам уровня Leaf подключаются серверы (узлы хранения). Маршрутизация осуществляется с помощью протоколов OSPF/BGP. На уровне агрегации используются протоколы LAG/MLAG (Multi-Chassis Link Aggregation Groups). Хранилище масштабируется стойками — от одной до тысячи и более. В каждую стойку устанавливаются по два коммутатора, которые подключаются к вышестоящей фабрике. Для подключения служат каналы 40 и 100 Гбит/с, а с внедрением нового стандарта скорости вырастут еще больше. ESF поддерживает широкий набор СХД-протоколов и приложений: iSCSI/iSER, FS/NFSoRDMA, CIFS/SMB Direct, NVMeOF, Ceph, HDFS, Lustre/GPFS/GlusterFS.
Витая пара для ЦОДов
Новации в кабельных системах для ЦОДов коснулись не только оптики, но и электропроводных решений. Для связи серверов с коммутаторами в дата-центрах появились кабели восьмой категории (Cat8) на медной витой паре, поддерживающие скорость 25 и 40 Гбит/c. Принятие стандарта категории 8 заняло почти 10 лет: его предшественник, востребованный на практике стандарт категории 6а, был принят еще в 2008 г. Кабели Cat8 отличаются от предшественников частотой (до 2 ГГц, что в четыре раза выше, чем у 6а), длиной тракта (не более 30 м, в то время как у 6а — 100 м), числом коннекторов (не более двух — кросс-коннект запрещен), конструкцией кабеля (каждая витая пара в фольге, все вместе в металлической оплетке, а экранирование требует заземления) и коннекторов (существуют две модификации — 8.1 (RG-45) и 8.2 (Tera, GG45, ARJ)).
Новый кабель слишком короткий для прокладки в офисных зданиях, но отлично подходит для организации внутрирядной связи в дата-центрах. Ограничение длины кабелей категории 8 тридцатью метрами не случайно. Таким образом, пояснил директор по продажам компании Leviton Сергей Логинов, достигается оптимальный баланс между мощностью трансиверов и дальностью передачи сигнала, позволяющий снизить энергопотребление и соответствующие операционные издержки.
С помощью кабелей категории 8 для соединения стоек в машзалах ЦОДов можно использовать несколько типов архитектур — End-of-Row (коммутаторы располагаются в конце ряда стоек), Middle-of-Row (в середине) и Top-of-Rack (коммутаторы размещаются вверху стоек с ИТ-оборудованием) (рис. 2).
Рис. 2. Варианты подключения стоек с использование Cat8
End-of-Row (EoR) и Middle-of-Row (MoR) предполагают классический подход к построению структурированной кабельной системы, при котором коммутационные шнуры соединяют оборудование через коммутационные панели.
При часто используемой в дата-центрах архитектуре Top-of-Rack (ToR) ИТ-оборудование подключается напрямую к расположенным вверху стойки коммутаторам. У каждого такого коммутатора есть оптические порты, соединенные с коммутаторами уровня агрегации. Такая схема не является классической для структурированной кабельной системы, но для 8-й категории просто подключение коммутационным шнуром уже может рассматриваться как СКС.
Кабели категории 8 дешевле, чем оптические, обеспечивают обратную совместимость с кабелями категории 6 (разные порты одного коммутатора могут поддерживать разные скорости), так что при их использовании заказчик получает универсальную инфраструктуру, способную работать на скоростях от 1 до 40 Гбит/c.
Cat8 – идеальный вариант для малых и средних ЦОДов, в машинных залах которых в одном ряду размещается не более 30 стоек. В крупных ЦОДах, где стоек в рядах более 30 и требуются скорости выше 40 Гбит/c, следует применять оптоволокно.
С. Логинов призывает правильно проектировать кабельную систему на основе кабелей категории 6а и использовать архитектуру ToR, тогда для перехода на стандарт Cat8 будет достаточно заменить коммутационные шнуры. При выборе между EoR и MoR следует остановиться на MoR — это позволит организовать более длинный ряд стоек. Кроме того, предпочтительнее использовать экранированный кабель категории 6а, поскольку наличие заземления облегчит переход на Cat8.
