Системы хранения данных Fujitsu: семейство ETERNUS
Сегодня рассмотрим продуктовую линейку Fujitsu ETERNUS.
Сразу можно заметить, что в семействе систем хранения ETERNUS сегодня есть следующие группы:
DX – дисковые массивы
JX – просто JBOD (дисковая полка)
LT – ленточные библиотеки
CS – виртуальные ленточные библиотеки и дисковые библиотеки
В группе ETERNUS DX присутствуют массивы начального, среднего и старшего уровня. Количество разрядов в модели обозначает и «крутизну» массива. Массивs DX60/80/90 – массивы начального уровня
DX410/440 – среднего уровня
DX8700 – high-end массив уровня предприятия.
Кроме того, часто можно видеть, например, название ETERNUS DX440 S2. Здесь S2 – это номер поколения массива. Это второе, самое последнее на сегодняшний момент поколение дисковых массивов ETERNUS из числа выведенных на европейский рынок. Просто до 2009 года массивы ETERNUS в принципе не поставлялись на европейский/американский рынки, при этом являясь технологическим лидером на рынке Японии и ряда азиатских стран, где единственным конкурентом, который мог поспорить с Fujitsu, являлась и является компания Hitachi. Собственно, именно эти два вендора в сумме занимают более 50% всего рынка схд в регионе. Так вот, весной 2009 года руководство Fujitsu приняло стратегическое решение по выводу на европейские рынки собственных дисковых систем, которые были названы ETERNUS DX S1. До этого порядка 20 лет схд FUJITSU назывались ETERNUS, но имели другую модельную нумерацию.
Фактически, в России/СНГ/Европе было начато внедрение абсолютно нового на рынке бренда. И это при том, что на этот момент у Fujitsu была более чем 40-летняя история по собственной разработке и производству собственных дисковых систем хранения. В лабораториях Fujitsu более 1000 инженеров занималось разработкой собственных дисковых систем. Собственно, это во многом и объясняет то, что довольно большая доля рынка была занята на территории Европы за 3 года. ETERNUS – это не стартап, который появился «из ничего» как плод дружной работы нескольких друзей-единомышленников, а результат многолетней работы огромной группы разработчиков в высокотехнологичной компании.
Исторически в 60-е годы компания FUJITSU активно стала производить и предлагать на рынок собственные мейнфреймы, тогда же и понадобились дисковые системы хранения. В корпорации был создан отдел, занимающийся разработкой собственных дисковых систем, результатом работы этого отдела и стали первые дисковые системы FUJITSU, выпущенные более 40 лет назад. На рисунке представлена общая история собственных дисковых систем ETERNUS за последние десятилетия.
Начиная с конца 90-х годов наряду с СХД для подключения только к мейнфреймам, стали появляться и интерфейсы для подключения к открытым системам. Прежде всего на тот момент, конечно, к UNIX-системам. Что сразу бросается в глаза при взгляде на рисунок: основное отличие от огромного числа сегодняшних производителей – отсутствие поглощения и «покупок по случаю», которые мы очень часто видим на рынке в последнее десятилетие.
В сегодняшней продуктовой линейке, конечно, несколько дисковых массивов, на рисунке нарисован только флагман. Но при этом вся сегодняшняя продуктовая линейка – результат многолетней работы единой группы разработчиков, а не плод спонтанных покупок на рынке с целью в том числе и скрыть текущие убытки «подкорректировать финансовую отчетность»
В начале ноября 2014 года компания Fujitsu выпустила обновленное семейство систем хранения данных ETERNUS DX S3. Это обновление можно назвать революционным, так производительность некоторых моделей увеличилась в 5 раз. Но обо всем по порядку.
Новая линейка Fujitsu ETERNUS DX S3 является по-настоящему бизнес-ориентированной. Ее разработка производилась, опираясь на реальные требования, предъявляемые бизнесом к таким продуктам. И только потом, исходя из этих требований, подбирались или разрабатывались соответствующие технологии и решения. Фактически можно говорить о том, что именно требования бизнеса и легли в основу технического задания на проектирование обновленного семейства.
Так, в новых системах впервые на рынке применен новый интерфейс для подключения дисков SAS3, обеспечивающий скорость передачи данных до 12 Гб/с, что позволяет осуществлять до двух раз более быстрое обращение к данным, размещенным на дисках.
Следующим важным изменением является гибкая и тонкая настройка системы приоритетов и автоматическое обеспечение качества обслуживания (QoS), которые позволяют в зависимости от задач бизнеса обеспечивать гарантированные уровни обслуживания для различных процессов. Так новое поколение семейства ETERNUS DX позволяет выделить определенное количество кэш-памяти, определенную полосу пропускания, гарантировать необходимое количество операций ввода/вывода (IOPS) для того или иного приложения, для той или иной группы пользователей, либо для того или иного логического тома. Иначе говоря, нужно всего лишь определить приоритеты и время отклика для используемых задач и приложений, в зависимости от их важности для бизнеса, все остальное ETERNUS DX S3 сделает сам. Также по результатам работы можно сделать биллинг использования ресурсов теми или иными задачами, который может быть применим, например, для корректировки установленных приоритетов или соотнесения расходов на эксплуатацию системы на тот или иной проект.
Основная идея единого семейства СХД от одного производителя заключается в наличии гибкой архитектуры для поддержки растущих объемов данных. Что это означает в реальности в нашем случае? Во-первых, ETERNUS DX S3 предлагает уникальную масштабируемость в рамках одной модели. Во-вторых, поддерживает масштабирование путем data-in-place перехода на более старшую модель семейства без потери данных и необходимости в очень короткое время.
Так, например, в новом семействе есть две модели начального уровня: DX100 и DX200. При этом превратить первую во вторую можно путем простой заменой RAID-контроллеров.
Также необходимо отметить, что в новом семействе появились новые дисковые полки высокой плотности, в которые можно установить до 60 дисков.
И также, как и в СХД предыдущего поколения (ETERNUS DX S2), остались доступны варианты дополнительных дисковых полок на 12 дисков 3,5» и на 24 диска 2,5».
Кроме этого, благодаря использованию нового интерфейса SAS3 в новых моделях, снято ограничение на количество используемых SSD, а унифицированный интерфейс управления СХД позволяет переходить от младших моделей к старшим без переучивания персонала.
Все модели данного семейства являются так называемыми Real Unified Storage. Это означает, что они могут быть использованы как SAN и как NAS-хранилища одновременно. При этом в системах, использующих репликацию или увеличение надежности, одни и те же лицензии будут работать как для блочного (SAN), так и для файлового (NAS) доступа. Возможны варианты интеграции рассматриваемых СХД в IT-инфраструктуру предприятий через Fibre Channel, FCoE, iSCSI, SAS, Infiniband, 1 и 10 Gb Ethernet CIFS/NFS. Также ожидается, что в ближайшее время появится и доступ к СХД по HTTP и FTP протоколам.
В семействе ETERNUS DX S3 применяется, операционная система реального времени VxWorks, разработанная компанией Wind River Systems. Её эффективность подтверждается тем, что она применяется в космической программе NASA, в частности под ее управлением осуществлялась посадка Curiosity на поверхность Марса. А тот факт, что компания Wind River является подразделением компании Intel, чьи многоядерные процессоры Intel® Xeon® используются в самой СХД, говорит о качественной оптимизации под применяемые процессоры и позволяет добиться максимально высоких показателей производительности системы в целом.
В самом начале уже говорилось, что произошедшее обновление можно назвать революционным. Чтобы данное заявление не было голословным, ниже представлена таблица с различными коэффициентами, демонстрирующими произошедшие изменения по сравнению с соответствующими моделями СХД семейства Fujitsu ETERNUS DX предыдущего поколения (S2):
Двукратное увеличение скорости шины объясняется уже отмеченным ранее переходом с SAS2 на SAS3. Кэш 2-го уровня, так называемый Extreme Cache, можно поставить только в системы среднего уровня путем установки PCIe SSD накопителей, максимальный объем такого кэша составляет 5,6 ТБ. Применение Extreme Cache позволит снизить количество применяемых жестких дисков до 80%, при условии, что их количество было обусловлено необходимостью получения заданного количества IOPS. Так, если необходимые данные будут находиться в Extreme Cache в 30% случаев, то заданные 150 000 IOPS на чтение можно получить на 64 HDD (+ 4 SSD Extreme Cache), в то время как для достижения этого же значения на одних только жестких дисках потребуется 360 HDD.
Если данного объема дискового кэша окажется недостаточно, со следующей версией микрокода контроллеров будет доступно выделение под кэш части SSD непосредственно с дисковых полок. Что же касается IOPS, то сравнение по данному показателю актуальных моделей ETERNUS DX можно увидеть ниже:
Причем приведенные цифры не обязательно демонстрируют максимально возможный результат для конкретной СХД. Например, в конце декабря ETERNUS DX200 S3 всего c 14 SSD-дисками показал результат более 200к IOPS.
За счет использования дисковых полок высокой плотности и более эффективного использования ресурсов мы стараемся увеличить коэффициент утилизации среднего дискового массива со стандартных на текущий момент для отрасли 40-50% до 80-90%.
Двунаправленное подключение дисковых полок ETERNUS DX S3 даже в случае полного выхода из строя или отсутствия одной дисковой полки обеспечивает доступность остальных, увеличивая надежность хранения. Схематично такое подключение можно представить следующим образом:
где CE – Controller Enclosure, DE – Disk Enclosure. Как видно из схемы, в случае если используется однонаправленное подключение, дисковые полки, следующие за сбойной, оказались бы также недоступными. Двунаправленное подключение позволяет решить эту проблему.
Другим интересным решением, которое будет доступно в июне этого года, является технология Fast Rebuild, разработанная компанией Fujitsu. Она призвана решить проблему бутылочного горлышка, которое возникает в том случае, если один из дисков выходит из строя. В этом случае диск, на который производится восстановление данных, становится «сверх горячим», т.к. до момента завершения ребилда, на него будут писаться данные сразу со всех дисков массива. Обычно распределение операций ввода/вывода в этом случае составляет 1 к 16, т.е. на 16 I/O, которые будут обслуживать хосты, только одно будет обслуживать процесс восстановления массива. Таким образом, процесс ребилда при использовании дисков большого объема (2ТБ и выше) может длиться неделю и даже больше.
Именно для решения данной проблемы и была разработана технология Fast Rebuild. Ее суть заключается в том, что на каждом из дисков массива изначально размещаются свободные резервные блоки (Reserved – на схеме ниже). Таким образом, восстановление данных производится сразу на все диски в эти области, что решает проблему бутылочного горлышка и в разы ускоряет процедуру восстановления.
При этом также остается возможность менять приоритет ребилда, причем его изменение можно настроить по определенному расписанию. Например, так, чтобы приоритет ребилда в нерабочее время повышался, значительно ускоряя процесс восстановления.
Подводя итоги всему вышесказанному, отметим, что все модели Fujitsu ETERNUS DX S3 начального и среднего уровня имеют унифицированную функциональность и среду управления. Блочный и файловый доступ к данным производятся в рамках одного и того же контроллера СХД, что дает возможность более высокого уровня консолидации СХД и упрощает их эксплуатацию. Спецификации всех актуальных моделей семейства ETERNUS DX, с учетом обновленных моделей, можно найти в таблице ниже:
В заключение отметим, что любую модель можно заказать с унифицированной функциональностью или просто как блочную СХД с возможностью модернизации в будущем. При этом все СХД Fujitsu, поставляемые на рынки России и стран СНГ, производятся в Германии и имеют трехлетнюю заводскую гарантию, компания Fujitsu предлагает для них широкий перечень программ сервисного обслуживания, включающий программы 24×7 и фиксированное время восстановления работоспособности.
Как показывают наши исследования, даже системы высокой надежности позволяют избежать лишь 74% простоев, около 20% из которых (чаще всего вызваны вирусами, ошибками программного обеспечения, администраторов или пользователей) сопровождаются потерями данных. В связи с этим наличие системы резервного копирования, является необходимым элементом IT-инфраструктуры любого предприятия.
Происходит постоянный рост объема самих данных, нуждающихся в резервном копировании, вызванный накоплением информации, увеличением количества серверов и других вычислительных устройств, а также увеличением количества пользователей. Следствием данного процесса является нехватка места на существующих системах хранения и увеличение стоимости резервного хранения. И само окно резервного копирования весьма ограничено и имеет тенденцию к сужению: все чаще и чаще сотрудники получают возможность работать из дома, в удобное для них время, все шире становится география работы компании.
Таким образом, возникает весьма острый и актуальный вопрос: на чем хранить эти данные? На текущий момент существует два основных типа конечных устройств в системах хранения, это жесткие диски и ленты.
Оптимальным решением является резервное копирование на диски с дедупликацией и возможностью последующего копирования на ленты. Именно таким решением, рассчитанным на предприятия малого и среднего бизнеса, и является Fujitsu ETERNUS CS800 S4, которое предназначено для использования в инфраструктурах, где объем суточного резервного копирования не превышает 50 ТБ в день.
Дедупликация в ETERNUS CS800 S4
Процесс дедупликации в данном законченном решении Fujitsu происходит следующим образом. Сначала данные разбиваются на блоки переменной длины, базирующиеся на зависимых от данных разделителях:
После этого каждому уникальному блоку присваивается своя уникальная сигнатура и составляется специальный лист сигнатур, который содержит список всех уникальных блоков, а также их последовательность в изначальных данных. Далее производится запись уникальных блоков и листа сигнатур на жесткие диски с последующей компрессией (архивацией) записанных данных. Таким образом, требуемый дисковый объем для хранения данных иногда удается снизить на внушительные 95%.
Модели ETERNUS CS800 S4 Entry и Scale
Существуют две модели ETERNUS CS800 S4 Entry и Scale. Обе модели являются законченными решениями и поставляются по принципу «все включено». Это означает, что для них не требуется покупка никаких дополнительных лицензий. В частности базовая комплектация включает следующий функционал:
- NAS (CIFS/NFS);
- VTL interface;
- OST (Symantec OpenStorage );
- Дедупликация включена;
- Репликация включена;
- Лицензия Path to Tape включена.
Модель Fujitsu ETERNUS CS800 S4 включает один сервер Fujitsu PRIMERGY RX300 S7 с одним процессором Intel® Xeon® c 6 вычислительными ядрами и технологией Hyper-Threading, 64 ГБ оперативной памяти, 5 портами Gigabit Ethernet и имеет специальное программное обеспечение на базе Linux. Под операционную систему используются 2 диска SAS 15000 об/м и емкостью 300 ГБ. Для системы хранения задействовано 14 дисков SATA, сконфигурированных в 2 группы RAID6 по 7 дисков (RAID6 требует 2 диска для контрольных сумм). В зависимости от модификации устанавливаются диски объемом 500 ГБ или 1 ТБ, полезный объем системы хранения для них составляет 4,8 ТБ и 9,8 ТБ соответственно.
Кроме этого дополнительно могут быть установлены следующие порты ввода/вывода: 2 x 10 Гб Ethernet или 2 x 8 Гб Fibre Channel.
Модель Scale, в отличие от Entry, более гибкая и обладает широкими возможностями расширения. Она состоит из вычислительной части, включающую сервер Fujitsu PRIMERGY RX300 S7 (2xIntel® Xeon® 8 ядер/12 потоков, 128 ГБ объемом памяти), и дисковых хранилищ ETERNUS DX80 S2.
Сервер:
Основной модуль DX80 S2:
Модуль расширения DX80S2:
Решение ETERNUS CS800 S4 Scale включает два типа модулей ETERNUS DX80 S2: основной (с двумя контроллерами) и дополнительные подключаемые модули. Каждый такой модуль имеет 12 дисков SAS 3,5» объемом 1, 2 или 3 ТБ. Эти диски объединены в группы RAID 6 по 6 дисков (4+2), таким образом, эффективная емкость каждого модуля хранения составляет 8, 16 или 24 ТБ в зависимости от объема используемых дисков. Базовая комплектация включает 1 основной модуль с возможностью установки до 9 модулей расширения. Тогда максимальный объем данных, которые могут быть сохранены на ETERNUS CS800 S4 Scale, составляет 80 ТБ для модулей с дисками объемом 1 ТБ, 160 ТБ – для 2 ТБ дисков и 240 ТБ – для 3 ТБ. 12 дисков одного из модулей расширения ETERNUS DX80 S2 можно использовать как диски Hot Spare, но тогда максимальная емкость хранилища снизится до 72 / 144 / 216 TБ соответственно.
Кроме этого 14 дисков SAS 2.5″ объемом 450 ГБ установлены в основном сервере ETERNUS CS800 S4 Scale. Все они объединены в 7 групп RAID1 по 2 диска. На одной из них установлена операционная система (специальная версия Linux), остальные же используются для резервного хранения метаданных.
Более наглядно информация об эффективной емкости Fujitsu ETERNUS CS800 S4 представлена в следующей таблице:
Что касается системы ввода/вывода модели Scale, то в базовой конфигурации она представлена тремя портами Gigabit Ethernet. На самом деле портов 5, также как и в версии Entry, но 2 из них используются для подключения основного модуля ETERNUS DX80 S2 (используются для управления и мониторинга, для передачи данных используется SAS-интерфейс) и соответственно не доступны для подключения к сети предприятия.
В качестве опций портов ввода/вывода для данной модели предлагаются модули Etherntet 4×10 Гб и 8×1Гб, а также модуль Fibre Channel 4×8Гб. Отметим, что все опции устанавливаются непосредственно на заводе.
Сценарии использования Fujitsu ETERNUS CS800 S4
Подключение систем хранение Fujitsu ETERNUS CS800 S4 к инфраструктуре предприятия может осуществляться по четырем протоколам – NFS, CIFS, OST и VTL. В зависимости от применяемого протокола CS800 выступает как Network Attached Storage (NAS), Vurtual Tape Storage или Open Storage.
Network Attached Storage
Резервное копирование на NAS CS800 осуществляется по протоколам NFS и CIFS.
Протокол CIFS (Common Internet File System) предоставляет доступ к файлам, размещенным на удаленных устройствах в среде Windows. Fujitsu ETERNUS CS800 S4 поддерживает авторизацию пользователей как через ACL (Access Control Lists), так и посредством ADS (Active Directory Services).
Протокол NFS (Network File System) был первоначально разработан компанией Sun Microsystems™ и позволяет всем пользователям сети получить доступ к общим файлам, хранящимся на компьютерах различных типов. NFS обеспечивает доступ к общим файлам через интерфейс, называющийся Virtual File System (VFS), который работает поверх TCP/IP. В случае использования этого протокола, пользователи могут управлять общими файлами так, как если бы они хранились на локальном жестком диске. Этот протокол обычно используется в UNIX и Linux сетях, но также может быть использован и с сетями Windows.
Virtual Tape Storage
Решение Fujitsu ETERNUS CS800 S4 может использоваться в сети предприятия как Virtual Tape Library (VTL – виртуальная ленточная библиотека). В этом случае его дисковое пространство для приложений, осуществляющих резервное копирование, представляется как ленточные картриджи LTO или DLT. Таким образом, данные хранятся на жестких дисках через интерфейс, который выглядит как ленточная библиотека с картриджами, приводами и механизмом смены картриджей. А возможность сконфигурировать на ETERNUS CS800 S4 сразу несколько VTL-интерфейсов различных типов позволяет с легкостью интегрировать его в существующую среду обработки данных.
В этом режиме решение CS800 S4 может эмулировать различные ленточные накопители, включая модели IBM и HP (LTO-1, LTO-2, LTO-3, LTO-4 или LTO-5), а также эмулировать ленточные библиотеки Fujitsu CS-TL, ADIC Scalar i2000 и ADIC Scalar i500.
Open Storage
Также в сети предприятия Fujitsu ETERNUS CS800 S4 может быть представлен как сервер хранения данных (storage server) для медиа сервера Symantec NetBackup или Backup Exec посредством специального протокола компании Symantec. В этом случае сервер хранения данных состоит из логических единиц хранения (logical storage unit – LSU), которые похожи на каталоги в NAS или ленточные картриджи в VTL.
Для работы в таком режиме необходимо наличие Symantec NetBackup 6.5.3 (или более поздней версии) либо Symantec Backup Exec 2010 (или более поздней версии) и OST-плагина на медиа-сервере. В этом случае используется так называемый режим SPEED характеризующийся распределенной дедупликацией. Т.е. данные дедуплицируются на медиа-сервере, после чего на ETERNUS CS800 S4 копируются уже только уникальные блоки данных, тем самым, уменьшая нагрузку на сеть и ускоряя процесс резервного копирования.
Path-to-Tape
Часто может возникнуть ситуация, когда данные необходимо сохранить на съемном носителе для длительного хранения. В этом случае очень полезным окажется функционал Path-to-Tape (PTT). Он позволяет сохранять данные, хранящиеся на Fujitsu ETERNUS CS800 S4, на ленточные библиотеки, подключаемые к нему через FC-порт. При этом копирование происходит напрямую с CS800 на ленточные библиотеки без необходимости использования какого-либо дополнительного устройства: данные на ленту отправляются уже в оригинальном виде. Такое резервное копирование позволяет, при необходимости, восстановить информацию с лент без участия CS800 S4. Заметим, что PTT поддерживает ряд приложений резервного копирования, включая:
- Symantec™ NetBackup™
- Symantec™ Backup Exec
- Secure Backup Oracle®
- Atempo Time Navigator™
- EMC® Networker
Репликация
Рассматриваемое решение обладает широкими возможностями репликации. Так вы можете использовать Fujitsu ETERNUS CS800 S4 в своем удаленном филиале или филиалах (поддерживается репликация «несколько к одному») для создания единого резервного хранилища в центральном филиале. При этом репликация легко настраивается, а передаваемые данные шифруются. Важно, что между системами хранения в разных филиалах будут передаваться уже дедуплицированные и сжатые данные, т.е. объем трафика будет значительно снижен, либо, как вариант, можно будет использовать канал передачи данных с меньшей скоростью.
Simpana Media Agent
Решение Fujitsu ETERNUS CS800 S4 также совместимо с программным обеспечением CommVault® Simpana. При этом Simpana Media Agent устанавливается непосредственно на рассматриваемое в данном статье решение.
Это позволяет серверу-клиенту писать данные сразу на CS800 S4 без вовлечения в процесс сервера Simpana, тем самым снижая нагрузку на сеть. При этом также поддерживается копирование данных на ленту и восстановление их с ленты на другом медиа-агенте без вовлечения в процесс ETERNUS CS800 S4. Также Simpana Media Agent, установленный на CS800 S4, поддерживает репликацию данных с аналогичными устройствами.
Заключение
Рассмотренное решение Fujitsu ETERNUS CS800 S4 выполняет резервное копирование на жесткие диски с функцией дедупликации. Применяемый в них процесс дедупликации позволяет сократить необходимую дисковую емкость для хранения данных до 95% от их исходного размера. При этом ETERNUS CS800 S4 имеет высочайшую масштабируемость и быстродействие, обладает широкими функциональными возможностями, что позволяет использовать его для поддержки широкого круга ИТ-сред сейчас и в будущем.
Официальный сайт Fujitsu
