Современные технологии дисковых систем хранения данных. Система хранения данных - схд Система хранения данных с прямым доступом

Зависимость бизнес-процессов предприятия от ИТ-сферы постоянно растет. На сегодня вопросу непрерывности работы ИТ-сервисов уделяют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

Одним из центральных элементов обеспечения отказоустойчивости является система хранения данных (СХД) - устройство на котором централизовано храниться вся информация. СХД характеризуется высокой масштабируемостью, отказоустойчивостью, возможностью выполнять все сервисные операции без остановки работы устройства (в том числе замену компонентов). Но стоимость даже базовой модели измеряется в десятках тысяч долларов. Например, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит порядка 21 000 USD , что для небольшой компании очень дорого.

В нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища , которое не проигрывает по производительности и надежности классическим системам. Для его реализации предлагаем использовать CEPH .

Что такое CEPH и как он работает?

CEPH – хранилище на базе свободного ПО, представляет из себя объединение дисковых пространств нескольких серверов (количество серверов на практике измеряется десятками и сотнями). CEPH позволяет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоваться как в качестве объектного хранилища (служить для хранения файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

Отказоустойчивость хранилища обеспечивается репликацией каждого блока данных на несколько серверов. Количество одновременно хранимых копий каждого блока называется фактором репликации, по умолчанию его значение равно 2. Схема работы хранилища показана на рисунке 1, как видим информация разбивается на блоки, каждый из которых распределяется по двум разным нодам.

Рисунок 1 - Распределение блоков данных

Если на серверах не используются отказоустойчивые дисковые массивы, для надежного хранения данных рекомендуется использовать более высокое значение фактора репликации. В случае выхода из строя одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное время (параметр настраивается, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

Рисунок 2 - Выход из строя одной ноды

Рисунок 3 - Восстановление избыточности

Аналогично, в случае добавления в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнения дисков на всех нодах. Механизм который контролирует процессы распределения блоков информации в кластере CEPH называется CRUSH.

Для получения высокой производительности дискового пространства в кластерах CEPH рекомендуется использовать функционал cache tiering (многоуровневое кэширование). Смысл его заключается в том, чтобы создать отдельный высокопроизводительный пул и использовать его для кэширования, основная же информация будет размещена на более дешевых дисках (рисунок 4).

Рисунок 4 - Логическое представление дисковых пулов

Многоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записываться в самый быстрый пул, после чего перемещаться на уровень хранения. Аналогично по запросам на чтение – информация при обращении будет подниматься на уровень кэширования и обрабатываться. Данные продолжают оставаться на уровне кэша пока не становятся неактивными или пока не теряют актуальность (рисунок 5). Стоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситься прямо в пул хранения.

Рисунок 5 - Принцип работы кэш-тирринг

Рассмотрим реальные сценарии использования CEPH в организации для создания хранилища данных. В качестве потенциального клиента рассматриваются организации малого и среднего бизнеса, где будет наиболее востребована эта технология. Мы рассчитали 3 сценария использования описанного решения:

1. Производственное или торговое предприятие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
2. Организация, которой для ее бизнес-задач требуется развернуть локальное частное облако.
3. Очень бюджетное решение для организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечения с доступностью 99,98% в год и недорогим масштабированием.

Сценарий использования 1. Хранилище данных на базе CEPH

Рассмотрим реальный пример применения CEPH в организации. Например, нам требуется отказоустойчивое производительное хранилище объемом 6 Тб, но затраты даже на базовую модель СХД с дисками составляют порядка $21 000 .

Собираем хранилище на базе CEPH. В качестве серверов предлагаем использовать решение Supermicro Twin (Рисунок 6). Продукт представляет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируются, что обеспечивает его непрерывное функционирование. Для реализации нашей задачи будет достаточно использовать 3 ноды, 4-я будет в запасе на будущее.

Рисунок 6 - Supermicro Twin

Комплектуем каждую из нод следующим образом: 32 Гб ОЗУ, 4-х ядерный процессор 2,5 Ггц, 4 SATA диска по 2 Тб для пула хранения объединяем в 2 массива RAID1, 2 SSD диска для пула кэширования также объединяем в RAID1 . Стоимость всего проекта указана в таблице 1.

Таблица 1. Комплектующие для хранилища на базе CEPH

Вывод: В результате построения хранилища получим дисковый массив 6Tb c затратами порядка $16 000 , что на 25% меньше чем закупка минимальной СХД, при этом на текущих мощностях можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. По сути – это законченное решение.

Серверы, из которых строится хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

Сценарий использования 2. Построение частного облака

Задача состоит в том, чтобы развернуть инфраструктуру для построения частного облака с минимальными затратами.

Построение даже небольшого облака состоящего из например из 3-х носителей примерно в $36 000 : $21 000 – стоимость СХД + $5000 за каждый сервер с 50% наполнением.

Использование CEPH в качестве хранилища позволяет совместить вычислительные и дисковые ресурсы на одном оборудовании. То есть не нужно закупать отдельно СХД - для размещения виртуальных машин будут использоваться диски установленные непосредственно в серверы.

Краткая справка:
Классическая облачная структура представляет из себя кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

1. Вычислительная часть (compute) - серверы, заполненные оперативной памятью и процессорами, ресурсы которых используются виртуальными машинами для вычислений
2. Система хранения данных (storage) – устройство наполненное жесткими дисками, на котором хранятся все данные.

В качестве оборудования берем те же серверы Supermicro, но ставим более мощные процессоры – 8-ми ядерные с частотой 2,6 GHz, а также 96 Гб ОЗУ в каждую ноду , так как система будет использоваться не только для хранения информации, но и для работы виртуальных машин. Набор дисков берем аналогичный первому сценарию.

Таблица 2. Комплектующие для частного облака на базе CEPH

Собранное облако будет иметь следующие ресурсы с учетом сохранения стабильности при выходе из строя 1-й ноды:

• Оперативная память: 120 Гб
• Дисковое пространство 6000 Гб
• Процессорные ядра физические: 16 Шт.

Собранный кластер сможет поддерживать порядка 10 средних виртуальных машин с характеристиками: 12 ГБ ОЗУ / 4 процессорных ядра / 400 ГБ дискового пространства.

Также стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов для облака в 2 раза.

Вывод: Как видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из строя любого из серверов не критичен – система продолжит функционирование без остановки, при этом стоимость решения примерно в 1,5 раза ниже , чем купить СХД и отдельные сервера.

Сценарий использования 3. Построение сверхдешевого хранилища данных

Если бюджет совсем ограничен и нет денег на закупку оборудования описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит – их настоятельно рекомендуется купить новые.

Предлагаем рассмотреть следующую структуру: закупается 4 серверные ноды, в каждый сервер ставиться по 1 SSD-диску для кэширования и по 3 SATA диска . Серверы Supermicro с 48 ГБ ОЗУ и процессорами линейки 5600 можно сейчас купить примерно за $800 .

Диски не будут собираться в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. В связи с этим для повышения надежности хранилища будем использовать фактор репликации 3. То есть у каждого блока будет 3 копии. При такой архитектуре зеркалирования дисков SSD кеша не требуется, так как происходит автоматическое дублирование информации на другие ноды.

Таблица 3. Комплектующие для стореджа

Вывод: В случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность для работы СУБД. В данном примере в результате получим хранилище объемом 8 ТБ с очень низкой стоимостью и очень высокой отказоустойчивостью. Цена одного терабайта получилась в 3,8 раза дешевле , чем при использовании промышленной СХД за $21000.

Итоговая таблица, выводы

*Расчет количества IOPs выполнен для созданных массивов из дисков NL SAS на СХД и дисков SATA на сторедже CEPH, кэширование отключалось для чистоты полученных значений. При использовании кэширования показатели IOPs будут значительно выше до момента заполнения кэша.

В итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных. Как показали расчеты, использовать ноды кластера только для хранения не очень эффективно – решение выходит дешевле чем закупить СХД, но не на много – в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. По-настоящему экономия ощущается в результате совмещения вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решения будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

Компания EFSOL реализует данное решение по индивидуальным требованиям. Мы можем использовать имеющееся у вас оборудование, что ещё более снизит капитальные затраты на внедрение системы. Свяжитесь с нами и мы проведем обследование вашего оборудования на предмет его использования при создании СХД.

Каково назначение систем хранения данных (СХД)?

Системы хранения данных предназначены для безопасного и отказоустойчивого хранения обрабатываемых данных с возможностями быстрого восстановления доступа к данным в случае сбоя в работе системы.

Какие основные разновидности СХД?

По типу реализации СХД делятся на аппаратные и программные. По области применения СХД делятся на индивидуальные, для малых рабочих групп, для рабочих групп, для предприятий, корпоративные. По типу подключения СХД делятся на:

1. DAS (Direct Attached Storage — системы с прямым подключением)

Особенностью данного типа систем является то, что контроль за доступом к данным для устройств, подключенных к сети, осуществляется сервером или рабочей станцией, к которой подключено хранилище.

2. NAS (Network Attached Storage — системы, подключаемые к ЛВС)

В данном типе систем доступ к информации, размещенной в хранилище, контролируется программным обеспечением, которое работает в самом хранилище.

3. SAN (Storage Attached Network — системы, представляющие собой сеть между серверами, которые обрабатывают данные и, собственно, СХД);

При таком способе построения системы хранения данных контроль за доступом к информации осуществляется программным обеспечением, работающим на серверах СХД. Через коммутаторы SAN производится подключение хранилища к серверам по высокопроизводительным протоколам доступа (Fibre channel, iSCSI, ATA over ethernet, и т.п.)

Каковы особенности программной и аппаратной реализации СХД?

Аппаратная реализация СХД представляет собой единый аппаратный комплекс, состоящий из устройства хранения (представляющего собой диск или массив дисков, на которых данные физически хранятся), и устройства управления (контроллер, занимающийся распределением данных между элементами хранилища).

Программная реализация СХД представляет собой распределенную систему, в которой данные хранятся без привязки к какому-либо конкретному хранилищу или серверу, и доступ к данным осуществляется посредством специализированного ПО, которое отвечает за сохранность и безопасность хранимых данных).

В простейшем случае SAN состоит из СХД , коммутаторов и серверов, объединённых оптическими каналами связи. Помимо непосредственно дисковых СХД в SAN можно подключить дисковые библиотеки, ленточные библиотеки (стримеры), устройства для хранения данных на оптических дисках (CD/DVD и прочие) и др.

Пример высоконадёжной инфраструктуры, в которой серверы включены одновременно в локальную сеть (слева) и в сеть хранения данных (справа). Такая схема обеспечивает доступ к данным, находящимся на СХД, при выходе из строя любого процессорного модуля, коммутатора или пути доступа.

Использование SAN позволяет обеспечить:

• централизованное управление ресурсами серверов и систем хранения данных ;
• подключение новых дисковых массивов и серверов без остановки работы всей системы хранения;
• использование ранее приобретенного оборудования совместно с новыми устройствами хранения данных;
• оперативный и надежный доступ к накопителям данных, находящимся на большом расстоянии от серверов, *без значительных потерь производительности;
• ускорение процесса резервного копирования и восстановления данных - BURA .

История

Развитие сетевых технологий привело к появлению двух сетевых решений для СХД – сетей хранения Storage Area Network (SAN) для обмена данными на уровне блоков, поддерживаемых клиентскими файловыми системами, и серверов для хранения данных на файловом уровне Network Attached Storage (NAS). Чтобы отличать традиционные СХД от сетевых был предложен еще один ретроним – Direct Attached Storage (DAS).

Появлявшиеся на рынке последовательно DAS, SAN и NAS отражают эволюционирующие цепочки связей между приложениями, использующими данные, и байтами на носителе, содержащим эти данные. Когда-то сами программы-приложения читали и писали блоки, затем появились драйверы как часть операционной системы. В современных DAS, SAN и NAS цепочка состоит из трех звеньев: первое звено – создание RAID-массивов, второе – обработка метаданных, позволяющих интерпретировать двоичные данные в виде файлов и записей, и третье – сервисы по предоставлению данных приложению. Они различаются по тому, где и как реализованы эти звенья. В случае с DAS СХД является «голой», она только лишь предоставляет возможность хранения и доступа к данным, а все остальное делается на стороне сервера, начиная с интерфейсов и драйвера. С появлением SAN обеспечение RAID переносится на сторону СХД, все остальное остается так же, как в случае с DAS. А NAS отличается тем, что в СХД переносятся к тому же и метаданные для обеспечения файлового доступа, здесь клиенту остается только лишь поддерживать сервисы данных.

Появление SAN стало возможным после того, как в 1988 году был разработан протокол Fibre Channel (FC) и в 1994 утвержден ANSI как стандарт. Термин Storage Area Network датируется 1999 годом. Со временем FC уступил место Ethernet, и получили распространение сети IP-SAN с подключением по iSCSI.

Идея сетевого сервера хранения NAS принадлежит Брайану Рэнделлу из Университета Ньюкэстла и реализована в машинах на UNIX-сервере в 1983 году. Эта идея оказалась настолько удачной, что была подхвачена множеством компаний, в том числе Novell, IBM , и Sun, но в конечном итоге сменили лидеров NetApp и EMC.

В 1995 Гарт Гибсон развил принципы NAS и создал объектные СХД (Object Storage, OBS). Он начал с того, что разделил все дисковые операции на две группы, в одну вошли выполняемые более часто, такие как чтение и запись, в другую более редкие, такие как операции с именами. Затем он предложил в дополнение к блокам и файлам еще один контейнер, он назвал его объектом.

OBS отличается новым типом интерфейса, его называют объектным. Клиентские сервисы данных взаимодействуют с метаданными по объектному API (Object API). В OBS хранятся не только данные, но еще и поддерживается RAID, хранятся метаданные, относящиеся к объектам и поддерживается объектный интерфейс. DAS, и SAN, и NAS, и OBS сосуществуют во времени, но каждый из типов доступа в большей мере соответствует определенному типу данных и приложений.

Архитектура SAN

Топология сети

SAN является высокоскоростной сетью передачи данных, предназначенной для подключения серверов к устройствам хранения данных. Разнообразные топологии SAN (точка-точка, петля с арбитражной логикой (Arbitrated Loop) и коммутация) замещают традиционные шинные соединения «сервер - устройства хранения» и предоставляют по сравнению с ними большую гибкость, производительность и надежность. В основе концепции SAN лежит возможность соединения любого из серверов с любым устройством хранения данных, работающим по протоколу Fibre Channel . Принцип взаимодействия узлов в SAN c топологиями точка-точка или коммутацией показан на рисунках. В SAN с топологией Arbitrated Loop передача данных осуществляется последовательно от узла к узлу. Для того, чтобы начать передачу данных передающее устройство инициализирует арбитраж за право использования среды передачи данных (отсюда и название топологии – Arbitrated Loop).

Транспортную основу SAN составляет протокол Fibre Channel, использующий как медные, так и волоконно-оптические соединения устройств.

Компоненты SAN

Компоненты SAN подразделяются на следующие:

• Ресурсы хранения данных;
• Устройства, реализующие инфраструктуру SAN;

Host Bus Adaptors

Ресурсы хранения данных

К ресурсам хранения данных относятся дисковые массивы , ленточные накопители и библиотеки с интерфейсом Fibre Channel . Многие свои возможности ресурсы хранения реализуют только будучи включенными в SAN. Так дисковые массивы высшего класса могут осуществлять репликацию данных между масcивами по сетям Fibre Channel, а ленточные библиотеки могут реализовывать перенос данных на ленту прямо с дисковых массивов с интерфейсом Fibre Channel, минуя сеть и серверы (Serverless backup). Наибольшую популярность на рынке приобрели дисковые массивы компаний EMC , Hitachi , IBM , Compaq (семейство Storage Works , доставшееся Compaq от Digital), а из производителей ленточных библиотек следует упомянуть StorageTek , Quantum/ATL , IBM .

Устройства, реализующие инфраструктуру SAN

Устройствами, реализующими инфраструктуру SAN, являются коммутаторы Fibre Channel (Fibre Channel switches , FC switches),концентраторы (Fibre Channel Hub) и маршрутизаторы (Fibre Channel-SCSI routers).Концентраторы используются для объединения устройств, работающих в режиме Fibre Channel Arbitrated Loop (FC_AL). Применение концентраторов позволяет подключать и отключать устройства в петле без остановки системы, поскольку концентратор автоматически замыкает петлю в случае отключения устройства и автоматически размыкает петлю, если к нему было подключено новое устройство. Каждое изменение петли сопровождается сложным процессом её инициализации . Процесс инициализации многоступенчатый, и до его окончания обмен данными в петле невозможен.

Все современные SAN построены на коммутаторах, позволяющих реализовать полноценное сетевое соединение. Коммутаторы могут не только соединять устройства Fibre Channel , но и разграничивать доступ между устройствами, для чего на коммутаторах создаются так называемые зоны. Устройства, помещенные в разные зоны, не могут обмениваться информацией друг с другом. Количество портов в SAN можно увеличивать, соединяя коммутаторы друг с другом. Группа связанных коммутаторов носит название Fibre Channel Fabric или просто Fabric. Связи между коммутаторами называют Interswitch Links или сокращенно ISL.

Программное обеспечение

Программное обеспечение позволяет реализовать резервирование путей доступа серверов к дисковым массивам и динамическое распределение нагрузки между путями. Для большинства дисковых массивов существует простой способ определить, что порты, доступные через разные контроллеры , относятся к одному диску. Специализированное программное обеспечение поддерживает таблицу путей доступа к устройствам и обеспечивает отключение путей в случае аварии, динамическое подключение новых путей и распределение нагрузки между ними. Как правило, изготовители дисковых массивов предлагают специализированное программное обеспечение такого типа для своих массивов. Компания VERITAS Software производит программное обеспечение VERITAS Volume Manager , предназначенное для организации логических дисковых томов из физических дисков и обеспечивающее резервирование путей доступа к дискам, а также распределение нагрузки между ними для большинства известных дисковых массивов.

Используемые протоколы

В сетях хранения данных используются низкоуровневые протоколы:

• Fibre Channel Protocol (FCP), транспорт SCSI через Fibre Channel. Наиболее часто используемый на данный момент протокол . Существует в вариантах 1 Gbit/s, 2 Gbit/s, 4 Gbit/s, 8 Gbit/s и 10 Gbit/s.
• iSCSI , транспорт SCSI через TCP/IP .
• FCoE , транспортировка FCP/SCSI поверх "чистого" Ethernet.
• FCIP и iFCP , инкапсуляция и передача FCP/SCSI в пакетах IP.
• HyperSCSI , транспорт SCSI через Ethernet .
• FICON транспорт через Fibre Channel (используется только мейнфреймами).
• ATA over Ethernet , транспорт ATA через Ethernet.
• SCSI и/или TCP/IP транспорт через InfiniBand (IB).

Преимущества

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть – разгрузка LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Географические размеры SAN, в отличие от классических DAS, практически не ограничены.
• Возможность оперативно распределять ресурсы между серверами.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.
• Простая схема резервного копирования – все данные находятся в одном месте.
• Наличие дополнительных возможностей и сервисов (снапшоты, удаленная репликация).
• Высокая степень безопасности SAN.

Совместное использование систем хранения как правило упрощает администрирование и добавляет изрядную гибкость, поскольку кабели и дисковые массивы не нужно физически транспортировать и перекоммутировать от одного сервера к другому.

Другим приемуществом является возможность загружать сервера прямо из сети хранения. При такой конфигурации можно быстро и легко заменить сбойный

– это аппаратно-программное решение для надежного хранения данных и предоставление быстрого и надежного доступа к ним.

Реализация аппаратного обеспечения в системах хранения данных (СХД) схоже с реализацией архитектуры персонального компьютера. Зачем же тогда вообще применять СХД в архитектуре локальной сети организации, почему нельзя обеспечить, внедрить СХД на базе обычного ПК?

СХД как дополнительный узел локальной сети на базе персоналки или даже мощного сервера существуют уже давно.

Простейшее предоставление доступа к данным по протоколам FTP (протокол передачи фалов) и SMB (протокол удаленного доступа к сетевым ресурсам) поддержка которых есть во всех современных операционных системах.

Почему же тогда вообще появились СХД ?

Все просто , появление СХД связано с отставанием в развитии и скорости работы постоянно запоминающих устройств (жестких магнитных дисков) от центрального процессора и оперативной памяти. Самым узким местом в архитектуре ПК до сих пор считается жесткий диск, даже не смотря на мощное развитие SATA (последовательного интерфейса) до скорости обмена в 600 Мбайт/с (SATA3 ), физическое устройство накопителя представляет собой пластину, доступ к данным на которой нужно получить с помощью считывающих головок, что очень медленно. Последние недостатки на текущий момент решены накопителями SSD (не механическое запоминающее устройство), построенных на основе микросхем памяти. Кроме высокой цены на SSD у них есть, на мой взгляд, на текущий момент времени, недостаток в надежности. Инженеры СХД предложили вытеснить устройства хранения в отдельный элемент, а оперативную память таких устройств использовать для хранения часто меняющихся данных по специальным алгоритмам, для чего понадобилась программная составляющая продукта. В итоге системы хранения данных работают быстрее, чем накопители на жестких дисках в серверах, а вынос устройства хранения (дисковой подсистемы в отдельный элемент) повлияло на надежность и централизацию системы в целом.

Надежность обеспечил факт реализации в отдельном устройстве дисковой системы, которая работая с программной составляющей, выполняет одну функцию – это операции ввода/вывода и хранения данных.

Кроме простого принципа – одно устройство, одна функция обеспечивающее надежность. Все основные узлы: блоки питания, контроллеры системы хранения данных дублируют, что конечно еще больше увеличивает надежность системы, но сказывается на цене конечного продукта.

Вынос дисковой системы в отдельный узел позволяет централизовать устройства хранения . Как правило, без отдельного сетевого хранилища, домашние папки пользователей, почта, базы данных хранятся на отдельных узлах, как правило, серверах в сети, что очень неудобно, не надежно. Приходится делать резервные копии, дублировать данные на резервный сервер в сети, что кроме расходов на поддержку и аппаратуру, программное обеспечение, занимает часть пропускной способности сети.

Вот как это выглядит:

С отдельным СХД:

В зависимости от способа, технологии подключения СХД в информационную сеть. СХД подразделяют на: DAS, NAS, SAN

DAS (Direct Attached Storage) – способ подключения, который ничем не отличается от стандартного подключения жесткого диска, массивов дисков (RAID) к серверу или ПК. Как правило, для подключения используется SAS .

SAS – фактически, протокол рассчитанный на замену SCSI, использует последовательный интерфейс в отличии от SCSI, но команды используются те же самые, что и в SCSI. SAS имеет большую пропускную способность благодаря канальным соединениям в одном интерфейсе.

NAS (Network Attached Storage) – дисковая система подключается к общей LAN сети, используется транспортный протокол TCP, поверх модели работают протоколы SMB, NFS (удаленный доступ к файлам и принтерам).

SAN (Storage Area Network) – это выделенная сеть объединяющая устройства хранения с серверами. Работает с использованием протокола Fibre Channel либо iSCSI .

С Fibre Channel все понятно – оптика. А вот iSCSI – инкапсуляция пакетов в протокол IP, позволяет создавать сети хранения данных на основе Ethernet инфраструктуры, скорость передачи 1Gb и 10GB. Скорости работы iSCSI по мнению разработчиков должно хватать почти для всех бизнес приложений. Для подключения сервера к СХД по iSCSI требуются адаптеры с поддержкой iSCSI . До каждого устройства при использовании iSCSI прокладывают как минимум два маршрута, применяя VLAN , каждому устройству и LUN (определяет виртуальный раздел в массиве, используется при адресации) присваивается адрес (World Wide Name ).

Отличие NAS от SAN в том, что в сети SAN при операциях ввода/вывода данные считываются и записываются блоками. СХД не имеет никакого представления об устройстве файловых систем.

Из наиболее брендовых вендоров на рынке устройств хранения можно выделить: NetApp, IBM, HP, DELL, HITACHI, EMC.

Для нашего проекта требуется система хранения данных со следующими характеристиками:

• Объем 1Тб для файлов, 1Тб для операционных систем серверов и баз данных, 300 – 500 Гб, для резервных серверов + запас. Итого минимум 3Тб дискового пространства
• Поддержка протоколов SMB и NFS, для раздачи общих файлов для пользователей без участия серверов
• Если хотим загрузку гипервизора с СХД , нужен как минимум протокол iSCSI
• По идее еще нужно учитывать такой важный параметр как скорость ввода вывода (IO) который сможет обеспечить СХД. Прикинуть это параметр можно измерением IO на действующем железе, например программой IOMeter.

Нужно учитывать, что кластеризация от Microsoft работает только через Fibre Channel.

Вот список фирм и железок для выбора:

Asustor

Asustor AS 606T , AS 608T , 609 RD (кроме возможности установки до 8-ми дисков емкостью 4Tb заявлена поддержка VMware, Citrix и Hyper-V.

Аппаратная составляющая

CPU Intel Atom 2.13

RAM 1GB (3GB) DDR3

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

ЖК-Экран, HDMI

Сеть

Сетевые протоколы

Файловая система

Для встроенных жестких дисков: EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка нескольких томов с резервными дисками

Тип тома: Single disk, JBOD, RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-миграции уровней RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Монтирование ISO-образов

Поддержка MPIO и MCS

Постоянное резервирование (SCSI-3)

Управление дисками

Поиск поврежденных блоков по графику

Сканирование S.M.A.R.T по графику

Поддерживаемые ОС

Windows XP, Vista, 7, 8, Server 2003, Server 2008, Server 2012

Mac OS X 10.6 Onwards

UNIX, Linux, and BSD

Резервное копирование

Поддержка режима Rsync (удаленной синхронизации)

Резервное копирование в «облако»

Резервное копирование по FTP

Резирвирование на внешние носители

Резервное копирование одним касанием

Системное администрирование

Тип журнала регистрации: системный журнал, журнал подключений, журнал доступа к файлам

Регистратор действий пользователя в реальном времени

Системный монитор реального времени

Сетевая корзина

Дисковая квота пользователей

Виртуальный диск (монтирование образов ISO, макс. 16)

Поддержка ИБП

Управление доступом

Максимальное число пользователей: 4096

Максимальное число групп: 512

Максимальное число папок общего доступа: 512

Максимальное число одновременных подключений: 512

Поддержка Windows Active Directory

Безопасность

Брандмауэр: предотвращение несанкционированного доступа

Сетевой фильтр: предотвращение сетевых атак

Уведомления об угрозах: E-mail, SMS

Защищенные подключения: HTTPS, FTP через SSL/TLS, SSH, SFTP, Rsync через SSH

Операционная система ADM с возможностью подключения дополнительных модулей через app central

Модели AS 604RD , AS 609RD в отличие от AS 606T , AS 608T , не имеют в своем составе ЖК-дисплея, предназначены для установки в стойку и имеют резервный блок питания, заявлена поддержка платформ виртуализации

Netgear

Ready Nas 2100 , Ready Nas 3100 , Ready Nas Pro 6

Аппаратная составляющая

CPU Intel SOC 1ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: BTRFS, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Управление дисками

Ёмкость диска, производительность, мониторинг загрузки

Сканирование для поиска плохих блоков на дисках

Поддержка HDD S.M.A.R.T.

Он-лайн коррекция данных на дисках

Поддержка режима Disk Scrubbing

Поддержка дефрагментации

Сообщения (от сервиса SMTP через e-mail, SNMP, syslog, локальный журнал)

Автоматическое выключение (HDD, вентиляторов, ИБП)

Восстановление работоспособности при возобновлении питания

Поддерживаемые ОС

Microsoft Windows Vista (32/64-bit), 7 (32/64-bit), 8 (32/64-bit), Microsoft Windows Server 2008 R2/2012, Apple OS X, Linux/Unix, Solaris, Apple iOS, Google Android)

Резервное копирование

Неограниченное число snapshot для непрерывной защиты.

Восстановление снимков в любой момент времени. Через графический интерфейс пользователя (консоль администратора), ReadyCLOUD, или проводник Windows

Возможность создания snapshot вручную или через планировщик

Синхронизация файлов через R-sync

Облачное управление Remote Replication(ReadyNAS to ReadyNAS). Не требует лицензий для устройств работающих под oперационной системой Radiator OS v6.

Резервирование в “горячем” режиме

Поддержка eSATA

Поддержка резервного копирования на внешние диски to e (USB/eSATA)

Поддержка технологии Remote Apple Time Machine backup and restore (через ReadyNAS Remote)

Поддержка сервиса ReadyNAS Vault Cloud (опционально)

Поддержка синхронизации через ReadyDROP (синхронизация файлов Mac/Windows на ReadyNAS)

Поддержка сервиса DropBox для файловой синхронизации (требуется учётная запись на сервисе DropBox)

Системное администрирование

ReadyCLOUD для обнаружения и управления устройствами

RAIDar –агент для обнаружения устройств в сетиt (Windows/Mac)

Сохранение и восстановление файла конфигураций

Журнал событий

Поддержка сообщений для сервера syslog

Поддержка сообщений для SMB

Графический интерфейс пользователя на русском и английском языках

Genie+ marketplace. Встроенный магазин приложений для повышения функциональности устройства

Поддержка Unicode- символов

Дисковый менеджер

Поддержка Thin provision Shares and LUNs

Мгновенное выделение ресурсов

Управление доступом

Максимальное число пользователей: 8192

Максимальное число групп: 8192

Максимальное количество папок предоставляемых для сетевого доступа: 1024

Максимальное количество подключение: 1024

Доступ к папкам и файлам на основе ACL

Расширенные разрешения для папок и подпапок на основе ACL для CIFS / SMB, AFP, FTP, Microsoft Active Directory (AD) Domain Controller Authentication

Собственные списки доступа

Списки доступа ReadyCLOUD на основе ACL

Операционная система

ReadyNAS OS 6 базируется на Linux 3.x

Ready Nas 3100 отличает Ready Nas 2100 объемом памяти 2Гб ECC

Ready Nas Pro 6 – хранилище с шестью слотами, процессор Intel Atom D510, память DDR2 1Гбайт

Qnap

TS-869U-RP , TS-869 PRO

Аппаратная составляющая

CPU Intel Atom 2.13ГГц

Hard 2.5, 3.5, SATA 3 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover, Vlan

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, Rsync, SSH, SFTP, iSCSI, HTTP, HTTPS

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: FAT32, NTFS, EXT3, EXT4, HFS+

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Поддержка онлайн-расширения емкости RAID-массива

Максимальное число целей: 256

Максимальное число LUN: 256

Маскирование целей

Отображение LUN

Инициатор iSCSI (Виртуальный диск)

Stack Chaining Master

До 8 виртуальных дисков

Управление дисками

Увеличение емкости дискового пространства RAID-массива без потери данных

Сканирование на сбойные блоки

Функция восстановления RAID-массива

Поддержка Bitmap

Поддерживаемые ОС

Резервное копирование

Репликация в реальном времени (RTRR)

Работает как в качестве RTRR сервера, так и клиента

Поддерживает резервное копирование в реальном времени и по расписанию

Возможны фильтрация файлов, сжатие и шифрование

Кнопка копирования данных с/на внешнее устройство

Поддержка Apple Time Machine с управлением резервирования

Репликация ресурсов на уровне блоков (Rsync)

Работает как в качестве сервера, так и клиента

Защищенная репликация между серверами QNAP

Резервное копирование на внешние носители

Резервное копирование на облачные системы хранения данных

Приложение NetBak Replicator для Windows

Поддержка Apple Time Machine

Системное администрирование

Веб-интерфейс на технологии AJAX

Подключение по HTTP/ HTTPS

Мгновенные уведомления по E-mail и SMS

Управление системой охлаждения

DynDNS и специализированный сервис MyCloudNAS

Поддержка ИБП с SNMP-управлением (USB)

Поддержка сетевых ИБП

Монитор ресурсов

Сетевая корзина для CIFS/ SMB и AFP

Подробные журналы событий и подключений

Список активных пользователей

Клиент Syslog

Обновление микропрограммы

Сохранение и восстановление системных настроек

Восстановление заводских настроек

Управление доступом

До 4096 учетных записей пользователей

До 512 групп пользователей

До 512 сетевых ресурсов

Пакетное добавление пользователей

Импорт/экспорт пользователей

Задание параметров квотирования

Управление правами доступа на вложенные папки

Операционная система

TS – 869 Pro – модель без резервного блока питания, объем памяти 1Гб

Synology

RS 2212 , DS1813

Аппаратная составляющая

CPU Intel Core 2.13ГГц

Hard 2.5, 3.5, SATA 2 or SSD

Lan Gigabit Ethernet – 2

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, AFP, NFS, FTP, WebDAV, SSH

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: NTFS, EXT3, EXT4

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10

Максимальное число целей: 512

Максимальное число LUN: 256

Управление дисками

Изменение уровня RAID без остановки работы системы

Поддерживаемые ОС

Windows 2000 и последующие версии, Mac OS X 10.3 и последующие версии, Ubuntu 9.04 и последующие версии

Резервное копирование

Сетевое резервирование

Локальное резервирование

Синхронизация папок общего доступа

Резервирование рабочего стола

Системное администрирование

Уведомление о событиях системы по SMS, E-mail

Пользовательская квота

Мониторинг ресурсов

Управление доступом

До 2048 учетных записей пользователей

До 256 групп пользователей

До 256 сетевых ресурсов

Операционная система

DS1813 – 2 Гб оперативной памяти, 4 Gigabit, поддержка HASP 1C, поддержка дисков 4Тб

Thecus

N8800PRO v2 , N7700PRO v2 , N8900

Аппаратная составляющая

CPU Intel Core 2 1.66ГГц

Lan Gigabit Ethernet – 2

Возможность LAN 10Гб

Сеть

IPv4, IPv6, Supports 802.3ad and Six Other Modes for Load Balancing and/or Network Failover

Сетевые протоколы

CIFS/SMB, NFS, FTP

Файловая система

Для встроенных жестких дисков: EXT3, EXT4, Для внешних жестких дисков: EXT3, EXT4, XFS

Хранение

Тип тома: RAID 0, RAID 1, RAID 5, RAID 6, RAID 10, RAID 50, RAID 60

Поддержка онлайн-расширения емкости RAID-массива

Маскирование целей

Отображение LUN

Управление дисками

Контроль состояния дисков (S.M.A.R.T)

Сканирование на сбойные блоки

Возможность монтирования ISO-образов

Поддерживаемые ОС

Microsoft Windows 2000, XP, Vista (32/ 64 bit), Windows 7 (32/ 64 bit), Server 2003/ 2008

Резервное копирование

Acronis True Image

Утилита резервного копирования от Thecus

Чтение с оптического диска на Nas

Системное администрирование

Серверный веб-интерфейс администрирования

Управление доступом

Поддержка ADS

Операционная система

N7700PRO v2 – модель без резервного блока питания

N8900 – новая модель с поддержкой SATA 3 и SAS

Исходя из данных выше, в необходимости не менее 3-x Tb на текущий момент, а при обновлении ОС и программ эту цифру можно умножить на два, то нужно дисковое хранилище с емкостью не менее 6Tb , и с возможностью роста. Поэтому с закладкой на будущее и организации массива RAID 5 итоговой цифрой является необходимость в 12 Tb . При поддержке дисковой системы жестких дисков емкостью 4Tb, нужна система с не менее шестью отсеками для дисков.

Выбор был существенно уменьшен следующими моделями: AS 609RD , Ready NAS 3200 , TS-869U-RP , RS-1212RP+ , N8900 . Все модели имеют в своем составе дополнительный блок питания . И заявленную производителем поддержку известных платформ виртуализации . Наиболее интересной показалась модель от NetGear - Ready NAS 3200 , так как только эта модель кроме SMART поддерживала хоть какие та дополнительные технологии для работы с дисками кроме SMART и память с ECC, но цена вылетала за 100 000 руб, к тому же были сомнения по поводу возможности работы в ней дисков 4Tb и SATA3. Цена за RS-1212RP+ , тоже вылетала выше 100 тысяч. AS 609RD – игрок на рынке систем хранения очень новый, поэтому не известно как поведет себя эта СХД .

Из чего оставалось только две системы на выбор : TS-869 U- RP , N8900 .

TS-869U-RP – на текущий момент стоит порядка 88 000 руб.

N8900 – цена 95 400 руб, имеет массу преимуществ в сравнении с TS-869U-RP – это поддержка как дисков SATA так и SAS , возможность дополнительной установки адаптера 10 Gb , более мощный двуядерный процессор, поддержка дисков SATA3 4Tb. Кроме того существует резервирование прошивки на резервную микросхему, что дает более выгодную надежность по сравнению с другими системами.

• Назад

Shkera

Компания Тринити является одним из лидеров ИТ-рынка среди поставщиков систем хранения данных (СХД) в России. За свою более 25-летнюю историю, являясь официальным поставщиком и партнером известных брендов СХД, мы поставили своим заказчиком несколько сотен систем хранения данных, различного назначения, таких вендоров (производителей) оборудования, как: IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Oracle (Sun Microsystems), Huawei, RADIX, Infortrend. Некоторые системы хранения данных содержали более 1000 жестких дисков и имели емкость более петабайта.

Сегодня мы являемся мультивендорным системным интегратором и занимаемся проектированием и построением ИТ-инфраструктуры предприятий, поставляя и внедряя у наших заказчиков, не только системы хранения данных известных марок, но и серверное и сетевое оборудование, инженерную инфраструктуру, средства обеспечения информационной безопасности, а также управления и мониторинга. Комплексный подход компании Тринити обеспечивается глубокой экспертизой наших инженеров и многолетними партнерскими отношениями с производителями аппаратного и программного обеспечения. Сегодня мы можем предложить комплексные ИТ-решения для бизнеса любого масштаба и задач любой сложности.

Мы оказываем большой спектр БЕСПЛАТНЫХ услуг , которыми сопровождаем возможные активности во взаимоотношениях с нашими потенциальными заказчиками ИТ-оборудования и решений. Мы готовы БЕСПЛАТНО проработать и подготовить решение ИТ-задачи в части анализа всех возможных вариантов, выбора оптимального, расчет архитектуры решения, составление всех спецификаций оборудования и ПО, а также развертывание этого решения в инфраструктуре заказчика.

Системный подход для комплексного решение ИТ-задач заказчика или поставка отдельных ИТ-составляющих решения предполагает глубокое консультирование экспертов «Тринити» для выбора единственно правильного и оптимального решения.

Компания Тринити является официальным партнером ведущих производителей СХД оборудования и программного обеспечения, подтвержденного самыми высокими статусами уровня Premier (Премьер), GOLD (Золотой), PLATINUM (Платиновый) и получением специальных наград, которыми вендоры отмечают своих партнеров за достижения в уровне экспертизы и внедрении сложных информационных технологий в отрасли производства, торговли и государственного управления.

Мы предлагаем не только купить оборудование для хранения данных ведущих международных брендов (производителей), таких как Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei, но и готовы выполнить для вас весь спектр ИТ-задач по подбору оборудования, консультированию, составлению спецификаций, пилотному тестированию в нашей лаборатории или на вашей площадке, настройке, инсталляции и оптимизации инфраструктуры именно под ваши задачи и конкретные приложения. Также мы готовы предоставить специальные цены на поставляемые системы хранения данных и сопутствующее оборудование и ПО, а также оказать квалифицированную техническую поддержку и сервисное обслуживание.

Мы всегда готовы помочь разработать техническое задание и спецификацию систем хранения данных (СХД) и серверного оборудования для конкретных задач, сервисов и приложений, подобрать финансовые условия (рассрочка, лизинг), осуществить доставку и монтаж оборудования на площадке заказчика и последующий запуск в работу с консультированием и обучением ИТ-сотрудников клиента.

Подбор оптимальной конфигурации оборудования для хранения и обработки данных

Мы готовы предложить Вам системы хранения данных оптимальной комплектации. В своем портфеле решений, мы имеем различные системы хранения данных: cистемы Класса All-Flash (флэш), Гибридные СХД на твердотельных Флэш-накопителях, SSD, NVMe, SAS, SATA с различными вариантами подключения к хостам, как файловых сред (сетевая файловая система NFS и SMB), так и блочных СХД (Fibre Channel и iSCSI), а также готовы произвести расчет гиперконвергентных систем (HCI). Вы можете сформулировать ваши задачи или пожелания к составу СХД, требования к производительности (IOPs - операций ввода-вывода в секунду), требований к времени доступа (Latency, задержка в мили- или микросекундах), емкости хранения (гигабайт, терабайт, петабайт), физическим размерам и потребляемой энергии, а также к серверам и ПО (операционные системы, гипервизоры и прикладные приложения). Мы готовы проконсультировать Вас по телефону или по почте и готовы предложить провести вам полный или частичный аудит ресурсов и сервисов хранения ИТ-инфраструктуры вашей компании, для глубокого понимания ваших задач, требований и возможностей для оптимального подбора ИТ-решения (СХД) или выполнения комплексного проекта, результаты которого будут работать на ваш бизнес долгие годы, имея возможность наращивания мощности и емкости хранения с ростом требований, вашей специфики и задач развития. Вы сможете подобрать (получить спецификации и цены), произвести пилотное тестирование систем хранения данных в своей инфраструктуре, получить все необходимые консультации и в последующем купить системы хранения данных и другое сопутствующее оборудование и ПО, получив моновендорное или мультивендорное решение, а наши специалисты выполнят весь комплекс поставки и работ от вашего первого контакта с нами, до подписания актов выполненных работ и оказания сервисного обслуживания.

Кроме готовых и настроенных систем хранения данных, компания Тринити предлагает большой спектр серверного оборудования и сетевой инфраструктуры, которые интегрируются в ИТ инфраструктуру заказчика для комплексного решения задач хранения и обработки данных. Практически любой обзор систем хранения данных, который можно найти на тематических сайтах и форумах, обязательно будет включать в себя информацию наших многолетних партнеров IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Cisco и Huawei. Все это оборудование для хранения данных Вы можете купить и настроить в нашей компании быстро и выгодно.

Сайзинг и подбор спецификации систем хранения данных под задачи Вашей компании

У нас на складе есть как готовые, наиболее востребованные системы хранения данных, так и все возможности для быстрой и точной проработки технического задания для разработки конфигураций СХД под нужды конкретной компании. Наши системы способны работать в круглосуточном режиме: 24 часа в день, 7 дней в неделю, 365 дней в году без сбоев и ошибок. Такой статистики мы добиваемся высоким качеством поставляемых решений и жестким тестированием всех узлов и компонентов систем хранения перед отгрузкой нашим заказчикам. Применение RAID технологий, средств отказоустойчивости, кластеризации и решений защиты от катастроф (Disaster Recovery), как на аппаратном уровне, так и на уровне операционных систем, контроллеров, гипервизоров и развернутых сервисов, гарантируют целостность и доступность обрабатываемой и хранимой информации на системах хранения данных, так и на резервных копиях. Вы можете купить просто системы хранения данных в нашей компании или пригласить нас для участия в комлексном ИТ-проекте, в котором оборудование хранения данных является одной из составляющих ИТ-инфраструктуры предприятия.

Собственная разработка системы хранения данных

Компания Тринити разработала и поставляет систему хранения данных (СХД) на российский рынок под собственной торговой маркой "FlexApp". В основе этой системы хранения данных лежит программное обеспечение (ПО) компании RAIDIX. Линейка оборудования СХД отечественного производства Тринити включает в себя, как высокопроизводительные системы хранения данных на базе флеш-накопителей (All-Flash), так и емкие СХД с использованием множества самых емких жестких дисков по 16ТБ (терабайт) в каждой полке с возможностью объединять эти полки в пулы достигая общей емкости в сотни петабайт. Разработанная нами система хранения данных FlexApp может являться основой оборудования хранения данных для выполнения операторами связи требований «закона Яровой».

Как можно купить систему хранения данных в нашей компании?

Для того, чтобы рассчитать и купить систему хранения данных в нашей компании, необходимо отправить запрос по почте на интересующую Вас модель или описать ваши требования к составу такой модели. Также вы можете позвонить по нашим телефонам в рабочие часы. Мы будем рады обсудить с Вами задачи и требования к системам хранения данных, их производительности, уровню отказоустойчивости. Мы готовы предоставить полную и бесплатную экспертную консультацию по комплектации и техническим особенностям любых систем хранения данных, производства наших партнеров: Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei для оптимального подбора необходимого решения.

Наши офисы с инженерами и экспертами расположены в трех регионах страны:

• Центральный ФО, Москва;
• Северо-Западный ФО, Санкт-Петербург;
• Уральский ФО, Екатеринбург.

Мы всегда готовы видеть Вас и приглашаем посетить офисы Тринити для обсуждения решения поставленных ИТ-задач с нашими менеджерами, экспертами, инженерами и руководством компании. При необходимости мы готовы организовать встречи заказчиков с представителями вендоров (производителей) и поставщиков. Также наши сотрудники готовы приехать на вашу площадку для знакомства и детальной проработки ИТ-инфраструктуры и функционирования ИТ-сервисов.