Программно-определяемая система хранения данных RAIDIX Hydra для кластерных вычислений. Сочетание уникальных алгоритмов RAID-массива и технологий распределенной файловой системы позволяет достичь высокой производительности при работе с большими объемами обрабатываемых данных.
Возможности распределенной файловой системы позволяют RAIDIX Hydra работать в среде сложных суперкомпьютерных вычислений и искусственного интеллекта, создавая технологическую основу для академических исследований и передовых разработок в промышленности и финансовых структурах.
В основе архитектуры RAIDIX Hydra лежит принцип размещения сервера распределенной файловой системы и устройства хранения (таргета) на базе высокопроизводительного RAID-массива на единой аппаратной платформе. Такой подход позволяет на порядок снизить стоимость инсталляции, значительно сократить data path, а также упростить процесс обслуживания системы.
Решение работает на стандартном серверном оборудовании без привязки к конкретному производителю. Это устраняет издержки, связанные с модернизацией аппаратных платформ, и открывает широкие возможности для точной настройки системы под требования конкретного проекта.
Высокопроизводительные вычисления в фундаментальных и прикладных исследованиях характеризуются обработкой колоссального массива данных. Для этого используются кластерные вычислительные мощности, которые создают множество параллельных потоков операций ввода-вывода. RAIDIX Hydra создает для этих нужд производительную и гибко масштабируемую инфраструктуру хранения, адаптированную для работы в среде суперкомпьютеров.
Технологии искусственного интеллекта характеризуются огромным количеством мелких запросов. Важным требованием к задачам этого класса является быстрая обработка запросов в режиме реального времени. За счет использования технологии распределенной файловой системы и упрощенного data path, RAIDIX Hydra позволяет минимизировать время отклика и обеспечить высокую производительность при работе с таким типом нагрузками.
Архитектура RAIDIX Hydra основана на интеграции серверных компонентов файловой системы Lustre (OSS/MDS/MGS) и таргета (OST/MDT/MGT) с технологиями хранения RAIDIX в едином контроллере, что существенно повышает продуктивность и экономичность системы по сравнению с традиционными решениями.
Решение на базе RAIDIX Hydra состоит из четырех типов блоков, объединенные общей сетью Infiniband:
1. Кластер метаданных. Двухузловой кластер, обеспечивающий высокодоступное функционирование MGT/MDT-таргетов и соответствующих MDS/MGS-серверов.
2. Кластер объектного хранения. Двухузловой кластер, обеспечивающий высокодоступное функционирование нескольких OST и соответствующих OSS-серверов.
3. Системы-клиенты. Системы под управлением ОС Linux, использующие стандартный клиент Lustre соответствующей версии.
4. Сервер мониторинга. Сервер мониторинга (Integrated Manager for Lustre), собирающий статистику и отслеживающий события на серверах метаданных и серверах с объектным
хранением.
Сокращение количества необходимого серверного и коммутационного оборудования в до 50%. Упрощение первичной настройки и последующего обслуживания системы.
Исключения SCSI-стека между устройством хранения и сервером существенно сокращает время отклика, а инновационные технологии RAID-массива повышают пропускную способность системы.
Решение позволяет осуществлять горизонтальное масштабирование системы при помощи типовых блоков представляющих собой отказоустойчивые кластеры объектного хранения.
Отказоустойчивость программных серверов Lustre (OSS/MDS/MGS) обеспечивается тем же механизмом, что и отказоустойчивость таргетов на базе RAIDIX, что устраняет необходимость выделенного администрирования HA-кластера
Для обеспечения целостности и сохранности данных Lustre-таргетов применяются программные технологии RAIDIX.
Разработанные в RAIDIX уровни массивов позволяют повысить защищенность данных за счет дополнительных дисков, выделенных под контрольные суммы.
Технология Silent Data Corruption Protection обнаруживает и устраняет скрытые ошибки данных без остановки системы и с минимальным влиянием на производительность.
Использование энергонезависимой памяти NVDIMM для кэша на запись сохраняет целостность данных при незапланированном отключении питания.
Время отработки отказа и просадка производительности существенно сокращается благодаря производительному программному RAID-массиву и технологии упреждающей реконструкции.
| Распределенная параллельная файловая система | Lustre 2.10 |
| Возможность интеграции с LDAP (RFC 2307bis) | Да |
| Уровни RAID | RAID 10, RAID 5i, RAID 6i, RAID 7.3i, RAID N+Mi |
| Максимальный теоретический размер файловой системы | 512 ПБ |
| Максимальное количество файлов или подкаталогов в каталоге | 5М (128-byte filenames), 10М (48-byte filenames) |
| Максимальное число файлов на файловой системе | 4*109 |
| Поддерживаемые типы сетевых интерфейсов для сети Lustre (LNET) | Infiniband FDR/EDQ - o2ib |
| Поддерживаемый тип бондинга для интерфейсов Infiniband | active-backup |
| Поддерживаемые типы файловых систем для таргет-устройств Lustre (MGT/MDT/OST) | LDISKFS |
| Рекомендуемый тип накопителя RAID для размещения MDT | SAS SSD, не менее 3DWPD |
| Рекомендуемый размер одного OST с LDISKFS | не более 48 ТБ |
| Максимально поддерживаемый размер одного OST с LDISKFS | 64 ТБ |
| Рекомендуемое количество OST на двухконтроллерную систему RAIDIX Hydra OSS | 6 или менее |
| Максимально поддерживаемое количество OST на двухконтроллерную систему RAIDIX Hydra OSS | 8 |
| Рекомендуемое количество OST на одноконтроллерную систему RAIDIX Hydra OSS | 6 или менее |
| Максимально поддерживаемое количество OST на одноконтроллерную систему RAIDIX Hydra OSS | 8 |
