Постоянный рост объёма информации поднимает проблему хранения данных, которая рано и поздно возникает в компаниях при роботе над проектом любой сложности. В большинстве случаев необходимо обеспечить безопасное хранение больших объёмов информации, ее доступности с возможностью восстановления в случае непредвиденных ситуаций. Для решения таких задач компанией NetApp было разработано технологию NetApp StorageGrid для объектного хранения данных на разделенных площадках.
Объектный способ хранения позволяет распределить большие объемы данных между разными площадками на больших расстояниях. При объектном хранении данных каждый файл разделяют на данные и метаданные, которые описывают владельца файла, время создания и другие атрибуты. Это позволяет реализовать хранение данных, например, на уровне жесткого диска используя Object-based Storage Device Commands или интегрируя в протокол доступа к СХД (системе хранения данных), тогда канальный протокол Ethernet используется для подключения, а IP протокол – для передачи данных к СХД.
StorageGRID от компании NetApp это объектные СХД, которые возможно развернуть на сайте у заказчика, а в случае необходимости подключить к облаку. Для упрощения доступа к разрозненным данным и было разработано StorageGRID. Здравоохранение стало первым применением технологии. Многие годы в здравоохранении США существовала проблема эффективного хранения больших объёмов информации и доступа к ней. Например, если врачу необходимо было запросить всю историю лечения пациента за продолжительный период времени, то это оказывалось почти невыполнимой задачей так как данные хранились в множестве мест часто в разных городах. Теперь крупные производители оборудования для здравоохранения такие как Siemens, AGFA и другие интегрируют в свое оборудование возможность отсылки объектов сразу в StorageGRID. Сегодня объектные СХД от компании NetApp активно используют в облачных решениях для хранения данных различного предназначения от секретной информации до крупных научных проектов (CERN).
Решение NetApp StorageGrid состоит из двух составных частей, которые могут работать отдельно или быть частью единого комплекса:
- Программно-аппаратный комплекс NetApp StorageGrid appliance на базе E-Series — SG5660.
- Программное обеспечение NetApp StorageGrid WebScale
Оба этих варианта могут быть реализованы в едином кластере.
StorageGRID Webscale является готовой виртуальной машиной ESXi, которую легко можно развернуть на сервере. В данном случае достаточно использовать одну СХД Е-серии или СХД других производителей. StorageGRID Webscale является платформой корпоративного класса для хранения данных и предоставляет существенно большие преимущества в сравнении с другими решениями объектного хранения данных.
Особенностью архитектуры является поддержка миллионов объектов и петабайт данных, которые хранятся в многочисленных системах, распределенных по миру. StorageGRID Webscale поддерживает интеграцию облачных приложений с поддержкой Amazon S3, а также позволяет хранить до 100 млрд. объектов в едином гибко настраиваемом хранилище. Решение выполнено на базе запатентованного движка с интеллектуальными настройками, и позволяет реализовать надёжное долговременное хранение данных в соответствии с бизнес-требованиями заказчика. Благодаря настраиваемым политикам управления данными, обеспечивается защита данных, а многоуровневое хранение позволяет быстро адаптироваться к изменяющейся модели расходов свободного пространства. При этом можно использовать несколько уровней гранулярности, полные копии и копии с избыточным кодированием (в том числе в сочетании друг с другом) и таким образом добиваться значительной экономии, поддерживая необходимый уровень обслуживания.
NetApp StorageGrid WebScale – это система, состоящая из двух контроллеров (Storage и Compute ноды). Для отказоустойчивости рекомендуется использовать вторую SG5600 а также два сервера для Gateway и Admin нод. При построении StorageGrid WebScale на базе модуля SG5600, хранилище и вычислительные ноды находятся в одном корпусе, что позволяет уменьшить занимаемое пространство в серверной стойке, а также уменьшить количество дополнительных серверов. Технология избыточного кодирования с использованием E-Series DDP обеспечивает защиту данных на уровне каждого узла SG5600 инфраструктуры хранения объектов. В случае ошибок диска технология DDP гарантирует, что работа системы не пострадает. Использование этой технологии в сочетании с распределенным кодированием на SG5600 обеспечивает распределенную защиту, оптимальную эффективность и устойчивость данных.
Устройство SG5600 представляет собой ключевой структурный элемент объектной СХД корпоративного класса. При использовании ПО StorageGRID Webscale непосредственно на встроенных вычислительных компонентах снижается лицензионный сбор за использование гипервизоров. Объединение вычислительных компонентов и ресурсов для хранения данных в одном корпусе экономит место в ЦОД и сокращает затраты на его поддержание.
Преимуществами платформы StorageGrid является:
- Поддержка наиболее популярных объектных протоколов
- Расширяемость до 100 миллиардов объектов (375 миллионов на одну ноду)
- Распределенность до 16 сайтов
- Возможность использования ленточного накопителя для хранения данных (с возможностью извлекать с ленты отдельные объекты).
- В случае изменения политик, жизненный цикл данных будет автоматически подстроен под соответствующие изменения
NetApp StorageGRID сочетает в себе интеллектуальное управление данными и возможность безопасного хранение контента. Технология позволяет управлять метаданными файлов и поддерживает оптимальное размещение данных, что в свою очередь повышает эффективность обработки контента. Это возможно благодаря использованию механизма глобальных политик со встроенными функциями безопасности, которые определяют методы хранения, размещения, защиты и извлечения данных. Еще одним преимуществом NetApp StorageGRID, является защищенность данных от нелегального использования благодаря шифрованию и fingerprint файлов.