Лучшие практики для массового хранения на серверах QNAP

1. Цель:
2. Как получить максимально возможную производительность хранилища:
3. Как выбрать носитель:
4. Общие характеристики жестких дисков IOPS
5. Случайный доступ:
6. Последовательный доступ:
7. Случайное чтение и последовательное чтение:
8. Почему кэш чтения / записи SSD увеличивает показатель IOPS при произвольном доступе
9. Особенности RAID-массива
10. Пример № 1: определение распределения нагрузки
11. Пример № 2: высочайшая производительность IOPS
12. Пример № 3: доступ к файлам от многих клиентов
13. ПРИЛОЖЕНИЕ:

Это руководство по рекомендациям содержит общие рекомендации по настройке систем хранения QNAP NAS с учетом максимальной производительности.

Цель:

Эти передовые практики предназначены для пользователей продуктов и партнеров QNAP, а также для клиентов, рассматривающих возможность покупки серверов QNAP NAS. Они содержат рекомендации по настройке хранилища сервера QNAP для оптимальной производительности в зависимости от рабочей нагрузки.

Как получить максимально возможную производительность хранилища:

Следующие рекомендации содержат конкретные рекомендации по конфигурации для получения высокопроизводительного сервера хранения QNAP.

1. Выберите подходящий сервер хранения QNAP корпоративного класса. Корпоративные платформы высшего класса имеют более быстрый процессор, больше памяти и лучшие параметры ввода / вывода. Больше информации
2. Установите максимальный объем памяти. Больше информации
3. Используйте диски mSATA и SSD для буферизации чтения и записи в QTS 4.2.0, используя 2 или 4 SSD, и создайте RAID 1 или 10 в качестве пула кэша. Смотрите рисунки 1 и 2.
4. Выберите правильную конфигурацию для RAID и массивов томов.

• Создайте пул хранения RAID 10. См. Приложение для объяснения.
• В качестве параметра пула хранения выберите «Статический том», чтобы получить наилучшую производительность, или «Толстый том».
  • Опция «Упрощенный том» обеспечивает большую гибкость, но может снизить производительность хранилища для чувствительных приложений. Объяснение приведено в примере на рисунке 4 и в приложении.

Рисунок 1 SSD-кеш для чтения и записи

Рисунок 2 Пул хранения SSD

* Пример доступа к пулу SSD-кеша в QNAP NAS.

Как выбрать носитель:

Ниже приведены наиболее важные советы по выбору правильного типа носителя для сервера хранения QNAP NAS. Отрегулируйте тип диска в соответствии с предполагаемой нагрузкой в ​​вашей среде.

Особенности Традиционные жесткие диски Жесткие диски SAS Твердотельные накопители Низкая Средняя Высокая производительность Низкая Средняя Высокая емкость Высокая средняя Низкая

Наиболее часто измеряемые параметры производительности включают в себя последовательные и случайные операции. Мы измеряем производительность диска в IOPS, то есть количество операций ввода-вывода в секунду. Один запрос на чтение или запись = 1 IOPS. Каждый диск в системе хранения может обеспечить определенное количество операций ввода-вывода в секунду в зависимости от скорости диска, среднего уровня задержки и среднего времени поиска.

Общие характеристики жестких дисков IOPS

Тип устройства Интерфейсные диски IOPS 5400 об / мин HDD ~ 75-100 IOPS SATA III Диски 7200 об / мин HDD ~ 125-150 IOPS SATA III Диски 10000 об / мин HDD ~ 140 IOPS SAS Диски 15000 об / мин HDD ~ 175-210 IOPS SAS Твердотельные диски SSD От около 40 тысяч до более 100 000 IOPS * SATA III

* Производительность зависит от компоновки контроллера SSD и ячеек флэш-памяти.

В случае 4 жестких дисков со скоростью вращения 7200 об / мин можно предположить, что общее приблизительное значение IOPS составляет 500 IOPS. Мы рассчитываем это путем умножения общего количества дисков на приблизительное количество IOPS каждого из этих дисков (4 HDD x 125 IOPS = 500 IOPS).

Случайный доступ:

Произвольный доступ означает доступ к любой части файла в любом порядке. Таким образом, например, вы можете прочитать средний раздел перед начальной частью.

Типы нагрузок, которые обычно используют произвольный доступ:

• одновременный доступ многих клиентов,
• приложения базы данных,
• доступ к виртуальной машине в среде гипервизора,
• Среда IP SAN с использованием блоков данных.

Последовательный доступ:

Последовательный доступ заключается в чтении первой части файла до того, как будет прочитана вторая, третья и т. Д.

Типы нагрузок, которые обычно используют последовательный доступ:

• редактирование видео (прямое редактирование в программном обеспечении для обработки видео на одной рабочей станции);
• запись видео (на одном клиенте, например, с IP-камеры или видеомагнитофона);
• потоковое видео (просмотр видео с сервера NAS);
• отправка больших файлов;
• задание резервного копирования.

Случайное чтение и последовательное чтение:

Операция поиска, которая выполняется, когда головка диска расположена над соответствующим цилиндром для доступа к запрашиваемым данным, занимает больше времени, чем любая другая часть ввода-вывода.

Благодаря конструкции механических дисков последовательный доступ к данным и их запись намного быстрее случайных. Последовательные операции ввода-вывода на механических дисках, как правило, могут быть более быстрыми, поскольку число операций поиска, выполняемых головкой диска, меньше, а больший сегмент данных может быть считан или записан во время одного вращения диска.

Для произвольного доступа требуется большее количество поисковых операций, что означает, что полоса пропускания и показатели IOPS будут намного ниже в случае случайного чтения, особенно случайной записи. Во время операции произвольного ввода-вывода положение головки диска, задержка вращения при поиске на диске и время поиска значительно снижают производительность.

Рис. 3

пример
В случае систем, использующих механические диски, в которых каждый поиск данных на диске занимает около 10 мс, последовательная запись на тот же диск занимает около 30 мс / МБ. Следовательно, последовательность из 100 МБ данных занимает около 3 секунд. Однако, если мы сделаем 100 случайных записей размером 1 МБ, это займет всего 4 секунды (3 секунды для самой записи и 10 мс * 100 = 1 секунда для поиска).

Почему кэш чтения / записи SSD увеличивает показатель IOPS при произвольном доступе

В отличие от механических дисков, флэш-диски не имеют физической головки, которая должна перемещаться по диску, поэтому задержка не превышает 10 мс.

Функция SSD-кэша для чтения и записи на серверы QNAP улучшает результаты IOPS во время произвольного доступа, поскольку она сортирует адреса блоков, чтобы уменьшить количество операций чтения и выгрузки внутренних дисков.

Чем больше размер кэша, тем лучше (потому что таким способом можно отсортировать больше адресов), но на практике это снижает затраты, поскольку кэши записи гораздо дороже, чем внутренние диски.

Особенности RAID-массива

Память сервера QNAP NAS поддерживает разные уровни RAID. Каждый уровень RAID имеет разные параметры емкости и производительности. Перед развертыванием решения для хранения вы должны указать тип рабочей нагрузки.

Выбор типа RAID обычно зависит от двух факторов: емкости и производительности.

Тип RAID Минимальное количество дисков Погрешность ошибок Емкость Случайное чтение Случайная запись Последовательное чтение Последовательная запись RAID 0 2 Нет 100% Высокий Высокий Высокий RAID 1 2 Отказ 1 диск 50% Высокий Низкий Высокий Хороший RAID 5 3 Отказ 1 диск N-1 Высокий Низкий Высокий Хороший RAID 6 4 Отказ 2 Диска N-2 Высокий Низкий Высокий Хороший RAID 10 4 Отказ 1 диск в каждом отправителе RAID 50% Высокий Хороший Хороший Хороший

RAID 10:
Лучше всего подходит для высоких транзакционных нагрузок, предлагая высокий уровень случайной записи (более 30%).

RAID 5:
Лучше всего работает в общих приложениях со средней эффективностью и нагрузками с последовательным доступом. RAID 5 обычно используется по экономическим причинам, поскольку для контроля четности используется только 1 диск. RAID 5 - не лучший тип для высокопроизводительных приложений.

RAID 6:
Лучше всего подходит для нагрузок, в основном ориентированных на запись, таких как архивирование и резервное копирование. Однако это не лучшее решение для приложений, требующих производительности, особенно в среде, где много случайных операций записи.

Пример № 1: определение распределения нагрузки

Распределение виртуальных машин с разными уровнями IOPS для нескольких пулов хранения с разными свойствами RAID значительно повысит производительность и уменьшит узкие места ввода-вывода.

Б / у оборудование:
TS-RP-EC1680U
https://www.qnap.com/i/pl/product/model.php?II=126
16 жестких дисков SATA после 6 ТБ

ИТ-среда клиента включает в себя два хост-сервера VMware ESXi 6.0, она кластеризована и требует работы 20 виртуальных машин (ВМ) с использованием сервера QNAP NAS в качестве резервного хранилища. Клиент произвел инвентаризацию всех виртуальных машин и определил следующее распределение нагрузки в своей среде.

1 ВМ -> сервер базы данных MS SQL с высокой нагрузкой (случайные операции ввода / вывода более 30%).
3 ВМ -> серверы приложений с высокой нагрузкой (произвольные операции ввода / вывода более 30%).
1 ВМ -> vCenter с низкой нагрузкой (в основном последовательный ввод-вывод).
1 VM -> контроллер домена с низкой нагрузкой (в основном последовательные операции ввода / вывода).
1 ВМ -> резервный сервер с низкой нагрузкой (в основном последовательные операции ввода / вывода).
2 VM -> DNS-сервисы с низкой нагрузкой (в основном последовательные операции ввода / вывода).
2 VM -> WWW серверы со средней нагрузкой (произвольные операции ввода / вывода 15%).
5 ВМ -> виртуальные рабочие столы обычных пользователей.
4 ВМ -> внутренние серверы разработки.

Рекомендуемая конфигурация:

• Создайте пул памяти RAID 10 1 со статическим томом, используя не менее 8 жестких дисков.
• Присвойте высокую нагрузку 4 ВМ (случайные операции ввода / вывода более 30%) высокопроизводительному массиву RAID 10.
• Создайте пул памяти RAID 6 2 с толстым или статическим томом, используя как минимум 4 жестких диска.
• Назначьте 5 виртуальных машин с низкой нагрузкой (в основном последовательный ввод-вывод) этому массиву RAID 6.
• Создайте пул памяти RAID 6 3 с толстым или статическим томом, используя как минимум 4 жестких диска.
• Назначьте оставшиеся виртуальные машины, веб-серверы, виртуальные рабочие столы пользователей и внутренние серверы разработки этому массиву RAID 6.

Альтернативная конфигурация:

• Создайте пул памяти RAID 10 1 со статическим томом, используя как минимум 4 SSD.
• Назначьте все виртуальные машины с высокой и средней нагрузкой на твердотельные накопители.
• Создайте пул памяти RAID 6 2 с толстым или статическим томом, используя не менее 8 жестких дисков.
• Назначьте оставшуюся часть виртуальной машины (в основном последовательный ввод-вывод) этому массиву RAID 6.

* Это относится к VMware, Hyper-V, XenServer и другим гипервизорам.

Пример № 2: высочайшая производительность IOPS

Для достижения наилучших результатов используйте высокопроизводительные твердотельные накопители.

Б / у оборудование:
TS-RP-EC1680U
https://www.qnap.com/i/pl/product/model.php?II=126
16 SATA SSD после 1 ТБ

Заказчик больше всего зависит от максимальной эффективности хранилища, а емкость не имеет значения.

• Создайте пул памяти RAID 10 1 со статическим томом, используя все доступные SSD. Поскольку твердотельные накопители не имеют движущихся механических компонентов, вы можете получать очень высокий уровень доступа IOPS последовательно и случайным образом.

Пример № 3: доступ к файлам от многих клиентов

Многие одновременные операции чтения и записи означают больше операций ввода-вывода в секунду для произвольного доступа.

У клиента есть ферма рендеринга, охватывающая около 50 узлов. Все 50 узлов одновременно читают исходную медиа-библиотеку из массовой памяти, визуализируют данные и затем сохраняют результат в большой памяти для дальнейшей обработки. Поскольку все 50 узлов сначала читают носитель, а затем одновременно записывают результат в запоминающее устройство, это создает серьезное узкое место с точки зрения IOPS при использовании только механических жестких дисков. Для процесса графического рендеринга требуются как высокая производительность, так и большой объем памяти, поэтому мы можем оптимизировать запоминающее устройство QNAP NAS следующим образом.

Рекомендуемая конфигурация:

Б / у оборудование:
2 х TS-EC1680U-RP
https://www.qnap.com/i/pl/product/model.php?II=126
16 жестких дисков SATA после 6 ТБ

• Создайте пул памяти RAID 10 1 с толстым или статическим томом, используя не менее 10 дисков.
• Сохраните все результаты в этом пуле хранения, чтобы воспользоваться преимуществами RAID 10.
• Создайте пул памяти RAID 5 или 6 2 с толстым или статическим томом, используя не менее 10 дисков.
• Сохраните все данные из этого пула памяти.

Альтернативная конфигурация:

• Установите только SSD-накопители на сервере NAS QNAP 1 и создайте один большой пул хранения 1.
• Сохраните все результаты на этом NAS. Из-за характера одновременных записей они должны рассматриваться как операции IOPS с произвольным доступом.
• Установите только механические диски на сервере QNAP NAS 2 и создайте один большой пул памяти 1.
• С этого NAS прочитайте все данные.

ПРИЛОЖЕНИЕ:

Серверы QNAP NAS используют усовершенствованную технологию пула памяти, которая обеспечивает пользователям гибкость и производительность.

Рисунок 4 Пул хранения

Пул хранения с управлением логическими томами
Вы можете лучше управлять емкостью хранилища, используя функцию гибкого управления томами QNAP. Пул хранения объединяет жесткие диски, чтобы создать больше места для хранения. Благодаря поддержке нескольких групп RAID также может предложить избыточную защиту, которая снижает риск сбоя и повреждения данных.

После создания пула хранения вы можете выбрать один из трех способов создания тома на основе пула. Тип тома зависит от того, заботимся ли мы больше о гибкости или производительности.

Статический объем:
Статический том занимает все доступное пространство в пуле хранения. Заранее и готовит пространство заранее, чтобы оптимизировать доступ для чтения и записи. Поскольку статический том занимает все пространство в пуле хранения, вы не можете создать больше томов в том же пуле.

Толстый объем:
Толстый объем обеспечивает сочетание гибкости в пространстве и производительности. Вы можете выбрать определенный объем пространства в пуле хранения, чтобы выделить его для толстого тома. Это означает, что вы можете создать большее количество толстых и упрощенных томов в одном пуле хранения. После выбора подходящего размера толстого тома он выделяет и подготавливает пространство для чтения и записи.

Упрощенный объем:
Упрощенный объем позволяет более гибко использовать пространство для хранения. При создании упрощенного тома он не занимает физическое место в памяти - это происходит только во время выделения с целью записи. Это означает, что вы можете настроить упрощенный том с большей емкостью, чем физическая емкость. Вы можете создать большее количество упрощенных томов в одном и том же пуле хранения. Гибкость упрощенного пространства томов снижает производительность при нагрузке.

Ускорение кэша mSATA и SSD для чтения и записи:
Технология SSD-кэширования основана на кэше дисков только для чтения. Когда приложения Turbo NAS получают доступ к жестким дискам, данные сохраняются на SSD. Когда приложение снова получит доступ к тем же данным, оно будет прочитано и сохранено в кэше SSD, а не на жестких дисках. Обычно используемые данные хранятся в кеше SSD. Жесткие диски доступны, только если данные не могут быть найдены на SSD.

Традиционный метод доступа к данным

Способ доступа к данным в SSD-кэше

источники:
https://en.wikipedia.org/wiki/Random_access
https://en.wikipedia.org/wiki/Sequential_access
https://en.wikipedia.org/wiki/IOPS

Похожие

Комментарии