Отказоустойчивость кластеров с непосредственным подключением устройств хранения

В настоящее время наблюдается интенсивное внедрение вычислительных систем кластерной архитектуры, обладающих высокой отказоустойчивостью, доступностью, надежностью и производительностью приложений.

Высокая доступность кластеров достигается в результате консолидации устройств храпения, при которой каждый вычислительный узел — сервер кластера имеет доступ ко всем информационным ресурсам [3—4]. В крупномасштабных системах консолидация устройств хранения достигается на основе технологии сетей хранения данных Storage Area Network (SAN) — сетей, предназначенных для обеспечения подключения вычислительных узлов (серверов) к устройствам хранения (к дискам, RAID-массивам — Redundant Array of Independent Disks — и ленточным библиотекам) и обмена данными между ними [3].

Сети хранения выдвигают жесткие требования к надежности и производительности коммутаторов и маршрутизаторов. Узлы, подключенные к SAN, предназначены для прямой связи с устройствами хранения, поэтому доставка с нарушением порядка пакетов или их потери должны быть исключены. Коммутационные узлы, обеспечивающие требования сетей хранения, характеризуются высокой стоимостью и сложностью, что может в ряде случаев отрицательно влиять на эффективность и надежность кластерных систем. В связи с этим при построении небольших кластерных систем в ряде случаев целесообразно прямое подключение устройств хранения к серверным (вычислительным) узлам (архитектура DAS — Directly Attached Storage) [3].

Рис. 8.6. Типовой вариант построения кластера с прямым подключением устройств хранения к дублированным серверам приложений.

Типовой вариант построения кластера с дублированием устройств хранения и их прямым подключением к дублированным серверам (архитектуры DAS), описанный в работе [3], представлен на рис. 8.6. В конфигурации по рис. 8.6 выделяются группы, содержащие пару серверов и пару устройств хранения при их полной связанности между собой.

В случае т типов приложений (функций) и выделения каждой из т групп дублированных серверов для работы с определенным типом приложений будем считать, что работоспособность системы обеспечивается при исправности в каждой из т групп хотя бы одного сервера и хотя бы одного устройства хранения.

Представляет определенный интерес исследование вариантов построения кластеров с прямым подключением серверов к устройствам храпения. Цель таких исследований — обосновать выбор конфигураций, обеспечивающих при одинаковых затратах на реализацию системы ее большую отказоустойчивость надежность и доступность.

Под работоспособным состоянием кластера подразумевается его состояние при доступности серверов приложений всех типов (хотя бы, но одному каждого тина) и условии доступности для каждого типа серверов приложений хотя бы одного устройства хранения.

Сложность исследований обусловлена тем, что в общем случае модели надежности рассматриваемых конфигураций не сводятся к параллельнопоследовательным или иным известным моделям надежности, позволяющим учесть комбинаторное влияние расположения отказов узлов на отказоустойчивость системы при различных вариантах прямой связанности серверов и устройств хранения. Исследуемые системы при выполнении в них т приложений могут рассматриваться как многофункциональные.

Рассмотрим конфигурации кластерных систем с непосредственным подключением устройств хранения к серверам приложений т типов.

Будем считать, что запрос к i-му приложению может быть обслужен только сервером /-го типа при его взаимодействии с любым из подключенных к нему устройств хранения. Взаимодействие сервера с устройством хранения происходит только во время решения задачи, при этом не требуется данных, сформированных в результате предыдущих выполнений приложения.

Кратность резервирования серверов приложений будем считать 2/1 (дублирование), в этом случае общее число серверов 2 т, общее число устройств хранения будем считать также равным 2 т. Емкость каждого устройства хранения достаточна для поддержки функционирования двух типов приложений.

В работоспособном состоянии система (кластер) должна обеспечить доступность к серверам приложений каждого из т типов при условии доступности для этих серверов хотя бы одного устройства хранения на время решения запрашиваемой задачи.

При формировании структур рассмотрим случай, когда каждый сервер имеет два порта (входа) для подключения устройств хранения, а каждое устройство хранения — два входа для подключения серверов (а = 2), что дает возможность строить резервированные системы без использования коммутаторов, которые в ряде случаев могут вносить дополнительную ненадежность в систему.

При анализе отказоустойчивости предположим, что любой отказ сервера или устройства хранения приводит к потере их функциональности (к их полному отказу). Требуется дополнительно к конфигурации кластера по рис. 8.6 сформировать варианты его построения и проанализировать их отказоустой ч и вость.

Варианты построения кластера. Рассмотрим варианты конфигурации кластера с непосредственным подключением устройств хранения к серверам, которые охарактеризуем вектором (/, х, г, т), где т — число типов серверов приложений; г — кратность их резервирования (при дублировании г = 2); / — число типов серверов приложения, объединяемых в группы; х — смещение при связи сервера и устройства хранения в группе [5].

При заданных / и х варианты конфигурации формируются по следующему правилу;

• • в каждой группе первый сервер подключен к первому входу первого и ко второму входу х-ro устройства хранения;
• • /-Й сервер подключен к первому входу /-го и ко второму входу (/ + х)-го устройства хранения;
• • (/ - х + 1)-й сервер подсоединен к первому входу (/ - х + 1)-го устройства хранения и ко второму входу первого устройства хранения;
• • второй вход последнего /-го сервера группы подключен ко второму выходу х-го устройства хранения.

Приведем примеры формируемых вариантов конфигураций кластеров. Варианту конфигурации S1 (I = I, х = 1) соответствует базовая конфигурация кластера, приведенная на рис. 8.6. Варианту S2 (/ = 2, х = 1) при т = 4.

Рис. 8.7. Варианты конфигураций кластеров при числе типов серверов.

приложений т = 4; кратности резервирования серверов приложений 2/1, общем числе серверов 2т и общем числе устройств хранения — 2т:

а — конфигурация 5₂; б — конфигурация 5₃; в — конфигурация S₄; г — конфигурация 5₃

соответствует конфигурация на рис. 8.7, а; варианту S3 (/ = 2, s = 2) при т = 4 — конфигурация на рис. 8.7, б; варианту 54 (/ = m, s = 1) — конфигурация на рис. 8.7, в; варианту S5 (/ = т, s = 2) — конфигурация на рис. 8.7, г.

Для рассматриваемых конфигураций число устройств хранения, подключаемых к каждому серверу, — 2 (а = 2), число серверов, подключаемых к каждому устройству хранения, — 2, максимальное число b устройств хранения, подключаемых к паре серверов приложений одного типа, — 4 (для конфигураций 55 и 53), b = аг = 4, а их минимальное число — 2 (для конфигураций 51).

Максимальное число устройств хранения, суммарно подключенных к серверам приложений двух типов, — 8 (для 55), а минимальное — 4 (для 53 и 51).

Сравнение конфигураций по детерминированным показателям отказоустойчивости. Сравнение отказоустойчивости конфигураций проведем по детерминированным показателям: максимальное число отказов L, гарантированно выдерживаемых системой, и максимальное число отказов серверов приложений М, которое может выдержать система.

Сравнение проведем для определенного класса задач, для выполнения которых требуется исправность хотя бы одного сервера, выделенного под соответствующее приложение, при доступности для него хотя бы одного устройства хранения, без учета накопленных в нем данных предыдущих вычислений.

Для базовой конфигурации 51 потеря функциональности (доступности) серверов приложений какого-либо типа при кратности их резервирования г = 2 возможна, если отказывает пара дублированных серверов этого типа или пара подключенных к ним устройств хранения. Таким образом, для базовой конфигурации 51 минимальное число отказов, которое может привести к отказу системы В = 2 и, соответственно, максимальное число отказов, гарантированно выдерживаемых системой, — L = 1.

Для конфигураций по рис. 8.7, а ив потеря доступности какого-либо типа серверов приложений возможна, если отказывает пара дублированных серверов одного типа или 3 из 4 связанных с ними устройств хранения. Таким образом, для конфигурации по рис. 8.7, а ив минимальное число отказов серверов, которое может привести к отказу системы, — В = 2, а минимальное число отказов устройств хранения, которое может привести к отказу системы, — В = 3. Максимальное число отказов, гарантированно выдерживаемых системой по рис. 8.7, а и в, для серверов — L = 1, а для устройств хранения — L = 2.

Конфигурации по рис. 8.7, 6 и г гарантированно выдерживают максимальное число отказов для серверов L = 1, а для устройств хранения L = 3.

Таким образом, по показателю «минимальное число отказов, которое гарантированно выдерживает система», доминируют конфигурации по рис. 8.7, 6 и г, а наихудшей является базовая конфигурация по рис. 8.6.

Максимальное число отказов серверов приложений М, которое может выдержать система, для всех рассматриваемых конфигураций совпадает и равно т (если работоспособность сохраняет по одному серверу каждого типа).

Для конфигураций по рис. 8.7 для серверов приложений двух типов работоспособность может поддерживаться одним устройством хранения (рис. 8.8), поэтому максимальное число отказов устройств хранения М, которое могут выдержать эти конфигурации, равно Зт/2. Максимальное число отказов устройств хранения М, которое может выдержать конфигурация 51 (рис. 8.6) равно т, что подтверждает преимущество конфигураций по рис. 8.7 относительно конфигурации по рис. 8.6.

Рис. 8.8. Варианты устойчивости серверов приложений к отказам устройств хранения Таким образом, показана большая отказоустойчивость конфигураций с максимальным числом устройств хранения, подключаемых к паре серверов приложений одного типа (Ь = В = 4 для конфигураций 55 и 53).

Сравнение конфигураций по вероятностным показателям отказоустойчивости. В качестве основного показателя эффективности конфигураций рассмотрим вероятность сохранения работоспособности системы при условии^{-кратного} отказа P (k).

Под работоспособным состоянием подразумевается состояние, при котором обеспечивается доступность серверов приложений всех типов при условии доступности для каждого типа серверов приложений хотя бы одного устройства хранения на время решения задачи [5].

Вероятность сохранения работоспособности системы Р (к) при условии^{-кратного} отказа устройств хранения определим на основе известного комбинаторного метода включения-исключения [5] как.

где GJJi) — число комбинаций отказов к устройств хранения, вызывающих потерю работоспособности в результате утраты доступности к устройствам хранения для серверов приложения хотя бы g типов; С*_от = (2tn)/k (2m — k) — число вариантов отказа к из 2т имеющихся в системе устройств хранения;

и — значение, задающее точность вычислений, которая увеличивается с ростом и, причем при нечетном значении и получаем нижнюю оценку P (k), а при четном — верхнюю, и < т.

Для конфигураций 51 (см. рис. 8.6) потеря работоспособности дублированных серверов одного приложения происходит при отказе двух подключенных к ним устройств хранения [5].

Для конфигурации кластера 51 число комбинаций отказа к устройств хранения, вызывающих нарушение работоспособности приложений (потерю доступности устройств хранения для соответствующих серверов) не менее g типов, определим как.

Для конфигураций 55по рис. 8.7, г потеря менее 4 устройств хранения не приводит к нарушению доступности серверов любого приложения к ресурсам хранения.

Варианты влияния расположения отказавших устройств хранения на потерю одного, двух и трех приложений для конфигурации 55 приведены на рис. 8.9, на котором потерянные приложения выделены (обведены).

Отказ одного приложения из-за недоступности для пары выполняющих его серверов устройств хранения происходит при отказе группы из 4 устройств хранения, расположенных подряд с позиции нахождения первого сервера отказавшего приложения. Пример потери /'-го приложения из-за отказов 4 устройств хранения приведен на рис. 8.9, а. При выполнении.

Рис. 8.9. Варианты влияния расположения отказавших устройств хранения на потерю одного, двух и трех приложений:

а — потеря одного типа приложений; б — двух типов приложений при отказе шести устройств хранения; в — двух типов при отказе восьми устройств хранения; г — трех типов при отказе восьми устройств хранения в кластере т типов приложений число комбинаций отказа 4 устройств хранения, приводящих к потере одного из приложений, равно т.

При отказе 6 устройств хранения, последовательно расположенных (рис. 8.9, б) в позициях начиная с первого сервера г'-го приложения, происходит потеря двух типов приложений: г-го и (/ + 1)-го.

Отказ 2 групп из 4 следующих подряд устройств хранения, если первые устройства в каждой из групп находятся в позициях расположения первых серверов приложений, приводит к потере по крайней мере 2 этих типов приложений (рис. 8.9, в и г). Для рассматриваемых ситуаций число вариантов расположения первой группы отказавших устройств равно т, а второй — (т — 3). Таким образом, общее число подсчитываемых комбинаций будет равно т{т — 3).

Для конфигурации кластера 55 по рис. 8.7, г число комбинаций отказа k устройств хранения, вызывающих потерю возможности выполнения приложений нс менее одного тина, вычислим как [5]:

а не менее двух типов — как.

Для конфигураций 53 по рис. 8.7, б нарушение работоспособности серверов из-за недоступности ресурсов хранения возможно при отказе всех 4 устройств хранения в группе, причем в этом случае происходит потеря работоспособности сразу 2 приложений. Потеря 4 приложений происходит при 8 отказах всех устройств хранения 2 групп. Потеря б приложений возникает при отказах всех устройств хранения 3 групп и т. д.

Вероятность сохранения работоспособности системы 53 P (k) при условии^{-кратного} отказа устройств хранения определим по формуле (8.1) с той особенностью, что G (k) — это число комбинаций, при которых имеется g групп (каждая их которых выделена для выполнения двух приложений) с отказом всех входящих в их состав устройств хранения, причем.

Конфигурация 53 при том же числе отказов устройств хранения b = 4, которое может вызвать потерю хотя бы одного приложения, по сравнению с 55 характеризуется меньшим числом комбинаций отказа b = 4 устройств хранения, приводящих к такой потере. Действительно, число комбинаций, вызывающих потерю хотя бы одного приложения, для конфигурации 55 равно т, а для 53 оно равно т/2.

Примеры оценки отказоустойчивости конфигураций. Результаты расчета вероятностей сохранения работоспособности P (k) при условии возникновения k отказов устройств хранения для конфигурации 51 (рис. 8.6) и 55 (рис. 8.7, г) представлены на рис. 8.10. На нем кривые 1 и 2 соответст;

Рис. 8.10. Вероятности сохранения работоспособности системы P (k) при возникновении к отказов устройств хранения для конфигураций S', и S_5.

вуют нижней и верхней оценке P (k) для конфигураций 51, а кривые Зи4 — для конфигурации 55.

Из рис. 8.10 видно явное преимущество конфигураций 55. Причем конфигурация 55 оказывается лучше даже при нижней оценке вероятности сохранения работоспособности Р (к) конфигурации 55 и верхней — для 51.

На рис. 8.11 дано сравнение конфигураций 51 (рис. 8.6) и 53 (рис. 8.7, б), при этом кривая 1 соответствует верхней оценке P (k) для конфигураций 51, а кривая 2 — нижней оценке P (k) для конфигурации 53. На рис. 8.11 видно явное преимущество по отказоустойчивости конфигурации 53.

Рис. 8.11. Вероятности сохранения работоспособности системы Р (к) при условии возникновения к отказов устройств хранения для конфигурации 5, и S₃

Гарантированное повышение отказоустойчивости (нижняя оценка повышения отказоустойчивости) структур 55 и 53 относительно базовой конфигурации 51 определим как разницу нижней оценки вероятности Р₅(к) (P₃(k)) сохранения функционирования структур 55 (53) при условии возникновения k отказов устройств хранения D_5i и верхней оценки вероятности Р,(&) сохранения функционирования структур 51 — D_3l:

Результаты расчета D₅₁ и D_3I представлены кривыми 1 и 2 на рис. 8.12. Также на нем приведена разница (кривая 3) верхней оценки вероятности сохранения функционирования структур 55 и 51, что позволяет заключить, что спад кривой 1 вызван не снижением точности нижней оценки отказоустойчивости структуры 55, а ее большей отказоустойчивостью.

Рис. 8.12. Гарантированное повышение отказоустойчивости конфигураций S₅uS₃относительно базовой конфигурации 5,.

Проведенные расчеты подтверждают существенную зависимость отказоустойчивости конфигураций кластеров с прямым подключением устройств хранения к серверам приложений от порядка этого подключения.

Мы показали, что для рассматриваемого класса задач (условия работоспособности) преимущество по отказоустойчивости относительно базового варианта 51 имеют конфигурации 55 и 53. На основе расчетов была показана предпочтительность варианта 53 в сравнении с 55.

Конфигурации 55 и 53 по сравнению с 51 характеризуются большим числом устройств хранения, подключаемых к каждой паре дублированных серверов приложений (2 для 51 и 4 для 55 и 53). Конфигурации 53 по сравнению с 55 характеризуются меньшим числом устройств хранения, суммарно подключенных к серверам приложений двух типов (4 для 53 и 8 для 55).

Таким образом, мы показали: для рассматриваемых конфигураций более отказоустойчивы конфигураций с максимальным числом устройств хранения, подключаемых к каждой паре дублированных серверов при минимальном числе устройств хранения, суммарно подключенных к серверам приложений двух типов.

Однако следует отметить, что показанное преимущество по отказоустойчивости указанных конфигураций с непосредственным подключением устройств хранения достигается только для определенного класса рассматриваемых в данной главе систем, когда для выполнения приложений не требуется использование результатов предыдущих вычислений, накапливаемых в устройствах хранения. Если для выполнения приложений требуются данные предыдущих вычислений, то результаты вычислений одного сервера приложения могут оказаться недоступными для другого сервера этого же приложения, что может привести к отказу системы в целом, и тогда более устойчивой к отказам оказывается базовая конфигурация кластера.