Компания IBM
Опубликован: 01.02.2008 | Доступ: свободный | Студентов: 540 / 20 | Оценка: 4.60 / 4.40 | Длительность: 43:55:00
Специальности: Разработчик аппаратуры
Лекция 16:

HACMP и Cross-Site LVM

< Лекция 15 || Лекция 16: 123 || Лекция 17 >

Настройка групп томов зеркального отображения cross-site LVM

Для тестирования межсайтового зеркального отображения Cross-Site LVM мы создали три группы томов:

  • clvmmshvg – общая группа томов без одновременного доступа (shared non-concurrent);
  • clvmmenhvg – группа томов с расширенным одновременным доступом (enhanced concurrent);
  • app3vg – группа томов с расширенным одновременным доступом (enhanced concurrent).

Мы создали свои группы томов через меню C-SPOC. Мы запустили smit cl_admin, после чего выбрали HACMP Logical Volume Management (Управление логическими томами HACMP) для общей группы томов или HACMP Concurrent Logical Volume Management (Управление логическими томами HACMP с одновременным доступом) для обеих групп томов с расширенным одновременным доступом.

После выбора участвующих узлов мы выбрали диски, как показано в примере 16.4. Затем мы заполняем все необходимые поля на экране создания группы томов и устанавливаем для опции Enable Cross-Site LVM Mirroring Verification (Включить верификацию зеркального отображения Cross-Site LVM) значение true. В примере 16.5 представлен экран создания группы томов.

[MORE.. .1]
>	0022be2a86607918	France
>	0022be2a0bfelf60	France
>	0022be2a0bfea026	Slovenia
>	0022be2a0bfea0ca	Slovenia 
   	0022be2a86630978 
	0022be2a0bfe9f8a	Slovenia 0
	022be2a0bfe9eec	Slovenia 
	0022be2a0bfe9el9
Пример 16.4. Выбор диска для создания группы томов в меню SMIT

В примере 16.5 представлено создание общей группы томов.



                            Пример
                        16.5.
                    Экран создания группы томов

Конфигурирование группы ресурсов, содержащей группу томов с поддержкой зеркального отображения Cross-Site LVM

После определения в кластере всех компонентов топологии и LVM мы выполнили создание групп ресурсов. Для двух групп ресурсов узел nantes является основным узлом. Для третьей группы ресурсов основным узлом является koper. Каждая группа ресурсов владеет одной группой томов, для которой осуществляется межсайтовое зеркальное отображение.

Создание группы ресурсов в межсайтовой кластерной среде подобно обычной кластерной конфигурации. Для групп ресурсов с зависимостями сайтов в кластерной среде, в которой выполняется определение сайтов, устанавливается дополнительный параметр Inter-Site Management Policy (Политика межсайтового управления). Этот параметр может принимать следующие значения:

  • Ignore (Игнорировать). Это значение установлено по умолчанию и игнорирует параметры зависимостей сайта для группы ресурсов.
  • Prefer Primary Site (Предпочтительное использование основного сайта). Для группы ресурсов можно установить перехват несколькими сайтами приоритетным образом. При отказе сайта ресурс перехватывает активный сайт с наивысшим приоритетом. При реинтеграции отказавшего сайта ресурс получает сайт с наивысшим приоритетом.
  • Online On Either Site (Подключение на любом сайте). Группа ресурсов может быть получена любым сайтом в цепочке ресурсов. При отказе сайта перехват группы ресурсов выполняется на дежурном сайте с наивысшим приоритетом. При реинтеграции отказавшего сайта группа ресурсов остается у нового владельца.
  • Online On Both Sites (Подключение на обоих сайтах). Получение группы выполняется на обоих сайтах. Этот вариант определяет группу ресурсов с возможностью одновременного доступа.

После определения групп ресурсов выполняется конфигурирование атрибутов группы ресурсов, таких, как группа томов, сервисный IP-адрес и сервер приложения.

Важным параметром при добавлении группы томов с поддержкой межсайтового зеркального отображения в группу ресурсов является поле Use forced varyon of volume groups, if necessary (При необходимости использовать принудительную активизацию групп томов). Необходимо установить для этого поля значение true в любой конфигурации межсайтового зеркального отображения Cross-Site LVM. Это обеспечивает возможность активизации определенной группы томов на другом узле только с одной (оставшейся) копией логического тома в случае отказа хранилища или сайта.

После определения групп ресурсов и назначения групп томов в группы ресурсов выполняется добавление логических томов и файловой системы в группы томов. Конфигурирование выполняется обычным способом с использованием C-SPOC. Дополнительные сведения о создании компонентов LVM см. в разделе "Управление общим хранением".

Для каждой группы ресурсов мы определяем сервер приложения. Сервер приложения выполняет тестовое приложение, которое осуществляет интенсивную запись в файловые системы заданной группы ресурсов. При такой нагрузке мы можем достичь показателя использования заданного диска между 70 и 100 %.

После настройки кластерной среды мы выполнили активизацию автоматического уведомления об ошибках. Мы выполнили smit hacmp > Problem Determination Tools (Инструменты определения проблем) > HACMP Error Notification (Уведомления об ошибках HACMP) > Configure Automatic Error Notification (Конфигурирование автоматического уведомления об ошибках) > Add Error Notify Methods for Cluster Resources (Добавить методы уведомления об ошибках для ресурсов кластера). Дополнительные сведения о функции уведомления об ошибках см. в разделе "Уведомление об ошибках".

Примечание: DARE не поддерживается в активном кластере с определенными сайтами. Можно использовать C-SPOC для некоторых изменений в конфигурации кластера. Все остальные изменения в конфигурации необходимо выполнять при неактивном кластере.

Тестирование межсайтового зеркального отображения Cross-Site LVM

После конфигурирования топологии и ресурсов кластера мы выполняем синхронизацию и верификацию кластера. Мы запустили кластер и проверили, все ли ресурсы и пути для связи активны. Утилита cldump выводит информацию об узлах кластера и сетевых интерфейсах, а также о состоянии групп ресурсов (включая политики каждой группы ресурсов). Пример 16.6 содержит выходные данные команды cldump из нашей тестовой кластерной среды.

kaper /usr/es/sbin/cluster/utilities &gt; 
cldump Obtaining information via SNMP  from Nude:  nantes...
Cluster Name: crossitelm Cluster State:  JP Cluster Substate: STABLE
Node Name: knper	State: UP
Network Name: netdiskhbDl	State: UP
Address:	Label: dfskbb_slovenfatonantes State: UP
Network Hums: net_ether_01	State: UP
Address: 10.10.1.9	Label; koper_basel	State: UP
Address;  10.10.2.9	Label: koper_b3se2	State: UP
Address:  192.1&8.100,117 Label: appJsvc	State: UP
Node Name: nantes	State: UP
Network Warn*: netdfskhbOl	State; UP
Address;	Label: di skhb_fraricetos1 ovinia State: UP
Network Name: net_ether_01	State: UP
Address:	10.10.1.2	Label:	nantes_basel	State:  UP
Address:	10.10.2.2	Label:	nantesbaseZ	State: UP
Address:	192.163.100,86	Label:	applsvc	State: UP
Address:	192.163.100.87	Label:	appZsvc	State: UP
Cluster Name: crossitelvm
Resource Group Name: RG1
Startup Policy: Online On Home Node Only
Fallover Policy:  Fallover To Next Priority Node In The List
Fallback Policy:  Fallback To Higher Priority Node In The List
Site Policy:  ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
koper	OFFLINE
Resource Group Name: RG2
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
nantes	ONLINE
kopar	OFFLINE
Resource Group Name: RG3
Startup Policy: Online On Home Node Only
Fallover Policy: Fallover To Next Priority Node In The List
Fallback Policy: Fallback To Higher Priority Node In The List
Site Policy: ignore
Priority Override Information:
Primary Instance POL:
Node	Group State
koper	OtlLlNE
nantes	OFFLINE
Пример 16.6. Выходные данные команды cldump в кластерной среде с межсайтовым зеркальным отображением

Протестированные сценарии

Постепенная остановка с передачей ресурсов

Сначала мы выполняем тестирование постепенной остановки с передачей ресурсов (graceful shutdown with takeover) на узле nantes. Службы кластера на узле nantes останавливают и перемещают группы ресурсов RG1 и RG2, активизируя их на узле koper сайта Slovenia, как и ожидалось. После тестирования мы запустили узел nantes0ы и кластер инициировал перемещение групп ресурсов RG1 и RG2 обратно на основной узел (nantes), как и было определено в политике группы ресурсов. Все ресурсы в группах ресурсов RG1 и RG2 стали доступны на узле nantes, после чего приложения стали активными.

Перемещение группы ресурсов на другой сайт

В следующем тесте мы выбрали узел nantes, владеющий двумя группами ресурсов. Используя функцию C-SPOC Move a Resource Group to Another Node / Site (Перемещение группы ресурсов на другой узел/сайт), мы переместили только группу ресурсов RG1 на узел koper. Все ресурсы группы ресурсов RG1 были перемещены на узел koper, тогда как группа ресурсов RG2 осталась активной на узле nantes без прерывания обслуживания, как и ожидалось.

Отказ одной подсистемы хранения

В следующем тесте мы имитировали отказ (основного) хранилища ESS. Тестирование отказа хранилища производилось, когда все три тестовых приложения были активны и при интенсивной нагрузке на диски. Показатель использования дисков составлял около 100 % для всех тестовых файловых систем. Мы имитировали два различных типа отказов хранилища.

При первой имитации мы убрали назначения всех LUN, которыми владели наши группы томов с поддержкой межсайтового зеркального отображения. Это имитировало внутренний логический отказ хранилища. При имитации второго отказа мы отключили кабель Fibre Channel на узле nantes для имитации отказа подключения.

В обоих случаях приложения продолжали работать без прерывания и группы томов и файловые системы оставались доступными. После отказа мы проверили доступность диска и состояние синхронизации копии логического тома. Диски из хранилища ESS выводились с пометкой missing и с состоянием логического тома stale. Пример 16.7 содержит выходные данные для группы томов clvmmenhvg при недоступной дисковой подсистемы ESS.

nantes > lsvg	-p clvmmenhvg
clvmmenhvg:
PV_NAME                      PV STATE                    TOTAL	PPs      FREE PPs	FREE DISTRIBUTION
hdiskll                     active                      79	78	16..15..15..16..16
hdisklO                    active                     79	59	16..00..11..16..16
hdisk2                     missing                    74	73	15..14..14..15.. 15
hdiskS                      missing                     74	54	15..00. .09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmmenhvg:
LV NAME                          TYPE	LPs      PPs	PVs    LV STATE	MOUNT POINT
cenglogZlv                  jfsZlog	12	2       open/stale	N/A
enhtestllv                 jfs2	20       ВД	2       open/stale	/applfs
Пример 16.7. Состояние дисков и логических томов после реинтеграции хранилища

Приложения продолжали работать с оставшейся копией логического тома. После этого теста мы восстановили доступ к хранилищу ESS. Мы использовали опцию CSPOC Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных отображений LVM), которая автоматически сделала доступными все устройства hdisk и выполнила синхронизацию всех логических томов. Мы выполнили smit cl_admin > HACMP Logical Volume Management (Управление логическими томами HACMP) > Synchronize Shared LVM Mirrors (Синхронизация общих зеркальных отображений LVM) > Synchronize by Volume Group (Синхронизация по группам томов), после чего выбрали требуемую группу томов.

Мы проверили доступность дисков и состояние синхронизации копии логического тома. Все диски во всех группах томов являются доступными, и все логические тома находятся в состоянии synch1. Пример 16.8 содержит данные для группы томов clvmmenhvg после реинтеграции хранилища.

nantes > lsvg	-p clvmirtenhvg
PV_NAME        PV STATE       TOTAL	PPs  FREE PPs	FREE DISTRIBUTION
hdiskll        active        79	78	16..15..15..16..16
hdisklO       active        79	59	16..00..11..16..16
hdisk2        active        74	73	15..14..14..15..15
hdiskS        active        74	54	15. .00..09..15..15
nantes > lsvg	-1 clvmmenhvg
clvmnenhvg:
LV NAME         TYPE	LPs  PPs	PVs Lv STATE	MOUNT POINT
cenglog21v      jfs21og	1   2	2  open/syncd	N/A
enhtestllv      jfs2	20  40	2  open/syncd	/applfs
Пример 16.8. Состояние дисков и логических томов после реинтеграции хранилища

Отказ всех дисковых подключений на одном сайте

В следующем тесте выполняется разрыв подключений Fiber Channel на сайте France и узле nantes. После некоторой задержки (в пару минут) кластер обнаружил отказ хранилища для всех файловых систем в общей группе томов и выполнил перемещение групп ресурсов RG1 и RG2 на другой сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper, выполняет varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper и группы томов из RG1 и RG2 активизированы.

Отказ сайта

В следующем тесте мы имитировали отказ сайта France посредством одновременного отказа узла nantes и подключений Fiber Channel к дисковой подсистеме ESS. Кластер обнаруживает отказ сайта, после чего происходит перемещение групп ресурсов RG1 и RG2 на сайт Slovenia. Кластер активизирует обе группы ресурсов на узле koper, выполняет команду varyonvg для всех групп томов, подключает файловые системы и запускает приложения. Все ресурсы доступны на узле koper, группы томов, относящиеся к RG1 и RG2, активизируются в оставшейся дисковой подсистеме (хранилище DS4500). Третья группа ресурсов RG3 (на узле koper) работает без перерыва.

После выполнения данного теста мы подключили дисковую подсистему ESS обратно, после чего дисковые ресурсы ESS опять стали доступными, и активизировали узел nantes. Кластер инициирует перемещение RG1 и RG2 обратно на основной узел (nantes) в соответствии с политикой группы ресурсов. Все ресурсы в RG1 и RG2 стали доступными на узле nantes, после чего были запущены приложения.

< Лекция 15 || Лекция 16: 123 || Лекция 17 >
Динар Валеев
Динар Валеев
Россия
Lichodedov Andrej
Lichodedov Andrej
Литва