Компания IBM
Опубликован: 01.02.2008 | Доступ: свободный | Студентов: 540 / 20 | Оценка: 4.60 / 4.40 | Длительность: 43:55:00
Специальности: Разработчик аппаратуры
Лекция 2:

Составляющие высокой доступности

Сети TCP/IP

В HACMP 5.1 / 5.2 / 5.3 поддерживаются следующие типы IP-сетей:

  • Ethernet (ether);
  • Token-ring (token);
  • Fiber Distributed Data Interface FDDI (fddi);
  • SP Switch1 и SP Switch2 (hps);
  • Asynchronous transfer mode – ATM и эмуляция ATM (atm);
  • Etherchannel (ether). Не поддерживаются следующие типы IP-сетей (начиная с HACMP 5.1):
  • Virtual IP Address (VIPA);
  • Serial Optical Channel Converter (SOCC);
  • Serial Line IP (SLIP);
  • Fibre Channel Switch (FCS);
  • IEEE 802.3;
  • IP Version 6 (IPV6).

Примечание. HACMP поддерживает использование интерфейсов связи IP через агрегированный Ethernet (Etherchannel, IEEE 802.3ad) для перехвата IP-адреса в AIX 5L. Не поддерживается использование Etherchannel:

  • для перехвата аппаратного адреса (hardware address takeover);
  • "горячего подключения" PCI.

HACMP предназначен для работы с любой сетью TCP/IP; эти сети используются для того, чтобы:

  • позволять клиентам осуществлять доступ к узлам (т. е. к приложениям);
  • позволять узлам обмениваться сообщениями пульса;
  • преобразовывать доступ к данным в последовательную форму (в средах с одновременным доступом, например Oracle Real Application Cluster).

Сети TCP/IP можно разделить:

  • На открытые. Логические сети, предназначенные для связи клиента с узлами. Каждая такая сеть состоит из набора IP-адаптеров, так что каждая сеть может содержать несколько подсетей. Так как эти сети предназначены для доступа клиентов, в них поддерживается перехват IP-адреса.
  • Закрытые. Такие сети предназначены для использования приложениями, не поддерживающими перехват IP-адреса, например Oracle RAC или географическими сетями HAGEO. Все интерфейсы определяются как сервисные, и пакеты пульса пересылаются через эти сети.

Механизмы перехвата IP-адреса

Одна из основных ролей HACMP состоит в том, чтобы обеспечивать высокую доступность сервисных IP-меток/адресов. В HACMP это достигается путем запуска и остановки каждого сервисного IP-адреса при необходимости на подходящем интерфейсе. При активной группе ресурсов на узле HACMP поддерживает два метода активизации сервисных IP-адресов:

  • Путем замены базового IP-адреса (установленного во время загрузки ОС) интерфейса на сервисный IP-адрес. Этот метод называется перехватом IP-адреса посредством замены IP (IP address takeover, IPAT via IP replacement). Этот метод также позволяет осуществлять перехват локально администрируемого аппаратного адреса (locally administered hardware address, LAA) – перехват аппаратного адреса.
  • Путем добавления сервисного IP-адреса в качестве синонима интерфейса, т. е. в дополнение к базовому IP-адресу. Этот метод называется перехватом IP-адреса посредством IP-синонимов (IPAT via IP aliasing). Он используется по умолчанию в HACMP 5.1 и выше.

Настройки по умолчанию можно изменить путем изменения свойств сети через расширенные меню конфигурирования HACMP.

Следует сказать и о том, что каждый метод предполагает ограничения подсетей для загрузочных интерфейсов и сервисных IP-меток, если только не используется мониторинг пульса через IP-синонимы.

Перехват IP-адреса посредством замены

Сервисная IP-метка/адрес заменяет существующий адрес интерфейса. Таким образом, только одна сервисная IP-метка/адрес может быть сконфигурирована для одного интерфейса. Сервисная IP-метка должна находиться в той же подсети, в которой находится и один из базовых IP-адресов. Этот интерфейс будет в первую очередь использоваться сервисной IP-меткой при активизации группы ресурсов на узле. Другие интерфейсы этого узла, которые не могут находиться в той же подсети, традиционно называются дежурными или резервными (standby) интерфейсами и используются при перемещении группы ресурсов с другого узла или при отказе загрузочного интерфейса ( рис. 2.9). Этот метод может сохранить подсети, однако требует использования дополнительного оборудования.

При перехвате IP-адреса посредством замены (также называемом классическим перехватом IP-адреса) также можно выполнить конфигурирование перехвата аппаратного адреса (hardware address takeover, HWAT). При перехвате аппаратного адреса локально администрируемый MAC-адрес становится частью определения сервисной IP-метки и во время замены MAC-адрес интерфейса также будет изменен. Это позволяет обойтись без обновления ARP-кешей в подсети, и при этом приложения, использующие MAC-адреса, все равно будут указывать на правильный узел.

Перехват IP-адреса посредством замены

увеличить изображение
Рис. 2.9. Перехват IP-адреса посредством замены

В случае отказа интерфейса, содержащего сервисный IP-адрес, при перехвате посредством замены HACMP перемещает сервисный IP-адрес на другой доступный интерфейс того же узла и той же сети; в этом случае соответствующая группа ресурсов не затрагивается.

При отсутствии доступного интерфейса на том же узле группа ресурсов вместе с сервисными IP-метками перемещается на другой узел с доступным интерфейсом в той же логической сети. При отсутствии доступных узлов или интерфейсов группа ресурсов переходит в состояние ERROR (Ошибка). Когда HACMP обнаруживает адаптеры, выполняется проверка возможности перевода групп ресурсов, находящихся в состоянии ERROR, обратно в рабочее состояние.

Ограничение. При перехвате IP-адреса посредством замены RSCT и HACMP не смогут корректно осуществлять мониторинг узла, имеющего больше одной группы ресурсов, если обе сервисные IP-метки находятся в одной подсети, так как узел в этом случае будет иметь два интерфейса с базовыми адресами в одной подсети. По этой причине рекомендуется использовать мониторинг пульса через IP-синонимы или установить в AIX 5.3 для опции mpr_policy значение 5.

Перехват IP-адреса посредством синонимов

Для сервисной IP-метки/адреса выполняется создание синонима на интерфейсе без удаления базового загрузочного IP-адреса с использованием команды ifconfig (рис. 2.10). Начиная с HACMP 5.1 этот метод применяется по умолчанию. Кроме того, перехват IP-адреса посредством синонимов отменяет понятие дежурных интерфейсов – все сетевые интерфейсы считаются загрузочными.

При добавлении IP-адресов к интерфейсу посредством синонимов на одном интерфейсе может сосуществовать больше одной сервисной IP-метки. Перехват IPадреса посредством синонимов устраняет необходимость использования одного интерфейса на сервисный IP-адрес, поэтому этот метод является более гибким и в некоторых случаях требует меньше оборудования. Перехват IP-адреса посредством синонимов также сокращает время на перемещение при сбое, так как добавление синонима к интерфейсу требует гораздо меньше времени, чем удаление базового IPадреса с последующим применением сервисного IP-адреса.

Несмотря на то что перехват IP-адреса посредством синонимов поддерживает несколько сервисных IP-меток/адресов, все равно рекомендуется выполнять конфигурирование нескольких интерфейсов на узел на сеть. Переключение интерфейсов гораздо безопаснее, чем перемещение группы ресурсов на другой узел.

Перехват IP-адреса посредством синонимов осуществляется только в сетях, поддерживающих функцию gratuitous ARP. Эта функция предполагает, что узел отправляет ARP-пакет до использования IP-адреса;

Перехват IP-адреса посредством IP-синонимов

увеличить изображение
Рис. 2.10. Перехват IP-адреса посредством IP-синонимов
при этом ARP-пакет содержит запрос на получение IP-адреса. Это позволяет удостовериться в том, что этот адрес не используется ни одним другим узлом, а также обеспечить обновление ARP-кеша с записью нового адреса на каждом компьютере в подсети.

При использовании нескольких активных сервисных IP-меток/адресов на одном узле HACMP по умолчанию равномерно распределяет их среди доступных интерфейсов в логической сети. Однако HACMP 5.3 позволяет управлять этим размещением. HACMP распределяет синонимы на узле, сортируя доступные интерфейсы по количеству уже имеющихся на них синонимов, и размещает новые синонимы соответствующим образом. Это выполняется только при интеграции и перемещении при сбое, поэтому, когда становится доступным новый интерфейс, перераспределение не выполняется.

При перехвате IP-адреса посредством синонимов каждый загрузочный интерфейс на узле должен находиться в другой подсети, хотя интерфейсы с различных узлов могут, конечно же, находиться в одной подсети, если только (как говорилось выше) не используется мониторинг пульса через IP-синонимы. Сервисные IP-метки могут находиться в одной или нескольких подсетях, однако они не могут быть одинаковыми, как и любая из подсетей загрузочных интерфейсов.

Важно! В сетях с перехватом IP-адресов посредством синонимов в HACMP какое-то время будут одновременно активными сервисные IP-адреса отказавшего интерфейса и интерфейса перехвата, что позволяет сохранить маршрутизацию. Это может вызвать запись о дублировании IP-адресов (DUPLICATE IP ADDRESS) в журнале ошибок error log, которую можно игнорировать.

Постоянная IP-метка/адрес

Постоянная IP-метка узла (Persistent node IP label) представляет собой IP-синоним, который может быть назначен определенному узлу сети и, кроме того:

  • всегда находится на одном узле (привязана к узлу);
  • сосуществует с другими IP-метками, существующими на том же интерфейсе;
  • не требует установки дополнительного физического интерфейса на узле;
  • не входит в какую-либо группу ресурсов.

Назначение постоянной IP-метки узлу сети обеспечивает привязанный к узлу адрес в сети кластера с высокой доступностью. Этот адрес может использоваться в целях администрирования, так как он всегда указывает на определенный узел, вне зависимости от того, работает ли HACMP.

Примечание. Можно сконфигурировать только одну постоянную IP-метку для узла одной сети. Например, если существует узел, подключенный к двум сетям, определенным в HACMP, этот узел может быть идентифицирован с использованием двух постоянных IP-меток (адресов), по одному для каждой сети.

Постоянные IP-метки определяются в конфигурации HACMP и становятся доступными сразу же после синхронизации определения кластера. Постоянная IP-метка остается доступной на интерфейсе, для которого она была сконфигурирована, даже при остановке HACMP на узле или при перезагрузке узла. В случае отказа интерфейса, которому была назначена IP-метка во время работы HACMP, постоянная IP-метка будет перемещена на другой интерфейс в той же логической сети и на том же узле.

В случае отказа узла или всех интерфейсов логической сети на узле постоянная IP-метка будет недоступна.

На постоянные IP-метки распространяются следующие ограничения по формированию подсетей:

  • для сетей с перехватом IP-адреса посредством замены. Постоянный IP-синоним не должен располагаться в одной подсети с дежурными интерфейсами и может располагаться в одной подсети с загрузочными интерфейсами (той же, что сервисные IP-метки);
  • для сетей с перехватом IP-адреса посредством синонимов. Постоянный IPсиноним не должен располагаться в одной подсети с загрузочными интерфейсами.

Постоянные IP-метки узлов могут создаваться для следующих типов IP-сетей:

  • Ethernet;
  • Token Ring;
  • FDDI;
  • ATM LAN Emulator.

Ограничение. Невозможно сконфигурировать постоянные IP-метки узлов в сетях SP Switch, Classical IP Over ATM и сетях, отличных от IP.

Сети устройств, или Последовательные сети

Последовательные сети (serial networks) представляют альтернативный метод обмена информацией с помощью пакетов пульса между узлами кластера. В случае отказа подсистемы IP или физической сети HACMP, при наличии и работоспособности независимого пути, сможет отличить отказ сети от отказа узла.

Последовательные сети представляют собой сети типа "точка-точка", поэтому, если кластер содержит больше двух узлов, последовательные связи должны иметь кольцевую конфигурацию, связывая все узлы в кластере. Несмотря на то что каждый узел будет иметь информацию только о состоянии своих непосредственных соседей, демоны RSCT обеспечивают передачу информации о любых изменениях в состоянии любых узлов лидеру группы.

Несмотря на то что существует возможность конфигурирования кластера HACMP без использования сетей, отличных от IP, мы настоятельно рекомендуем использовать как минимум по одному соединению, отличному от IP, между всеми узлами в кластере.

В настоящее время HACMP поддерживает следующие типы сетей устройств, отличных от TCP/IP, для обмена пакетами пульса между узлами кластера:

  • последовательная RS232 (rs232);
  • Target mode SCSI (tmscsi);
  • Target mode SSA (tmssa);
  • мониторинг пульса через диски (diskhb).

Могут использоваться следующие типы последовательных сетей.

RS232

Последовательная сеть, использующая порты RS232, либо встроенные последовательные порты, либо многопортовый последовательный адаптер.

Примечание. Необходимо быть внимательным и выбирать такие порты, которые поддерживают мониторинг пульса.

По умолчанию скорость передачи в сетях RS232 равна 38 400 бит/с; если ваш модем не поддерживает такую скорость, это значение следует изменить (в том случае, если вы хотите использовать эту сеть для связи между удаленными узлами).

Target mode SCSI

Другим вариантом сети, отличной от IP, является SCSI-подключение в target mode. При употреблении общего SCSI-устройства можно использовать шину SCSI для обмена пакетами пульса. Target mode SCSI (tmscsi) поддерживается только устройствами SCSI-2 Differential или SCSI-2 Differential Fast/Wide. SCSI-1 Single-Ended и SCSI-2 SingleEnded не поддерживают последовательные сети в кластере HACMP.

Target mode SSA

При использовании SSA-устройств общего доступа в качестве сети, отличной от IP, в HACMP можно использовать Target mode SSA. Он основан на встроенных возможностях SSA-адаптеров (применяющих протокол связи SCSI). SSA-устройства в кольце SSA (диски и адаптеры) используют связь между "инициатором" и "целевым объектом"; SSA-диски являются "целевыми объектами", тогда как SSA-адаптер может выступать как в роли "инициатора", так и в роли "целевого объекта". Таким образом, tmssaподключение использует эти возможности для установления последовательного соединения между узлами HACMP. Такая сеть представляет собой коммуникационную сеть типа "точка-точка", в которой связь осуществляется только между двумя узлами.

Чтобы сконфигурировать tmssa-сеть между двумя узлами кластера, SSA-адаптеры на каждом из узлов в одном SSA-кольце составляют конечные точки.

Сеть пульса через диски

В некоторых ситуациях подключения RS232 tmssa и tmscsi могут считаться слишком дорогостоящими или сложными для реализации. В этом случае мониторинг пульса через диски (diskhb) обеспечивает простой в конфигурировании альтернативный вариант, не требующий дополнительного оборудования. Единственное требование состоит в том, чтобы "диски" (физические диски или номера логических устройств во внешнем хранилище) работали в расширенном режиме одновременного доступа (enhanced concurrent). Диски, работающие в расширенном режиме одновременного доступа, используют службы групп RSCT для управления блокировкой и освобождением сектора диска, применяемого для связи. Раньше этот сектор использовался для дисков режима одновременного доступа SSA (SSA Concurrent mode), теперь он применяется для записи информации пульса.

Любой диск, входящий в группу томов с расширенным одновременным доступом (enhanced concurrent VG), может использоваться в сети diskhb, включая диски, применяемые для хранения данных. Более того, группа томов, содержащая диск, используемый в сети diskhb, не обязательно должна быть активизирована (varied on).

Любой тип диска может быть сконфигурирован как часть группы томов с расширенным одновременным доступом, что делает этот тип сети чрезвычайно гибким. "Адаптеры" на конечных точках этой сети определяются как пара "узел – физический том".

В случае мониторинга пульса через диски рекомендуется использовать одну сеть "точка-точка", содержащую один диск на пару узлов на физический дисковую стойку. Один физический диск не может применяться для двух сетей типа "точка-точка".

Примечание. Группа томов с расширенным одновременным доступом (enhanced concurrent volume group) не то же самое, что группа томов с одновременным доступом (concurrent volume group). Если группа второго типа представляет собой часть группы ресурсов с одновременным доступом (concurrent resourse group), первое понятие скорее указывает на режим блокировки с использованием RSCT.

Мониторинг пульса через диски

Мониторинг пульса через диски (diskhb) представляет собой новую функцию, впервые реализованную в HACMP V5.1 с целью обеспечить дополнительную защиту против разделения кластера и упростить конфигурирование сети, отличной от IP, особенно в средах, где применение соединений RS232, target mode SSA или target mode SCSI является слишком сложным или невозможным.

Этот тип сети может использовать общее дисковое хранилище любого типа (Fibre Channel, SCSI или SSA), если только диск, применяемый для обмена KA-сообщениями, является частью группы томов AIX с расширенным одновременным доступом. Диски, применяемые в сетях пульса, не выделяются исключительно для этой цели; их можно использовать для хранения общих данных приложений (дополнительные сведения см. на рис. 2.7).

Наши клиенты запрашивали поддержку подключений target mode Fibre Channel, однако в связи с разнообразием (нестандартными функциями инициатора и целевого объекта) сред FC (включающими адаптеры, подсистемы хранения, SAN, коммутаторы и концентраторы) такие подключения сложны в реализации и поддержке. Используя общие диски для обмена сообщениями, внедрение сети, отличной от IP, является более надежным и не зависит от применяемого типа оборудования.

Кроме того, в среде SAN при использовании оптоволоконных соединений между устройствами длина этого соединения, отличного от IP, имеет такие же ограничения, как и в SAN, что позволяет создавать протяженные сети типа "точка-точка".

При определении диска в составе группы томов с расширенным одновременным доступом часть диска не будет использоваться для какой-либо из операций LVM, и эта часть диска (сектор) применяется для обмена сообщениями между двумя узлами.

Ниже перечислены спецификации для использования мониторинга пульса через диски.

  • Один диск может применяться для одной сети между двумя узлами. Используемый диск уникальным образом определяется на обоих узлах по идентификатору физического тома (PVID), назначенного LVM.
  • Рекомендуемая конфигурация для сетей с мониторингом пульса через диски состоит из одного диска на пару узлов на дисковую стойку.
  • Требуется, чтобы используемый диск был частью группы томов с расширенным одновременным доступом, хотя для группы томов не обязательно быть активной или входить в группу ресурсов (с одновременным доступом или без него). Единственное условие состоит в том, что группа томов должна быть определена на обоих узлах.

Примечание. Механизм блокировки кластера для групп томов с расширенным одновременным доступом не использует зарезервированное дисковое пространство для связи (как "классический" clvmd); вместо этого он применяет службы групп RSCT.

Динар Валеев
Динар Валеев
Россия
Lichodedov Andrej
Lichodedov Andrej
Литва