1. はじめに

1.1. 対象読者と目的

『CLUSTERPRO X ハードウェア連携ガイド』は、管理者を対象に、特定ハードウェアと連携する機能について記載しています。
このガイドは、『CLUSTERPRO X インストール&設定ガイド』を補完する役割を持ちます。
クラスタ構築時および運用時に必要な情報を参照してください。

1.2. 本書の構成

1.3. CLUSTERPRO マニュアル体系

CLUSTERPRO のマニュアルは、以下の 6 つに分類されます。各ガイドのタイトルと役割を以下に示します。

『CLUSTERPRO X スタートアップガイド』 (Getting Started Guide)

すべてのユーザを対象読者とし、製品概要、動作環境、アップデート情報、既知の問題などについて記載します。

『CLUSTERPRO X インストール&設定ガイド』 (Install and Configuration Guide)

CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアと、クラスタシステム導入後の保守・運用を行うシステム管理者を対象読者とし、CLUSTERPRO を使用したクラスタシステム導入から運用開始前までに必須の事項について説明します。実際にクラスタシステムを導入する際の順番に則して、CLUSTERPRO を使用したクラスタシステムの設計方法、CLUSTERPRO のインストールと設定手順、設定後の確認、運用開始前の評価方法について説明します。

『CLUSTERPRO X リファレンスガイド』 (Reference Guide)

管理者、および CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアを対象とし、CLUSTERPRO の運用手順、各モジュールの機能説明およびトラブルシューティング情報等を記載します。『CLUSTERPRO X インストール&設定ガイド』を補完する役割を持ちます。

『CLUSTERPRO X メンテナンスガイド』 (Maintenance Guide)

管理者、および CLUSTERPRO を使用したクラスタシステム導入後の保守・運用を行うシステム管理者を対象読者とし、CLUSTERPRO のメンテナンス関連情報を記載します。

『CLUSTERPRO X ハードウェア連携ガイド』 (Hardware Feature Guide)

管理者、および CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアを対象読者とし、特定ハードウェアと連携する機能について記載します。『CLUSTERPRO X インストール&設定ガイド』を補完する役割を持ちます。

『CLUSTERPRO X 互換機能ガイド』 (Legacy Feature Guide)

管理者、および CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアを対象読者とし、CLUSTERPRO X 4.0 WebManager および Builder に関する情報について記載します。

1.4. 本書の表記規則

本書では、注意すべき事項、重要な事項および関連情報を以下のように表記します。

注釈

この表記は、重要ではあるがデータ損失やシステムおよび機器の損傷には関連しない情報を表します。

重要

この表記は、データ損失やシステムおよび機器の損傷を回避するために必要な情報を表します。

参考

この表記は、参照先の情報の場所を表します。

また、本書では以下の表記法を使用します。

表記

使用方法

例

[ ] 角かっこ
コマンド名の前後
画面に表示される語（ダイアログボックス、メニューなど）の前後
[スタート]をクリックします。
[プロパティ]ダイアログ ボックス

コマンドライン中の [ ] 角かっこ

かっこ内の値の指定が省略可能であることを示します。

clpstat -s [-h host_name ]

モノスペースフォント(courier)

パス名、コマンドライン、システムからの出力（メッセージ、プロンプトなど）、ディレクトリ、ファイル名、関数、パラメータ

/Linux/4.2/jpn/server/

モノスペースフォント太字(courier)

ユーザが実際にコマンドプロンプトから入力する値を示します。
以下を入力します。
clpcl -s -a

モノスペースフォント(courier)斜体

ユーザが有効な値に置き換えて入力する項目

clpstat -s [-h host_name]

1.5. 最新情報の入手先

最新の製品情報については、以下のWebサイトを参照してください。

https://jpn.nec.com/clusterpro/

2. 特定ハードウェアとの連携

本章では、特定のハードウェアと CLUSTERPRO を連携させる場合の設定について説明します。

本章で説明する項目は以下のとおりです。

2.1. NX7700x シリーズとの連携

2.1.1. NX7700x シリーズ連携とは

NX7700x シリーズ連携とは、サーバの I/O Fencing ( PCIスロット閉塞 ) 機能や BMC の SNMP Trap 通知機能と連携することで、業務の引継ぎにかかる時間を短縮する機能です。

異常を検出した場合に I/O Fencing を実行し、 BMC による SNMP Trap 送信によってI/O Fencingの完了を待機系のマシンに通知します。通知を受け取った待機系マシンは I/O Fencing が成功したマシンを停止したものとして扱い、フェイルオーバグループを活性します。この連携によりハートビートタイムアウト時間や異常を検出したマシン上での非活性処理時間を短縮し、業務の引継ぎにかかる時間を短縮します。

I/O Fencing機能は各種モニタやリソースの最終動作、ユーザ空間監視のタイムアウト発生時動作などで利用可能です。またI/O Fencing機能を有効化すると、BMCがハードウェア障害を検出した際にはBMCが自動的にI/O Fencingします。

本機能は、BMC ハートビート、外部連携モニタ、BMCモニタを利用します。

BMC ハートビートは、BMC 用のネットワークを利用してサーバの死活監視を行います。

外部連携モニタを NX7700x シリーズ連携用に設定することで、サーバに搭載された BMC はハードウェア障害を検出した際に自動的にI/O Fencing を行い、I/O Fencingが成功するとSNMP Trapを送信します。待機系マシンではSNMP Trapを受信し、高速切り替えを実現します。なお、I/O Fencinｇ を実施するスロットや、サーバに接続されたBMCの IP アドレス設定はあらかじめ各サーバに設定しておく必要があります。

BMCモニタは、BMCの死活監視を行います。BMCがストールし、システムの異常をBMCが検出できない状態を検出します。

2.1.2. NX7700x シリーズ連携の注意事項

本機能を利用する場合、下記の条件を満たしている必要があります。

  • BMC のハードウェアやファームウェアが対応している必要があります。利用可能な機種については『スタートアップガイド』-「CLUSTERPRO の動作環境」の「NX7700x シリーズとの連携に対応したサーバ」を参照してください。

  • 本関連機能は x86_64 のみ動作確認済みです。

  • あらかじめ ipmi サービスが動作している必要があります。

  • あらかじめ acpi サービスが動作している必要があります。

  • High-End Server Optionのライセンスが登録されている必要があります。

  • BMC からの I/O Fencing完了通知には SNMP Trap が利用されるため、BMC のネットワークインターフェースと OS のネットワークインターフェースでTCP/IP による通信が可能である必要があります。

  • ネットワークインタフェースカードを接続しているすべてのPCIスロットをI/O Fencing対象にすると、BMC故障時にSNMP Trapを送信することができません。I/O Fencing対象からCLUSTERPRO通信専用のインタコネクトのネットワークインタフェースカードが接続されているPCIスロットをI/O Fencing対象外にしておくことでSNMP Trapの他にCLUSTERPROもI/O Fencing完了を通知することができます。

  • I/O Fencing 機能を利用した高速切り替え処理を実現するためには、外部連携モニタの他に各サーバのプロパティの設定や、 I/O Fencing のトリガとなるモニタやリソースの最終動作に「 I/O Fencing 」の設定が必要です。各サーバのプロパティ設定については 『リファレンスガイド』の「パラメータの詳細」の「サーバプロパティ」の「BMC(High-End Server Option) タブ」や「PCIスロット閉塞(High-End Server Option) タブ」を参照してください。

2.1.3. NX7700x シリーズ連携を利用する構成情報の作成方法

NX7700x シリーズ連携機能を利用する構成情報の作成手順を、具体例を用いて説明します。

クラスタ環境のサンプル

以下に、上図のクラスタシステムを構築するためのクラスタ構成情報のサンプル値を記載します。以降のトピックでは、この条件でクラスタ構成情報を作成する手順をステップバイステップで説明します。実際に値を設定する際には、構築するクラスタの構成情報と置き換えて入力してください。

  • クラスタ構成

    設定対象

    設定パラメータ

    設定値

    クラスタ構成

    クラスタ名

    cluster

    サーバ数

    2

    フェイルオーバグループ数

    1

    モニタリソース数

    2

    ハートビートリソース

    LAN ハートビート数

    2

    COM ハートビート数

    0

    ディスクハートビート数

    1

    BMC ハートビート数

    1

    1 台目のサーバの情報(現用系サーバ)

    サーバ名

    server1
    インタコネクトの IP アドレス
    (専用)

    192.168.0.1
    インタコネクトの IP アドレス
    (バックアップ)

    10.0.0.1

    BMCハートビート用IPアドレス

    192.168.0.11

    BMC(High-End Server Option) のIPアドレス
    192.168.0.11
    192.168.0.21

    PCIスロット閉塞(High-End Server Option)

    PCIスロット3,PCIスロット5

    2 台目のサーバの情報(待機系サーバ)

    サーバ名

    server2
    インタコネクトの IP アドレス
    (専用)

    192.168.0.2
    インタコネクトの IP アドレス
    (バックアップ)

    10.0.0.2

    BMCハートビート用IPアドレス

    192.168.0.12

    BMC(High-End Server Option) のIPアドレス
    192.168.0.12
    192.168.0.22

    PCIスロット閉塞(High-End Server Option)

    PCIスロット5,PCIスロット7

    1 つ目のグループ

    タイプ

    フェイルオーバ

    グループ名

    failover1

    起動サーバ

    全てのサーバ

    グループリソース数

    -

    グループリソース(略)

    -

    グループリソース(略)

    -

    タイプ

    -

    1 つ目のモニタリソース(デフォルト作成)

    タイプ

    ユーザ空間モニタ

    名前

    userw

    監視方法

    ipmi(High-End Server Option)

    2 つ目のモニタリソース

    タイプ

    外部連携モニタ

    名前

    mrw

    カテゴリ

    BMCNOTICE

    キーワード (共通)

    192.168.0.1;192.168.0.2

    BMCが検出した予兆障害によってモニタのステータスを異常に変更する

    オン

    BMCが検出した性能劣化障害によってモニタのステータスを異常に変更する

    オン

    回復動作

    最終動作を実行

    回復対象

    LocalServer

    最終動作

    I/O Fencing(High-End Server Option)

    3つ目のモニタリソース

    タイプ

    BMC モニタ

    名前

    bmcw

    回復動作

    最終動作のみ実行

    回復対象

    LocalServer

    最終動作

    I/O Fencing(High-End Server Option)

クラスタ構成情報の作成手順

クラスタ構成情報を作成するには、基本的に、クラスタの作成、グループの作成、モニタリソースの作成の 3 つのステップを踏みます。以下に NX7700x シリーズ連携固有の項目の設定手順の流れを示します。その他の項目については『インストール&設定ガイド』の「クラスタ構成情報を作成する」を参照してください。

注釈

クラスタ構成情報の操作は何度でも繰り返して行えます。また、設定した内容のほとんどは名称変更機能やプロパティ表示機能を使用して後から変更できます。

1. クラスタの作成

クラスタの生成、サーバの追加を行います。

  1. クラスタを追加する

    構築するクラスタを追加し、名前を入力します。NX7700x シリーズ連携固有の項目はありません。

  2. サーバを追加する

    サーバを追加します。サーバ名、IP アドレスなどを設定します。NX7700x シリーズ連携固有の項目はありません。

  3. ネットワーク構成を設定する

    クラスタを構築するサーバ間のネットワーク構成を設定します。NX7700x シリーズ連携固有の項目として、BMC ハートビートリソースを設定します。

  4. ネットワークパーティション解決処理を設定する

    ネットワークパーティション解決リソースを設定します。NX7700x シリーズ連携固有の項目として、NP発生時動作に I/O Fencing(High-End Server Option) を選択できます。

2. フェイルオーバグループの作成

フェイルオーバを行う際の単位である、フェイルオーバグループを作成します。NX7700x シリーズ連携固有の項目はありません。

  1. フェイルオーバグループを追加する

    フェイルオーバの単位となる、グループを追加します。NX7700x シリーズ連携固有の項目はありません。

  2. グループ リソースを追加する

    グループを構成するリソースを追加します。NX7700x シリーズ連携固有の項目として、活性異常検出時の復旧動作や非活性異常時の復旧動作の最終動作に I/O Fencing(High-End Server Option) を選択できます。

3. モニタリソースの作成

指定された監視対象を監視する、モニタリソースをクラスタ内に追加します。

  1. モニタ リソース (外部連携モニタ) を追加する

    使用するモニタリソースを追加します。

  2. モニタ リソース (BMC モニタ) を追加する

    使用するモニタリソースを追加します。BMC モニタを追加するにはHigh-End Server Optionのライセンスを登録する必要があります。

  3. モニタ リソース (ユーザ空間モニタ) の設定を変更する

    ユーザ空間のストール時の動作を設定します。NX7700xシリーズ連携固有の項目として、監視方法にipmi(High-End Server Option)を選択できます。

4. NX7700xシリーズ固有の設定

I/O Fencingに関する情報を設定します。

  1. I/O Fencingを実施するPCIスロットを設定する

    異常を検出した時にI/O FencingするべきPCIスロットを各サーバのプロパティに設定します。

  2. サーバに搭載されているBMCのIPアドレスを設定する

    各サーバに搭載されているBMCのIPアドレスを各サーバのプロパティに設定します。

  3. クラスタサービスのプロセス異常時動作を設定する

    クラスタ関連のプロセスに異常があった場合の動作にI/O Fencingをクラスタのプロパティにて選択できます。

1. クラスタの作成手順

まず、クラスタを作成します。作成したクラスタに、クラスタを構成するサーバを追加し、優先度とハートビートの優先度を決定します。

  1. クラスタを追加する

    本項目に NX7700xシリーズ連携固有の設定はありません。

  2. サーバを追加する

    本項目に NX7700xシリーズ連携固有の設定はありません。

  3. ネットワーク構成を設定する

    クラスタを構成するサーバ間のネットワーク構成を設定します。

    1. I/O Fencing対象ではないインタコネクトの優先度を上位に設定してください。

    2. BMCハートビートの送受信に使用する通信経路（インタコネクト）は、 [種別] 列のセルをクリックして、[BMC] を選択してください。各サーバの列のセルをクリックし、BMCのプライマリIPアドレスを入力してください。

  4. ネットワークパーティション解決処理を設定する

    NX7700x シリーズ連携固有の設定として [調整] をクリックして開く [ネットワークパーティション解決調整プロパティ] 画面にてI/O Fencing(High-End Server Option) を選択できます。

2. フェイルオーバグループの作成

フェイルオーバグループを作成します。

  1. フェイルオーバグループを追加する

    本項目に NX7700x シリーズ連携固有の設定はありません。

  2. グループリソースを追加する

    NX7700x シリーズ連携固有の設定として、グループリソースの活性異常検出時や非活性異常検出時の最終動作にI/O Fencing(High-End Server Option) を選択できます。

3. モニタリソースの作成

指定した対象を監視するモニタリソースをクラスタに追加します。NX7700x シリーズ連携機能では、外部連携モニタを設定します。モニタの詳細については『リファレンスガイド』の「モニタリソースの詳細」の「外部連携モニタリソースを理解する」を参照ください。

  1. モニタリソース (外部連携モニタ) を追加する

    SNMP Trapの送信先IPアドレスや、BMCからのTrapを受信した際の動作を設定するモニタリソースを追加します。

    1. [グループ] で、[次へ] をクリックします。

    2. [モニタリソース一覧] が表示されます。[追加] をクリックします。

    3. [モニタリソースの定義] ダイアログボックスが開きます。[タイプ] ボックスでモニタリソースのタイプ (外部連携モニタ) を選択し、[名前] ボックスにモニタリソース名 (mrw1) を入力します。[次へ] をクリックします。

    4. 監視設定(共通) を入力します。ここではデフォルト値のまま変更せず、[次へ] をクリックします。

    5. 監視設定(固有) の [共通] タブの [カテゴリ] ボックスに BMCNOTICE と入力し、[キーワード] ボックスに異常発生通知の通知先 IP アドレス（SNMP Trap送付先）として、各サーバの BMCと通信できる OS 側の IP アドレスをセミコロン「;」でつないで入力します。この例では、192.168.0.1;192.168.0.2 を入力します。

    6. BMCが検出する予兆障害や性能劣化障害をトリガとして高速切り替えしたい場合は、それぞれ[BMCが検出した予兆障害によってモニタのステータスを異常に変更する] [BMCが検出した性能劣化障害によってモニタのステータスを異常に変更する] のチェックボックスをONにします。この例では、両方ともONにします。

    7. [次へ] をクリックします。

      回復動作に [最終動作を実行] を設定し、回復対象には [LocalServer]、最終動作には [I/O Fencing(High-End Server Option)] を設定します。NX7700x シリーズ連携では、原則として回復動作には本設定を選択してください。

  2. モニタリソース (BMC モニタ) を追加する

    システムの異常をBMCが検出できる状態かどうかを監視するモニタリソースを追加します。

    1. [モニタリソース一覧] で、[追加] をクリックします。

    2. [モニタリソースの定義] ダイアログボックスが開き、[ライセンス情報取得] をクリックします。High-End Server Optionのライセンスが登録されていれば (BMC モニタ) が選択できるようになります

    3. [タイプ] ボックスでモニタリソースのタイプ (BMC モニタ) を選択し、[名前] ボックスにモニタリソース名 (bmcw1) を入力します。[次へ] をクリックします。

    4. 監視設定を入力します。ここではデフォルト値のまま変更せず、[次へ] をクリックします。

    5. 回復動作を設定します。最終動作には [I/O Fencing(High-End Server Option)] が設定されていることを確認し [完了] をクリックします。

  3. モニタリソース (ユーザ空間モニタ) の設定を変更する

    ユーザ空間がストールした場合の動作を変更します。

    1. [モニタリソース一覧] から名前 (userw) の [プロパティ] をクリックします。

    2. [監視(固有)] タブを開き、監視方法に (ipmi(High-End Server Option)) を選択します。［OK］ をクリックします。

    3. [完了] をクリックします。

    4. 「モニタリソース異常時の回復動作を有効にしますか？」というウインドウが表示されます。[はい] をクリックします。

4. NX7700x固有の設定

I/O Fencingに関する情報を設定します。

  1. I/O Fencingを実施するPCIスロットを設定する

    異常を検出した場合に、I/O Fencingを実施するPCIスロットを設定します。I/O Fencingはクラスタからノードを強制的に切り離すために利用するため、クラスタの共有リソースを使用しているPCIスロットを指定します。多くの例では、共有ディスクに接続するためのHBAやフローティングIPや仮想IPを利用するためのネットワークインタフェースカードが接続されているPCIスロットを指定します。

    なお、I/O Fencingを実施完了の後にインタコネクト経由で待機系ノードにI/O Fencingの実施完了を通知するため、ネットワークインタフェースカードが接続されているすべてのPCIスロットをI/O Fencing対象にはしないでください。

    1. サーバ [server1] の [プロパティ] をクリックします。

    2. ［PCIスロット閉塞(High-End Server Option)］タブを開き、I/O FencingするPCIスロットをチェックします。この例では、server1 はPCIスロット3(HBA用)とPCIスロット5(FIP用)をチェックし、server2はPCIスロット5(HBA用)とPCIスロット7(FIP用)をチェックします。

  2. サーバに搭載されているBMCのIPアドレスを設定する

    NX7700x シリーズではBMCを2つ搭載することが可能です。各サーバに搭載されたBMCのIPアドレスを設定します。

    1. ［BMC(High-End Server Option)］タブを開き、 [追加] をクリックし、BMCのIPアドレスを入力し [OK] をクリックします。この例ではserver1には192.168.0.11と192.168.0.21を設定し、server2には192.168.0.12と192.168.0.22を設定します。

    2. [OK] をクリックします。

  3. クラスタサービスのプロセス異常時動作を設定する

    NX7700x シリーズ連携固有の設定として、クラスタサービスのプロセス異常時動作にI/O Fencingを設定できます。

    1. クラスタ [cluster] の [プロパティ] をクリックします。

    2. ［リカバリ］タブを開き、クラスタサービスのプロセス異常時動作の項目に [I/O Fencing(High-End Server Option)] を選択できます。

    3. [OK] をクリックします。

以上で NX7700x シリーズ連携固有項目のクラスタ構成情報の作成は終了です。

2.1.4. 外部連携モニタリソースの NX7700x シリーズ連携とは

異常を検出した場合に、従来よりも高速に業務切り替えを行なう機能です。

本機能を利用していない場合、BMC が異常を検出するとサーバリセット等を即座に実行し、SNMP Trapによる通知を行いません。そのため待機系サーバはフェイルオーバグループの活性までにハートビートタイムアウトを待つ必要があります。

本機能を利用することで、異常を検出するとノード間で共有しているリソースへのアクセスを遮断 (共有リソースを利用しているPCIスロットをI/O Fencing) し、待機系サーバに I/O Fencing の完了通知を通知します。その通知を受信して待機系サーバが即座にフェイルオーバを開始することで高速なフェイルオーバを実現します。

以下は、外部連携モニタリソースの NX7700xシリーズ連携での動作概要図です。

BMC が異常を検出した場合は、 BMC がI/O Fencingを実施し SNMP Trap 経由で I/O Fencing 完了通知を通知します。CLUSTERPRO が異常を検出した場合は、CLUSTERPRO が acpi サービスを利用して I/O Fencing を実施し、CLUSTERPRO によるインタコネクトと、 BMC による SNMP Trap によって I/O Fencing の完了を通知します。

2.1.5. 外部連携モニタリソースの NX7700x シリーズ連携に関する注意事項

「2.1.2. NX7700x シリーズ連携の注意事項」の内容に加えて、下記の条件を満たしている必要があります。

BMC 連携用の設定では下記に注意してください。

  • カテゴリには必ず「BMCNOTICE」を設定してください。

  • キーワードはI/O Fencing完了通知の通知先になるため、各サーバの BMC と接続された OS 側の IP アドレスとポート番号を設定してください。

2.1.6. 監視(固有) タブ

他のタブについては 『リファレンスガイド』 の 「モニタリソースの詳細」 を参照してください。

カテゴリ (32 バイト以内)

カテゴリを指定します。
必ず BMCNOTICE を指定してください。

キーワード (1023 バイト以内)

各サーバの BMC と通信可能な IP アドレスを指定します。I/O Fencing完了通知の受信用 IP アドレスとポート番号になります。

ポート番号は省略可能です (既定値 162)。値を設定する場合は、全ての外部連携モニタで共通の値となります。

記述フォーマットは下記のとおりです。

<IP アドレス>;<IP アドレス>;…(最大32個)…・;<IP アドレス>[:<ポート番号>]

High-End Server Option

以下の機能を利用するにはハードウェアおよびファームウェアが対応している必要があります。利用可能な ハードウェア については『スタートアップガイド』の「CLUSTERPRO の動作環境」 - 「ハードウェア」 - 「NX7700x シリーズとの連携に対応したサーバ」を、設定については「2.1.3. NX7700x シリーズ連携を利用する構成情報の作成方法」を参照してください。

BMCが検出した予兆障害によってモニタのステータスを異常に変更する

チェックをオンにすると、BMCが搭載されたハードウェアの予兆障害を検出した際に送信するSNMP Trapを受信しモニタのステータスを異常にします。予兆障害発生時に回復動作を行いたい場合はこのチェックボックスをオンにします。

本設定はサーバごとに設定することができます。

BMCが検出した性能劣化障害によってモニタのステータスを異常に変更する

チェックをオンにすると、BMCが搭載されたハードウェアの性能劣化障害を検出した際に送信するSNMP Trapを受信しモニタのステータスを異常にします。性能劣化障害発生時に回復動作を行いたい場合はこのチェックボックスをオンにします。

本設定はサーバごとに設定することができます。

2.1.7. I/O Fencing実行後の対処

I/O FencingでPCIスロットを閉塞した場合は、手動による回復手順が必要です。EXPRESSSCOPE ENGINE 3からPCIスロットの状態を確認してください。

  1. ブラウザでBMCのIPアドレスにEXPRESSSCOPE ENGINE 3に接続し、ユーザ名、パスワードを入力し、ログインを押下します。

  2. ［保守］タブをクリックし、[コンポーネントステータス] を選択し、[障害情報] を選択します。

  3. PCIデバイスを接続しているスロット PCI[1-16] に 「Slot / connector device installed / attached」 と表示されることを確認してください。 「Fault Status Asserted」 と表示されている場合は、[Clear All Faults] ボタンを押下し、サーバの電源をOFFにした後、再度ONしてください。

  4. PCIスロットの項目に 「Slot / connector device installed / attached」 と表示されば該当PCIスロットは利用可能な状態です。

2.2. Express5800/A1080a,A1040a シリーズとの連携

2.2.1. Express5800/A1080a,A1040a シリーズ連携とは

Express5800/A1080a,A1040a シリーズ連携は、サーバに搭載された BMC が異常検出した場合に、CLUSTERPRO と連携することで、業務の引継ぎを確実に実行するための機能です。

本機能では、BMC ハートビートと外部連携モニタを利用します。

BMC ハートビートは、BMC 用のネットワークを利用してサーバの死活監視を行います。

外部連携モニタを Express5800/A1080a,A1040a シリーズ連携用に設定することで、サーバに搭載された BMC が異常発生通知を通知するようになり、回復動作が実行されるようになります。

2.2.2. Express5800/A1080a,A1040a シリーズ連携の注意事項

本機能を利用する場合、下記の条件を満たしている必要があります。

  • BMC のハードウェアやファームウェアが対応している必要があります。利用可能な機種については『スタートアップガイド』の「CLUSTERPRO の動作環境」 - 「ハードウェア」 - 「Express5800/A1080a,A1040a シリーズとの連携に対応したサーバ」を参照してください。

  • あらかじめ ipmi サービスが動作している必要があります。

  • ESMPRO/ServerAgentと同一環境で使用される場合、ESMPRO/ServerAgentのコントロールパネル(ESMamsadm)を使用して以下のエージェントイベントの通報後の動作を、"シャットダウン"から"何もしない"に変更してください。

    ソース名：ESMCOMMONSERVICE、ID：C00001FD、C0000203、C0000454

    【コントロールパネル(ESMamsadm)の起動方法】

    1. root 権限のあるユーザでログインします。

    2. ESMamsadm が格納されているディレクトリに移動します。

      # cd /opt/nec/esmpro_sa/bin/

    3. コントロールパネル(ESMamsadm)を起動します。

      # ./ESMamsadm

    【監視イベントごとに通報後動作を指定する方法】

    1. コントロールパネル(ESMamsadm)を起動し、「エージェントイベントの設定」を選択します。

    2. 「ソース名」でソースを選択します。("↑" or "↓"キーで選択)

    3. 「イベントID」で設定したいイベントID を選択します。("↑" or "↓"キーで選択)

    4. [設定...]ボタンを押します。[監視イベント設定] 画面が表示されます。

    5. 「通報後動作」を、"シャットダウン"から"何もしない"に変更してください。

詳細は、ESMPRO/ServerAgent ユーザーズガイド(Linux編)を参照してください。

2.2.3. Express5800/A1080a,A1040a シリーズ連携を利用する構成情報の作成方法

Express5800/A1080a,A1040a シリーズ連携機能を利用する構成情報の作成手順を、具体例を用いて説明します。

クラスタ環境のサンプル

下記ネットワーク構成のクラスタ環境を構築する場合を例にとって説明を行います。なお、下図では Express5800/A1080a,A1040a シリーズ連携機能に直接は関係ないため、ディスク構成等は省略しています。

以下に、上図のクラスタシステムを構築するためのクラスタ構成情報のサンプル値を記載します。以降のトピックでは、この条件でクラスタ構成情報を作成する手順をステップバイステップで説明します。実際に値を設定する際には、構築するクラスタの構成情報と置き換えて入力してください。

設定対象

設定パラメータ

設定値

クラスタ構成

クラスタ名

cluster

サーバ数

2

フェイルオーバグループ数

1

モニタリソース数

2

ハートビートリソース

LAN ハートビート数

2

COM ハートビート数

0

ディスクハートビート数

0

BMC ハートビート数

1

1 台目のサーバの情報(マスタサーバ)

サーバ名

server1
インタコネクトの IP アドレス
(専用)

192.168.0.1
インタコネクトの IP アドレス
(バックアップ)

10.0.0.1

BMC のサーバ Web コンソール用 IP アドレス

192.168.0.11

2 台目のサーバの情報

サーバ名

server2
インタコネクトの IP アドレス
(専用)

192.168.0.2
インタコネクトの IP アドレス
(バックアップ)

10.0.0.2

BMC のサーバ Web コンソール用 IP アドレス

192.168.0.12

1 つ目のグループ

タイプ

フェイルオーバ

グループ名

failover1

起動サーバ

全てのサーバ

グループリソース数

-

グループリソース(略)

-

-

1 つ目のモニタリソース(デフォルト作成)

タイプ

ユーザ空間モニタ

モニタリソース名

userw

2 つ目のモニタリソース

タイプ

外部連携モニタ

カテゴリ

BMCNOTICE

キーワード (共通)

192.168.0.1
キーワード
(サーバ個別設定:server1)

192.168.0.1
キーワード
(サーバ個別設定:server2)

192.168.0.2

回復動作

回復対象に対してフェイルオーバ実行

回復対象

failover1

クラスタ構成情報の作成手順

クラスタ構成情報を作成するには、基本的に、クラスタの作成、グループの作成、モニタリソースの作成の 3 つのステップを踏みます。以下に Express5800/A1080a,A1040a シリーズ連携固有の項目の設定手順の流れを示します。その他の項目については『インストール&設定ガイド』の「クラスタ構成情報を作成する」を参照してください。

注釈

クラスタ構成情報の操作は何度でも繰り返して行えます。また、設定した内容のほとんどは名称変更機能やプロパティ表示機能を使用して後から変更できます。

1.クラスタの作成

クラスタの生成、サーバの追加を行います。

  1. クラスタを追加する

    構築するクラスタを追加し、名前を入力します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

  2. サーバを追加する

    サーバを追加します。サーバ名、IP アドレスなどを設定します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

  3. ネットワーク構成を設定する

    クラスタを構築するサーバ間のネットワーク構成を設定します。Express5800/A1080a,A1040a シリーズ連携固有の項目として、BMC ハートビートリソースを設定します。

  4. ネットワークパーティション解決処理を設定する

    ネットワークパーティション解決リソースを設定します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

2. フェイルオーバグループの作成

フェイルオーバを行う際の単位である、フェイルオーバグループを作成します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

  1. フェイルオーバグループを追加する

    フェイルオーバの単位となる、グループを追加します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

  2. グループ リソースを追加する

    グループを構成するリソースを追加します。Express5800/A1080a,A1040a シリーズ連携固有の項目はありません。

3. モニタリソースの作成

指定された監視対象を監視する、モニタリソースをクラスタ内に追加します。

  1. モニタ リソース (外部連携モニタ) を追加する

    使用するモニタリソースを追加します。

1. クラスタの作成手順

まず、クラスタを作成します。作成したクラスタに、クラスタを構成するサーバを追加し、優先度とハートビートの優先度を決定します。Express5800/A1080a,A1040a シリーズ連携固有の設定は 1-3 のみです。

1. クラスタを追加する

本項目に Express5800/A1080a,A1040a シリーズ連携固有の設定はありません。

2. サーバを追加する

本項目に Express5800/A1080a,A1040a シリーズ連携固有の設定はありません。

3. ネットワーク構成を設定する

クラスタを構成するサーバ間のネットワーク構成を設定します。

  1. BMC ハートビートの送受信に使用する通信経路 （インタコネクト） は、[種別] 列のセルをクリックして、[BMC] を選択してください。各サーバの列のセルをクリックし BMC の サーバ Web コンソール用IP アドレスを入力してください。

4. ネットワークパーティション解決処理を設定する

本項目に Express5800/A1080a,A1040a シリーズ連携固有の設定はありません。

2. フェイルオーバグループの作成

本項目に Express5800/A1080a,A1040a シリーズ連携固有の設定はありません。

3. モニタリソースの作成

指定した対象を監視するモニタリソースをクラスタに追加します。Express5800/A1080a,A1040a シリーズ連携機能では、外部連携モニタを設定します。モニタの詳細については「2.2.4. 外部連携モニタリソースの Express5800/A1080a,A1040a シリーズ連携とは」を参照ください。

1. モニタリソース (外部連携モニタ) を追加する

サーバからの異常発生通知の受信を監視するモニタリソースを追加します

  1. [グループ] で、[次へ] をクリックします。

  2. [モニタリソース一覧] が表示されます。[追加] をクリックします。

  3. [モニタリソースの定義] ダイアログボックスが開きます。[タイプ] ボックスでモニタリソースのタイプ (外部連携モニタ) を選択し、[名前] ボックスにモニタリソース名 (mrw1) を入力します。[次へ] をクリックします。

  4. 監視設定を入力します。ここではデフォルト値のまま変更せず、[次へ] をクリックします。

  5. [カテゴリ] ボックスに BMCNOTICE と入力し、[キーワード] ボックスに異常発生通知の通知先 IP アドレスとして、各サーバの BMCと通信できる OS 側の IP アドレスを入力します。IP アドレスはサーバごとに違うため必ずサーバ別設定を利用してください。この例では、[共通] と [server1] には 192.168.0.1 を、[server2] には 192.168.0.2 を入力します。

  6. 回復動作に [回復対象に対してフェイルオーバを実行] を設定します。Express5800/A1080a,A1040a シリーズ連携では、原則として回復動作には本設定を選択してください。

  7. 回復対象を設定します。[参照] をクリックすると表示されるツリービューで [failover1] を選択し、[OK] をクリックします。[回復対象] に [failover1] が設定されます。

  8. [完了] をクリックします。

以上で Express5800/A1080a,A1040a シリーズ連携固有項目のクラスタ構成情報の作成は終了です。

2.2.4. 外部連携モニタリソースの Express5800/A1080a,A1040a シリーズ連携とは

Express5800/A1080a,A1040a シリーズに搭載された BMC が異常を検出した場合に、即座に CLUSTERPRO で回復動作を実行するための機能です。

本機能を利用していない場合、BMC が異常を検出するとサーバリセット等が即座に実行されます。そのため、アプリケーションの終了処理等が実行されません。

本機能を利用することで、BMC が異常検出した場合にも CLUSTERPRO が回復動作を実行した後でサーバリセット等が行われるようになります。

以下は、外部連携モニタリソースの Express5800/A1080a,A1040a シリーズ連携での動作概要図です。

2.2.5. 外部連携モニタリソースの Express5800/A1080a,A1040a シリーズ連携に関する注意事項

「2.2.5. 外部連携モニタリソースの Express5800/A1080a,A1040a シリーズ連携に関する注意事項」の内容に加えて、下記の条件を満たしている必要があります。

  • BMC から 外部連携モニタリソースへの異常発生通知には SNMP Trap が利用されるため、BMC のネットワークインターフェースと OS のネットワークインターフェースでTCP/IP による通信が可能である必要があります。
    また、BMC 連携用の設定では下記に注意してください。

  • カテゴリには必ず「BMCNOTICE」を設定してください。

  • キーワードはサーバ別設定が必須です。異常発生時の通知先になるため、各サーバの BMC と接続された OS 側の IP アドレスとポート番号を設定してください。

2.2.6. 監視(固有) タブ

他のタブについては 『リファレンスガイド』 の 「モニタリソースの詳細」 を参照してください。

カテゴリ (32 バイト以内)

カテゴリを指定します。
必ず BMCNOTICE を指定してください。

キーワード (1023 バイト以内)

各サーバの BMC と通信可能な IP アドレスを指定します。異常発生通知の受信用 IP アドレスとポート番号になります。

必ずサーバ別設定を利用して、サーバごとに設定してください。

ポート番号は省略可能です (既定値 162)。値を設定する場合は、全ての外部連携モニタで同一サーバの値が同じになるように指定してください。

記述フォーマットは下記のとおりです。

<IP アドレス> [:<ポート番号>]

3. サーバ管理基盤との連携

本章では、Enterprise Linux with Dependable Support に含まれるサーバ管理基盤と CLUSTERPRO を連携させる場合の設定について説明します。

本章で説明する項目は以下のとおりです。

3.1. サーバ管理基盤の概要

サーバ管理基盤は、Enterprise Linux with Dependable Support に含まれる製品です。サーバ管理基盤は、次の機能を提供するソフトウェアです。

  • 強化デバイスドライバが検知した障害に関する情報を記録する機能

  • 強化デバイスドライバがシステムに致命的な障害を検知した場合に、CLUSTERPRO X と連携しフェイルオーバする機能

詳細は、Enterprise Linux with Dependable Support のマニュアルを参照してください。

3.2. サーバ管理基盤との連携の概要

CLUSTERPRO におけるサーバ管理基盤との連携機能とは、CLUSTERPRO が自ら監視を行うのではなく、driver モジュールより自発的に発信されるメッセージを CLUSTERPRO が受信し、受動的にフェイルオーバ等を行うための連携機能になります。

以下に概要図を示します。

Enterprise Linux with Dependable Support に含まれる強化デバイスドライバ (以下、強化ドライバと表記します) はシステムに致命的なエラーが発生した場合にサーバ管理基盤を通し CLUSTERPRO へメッセージを送信します。CLUSTERPRO はメッセージが受信されたときに以下の動作を行います。

  • 対応する外部連携モニタ (mrw) のステータスを異常にします。これにより、管理者がCluster WebUI や CLUSTERPRO のコマンドによる状態確認で異常が検出されたことを視覚的に確認することが可能です。

  • 障害発生時には設定されたアクションに従い、業務のフェイルオーバや OS のシャット ダウンを行います。

3.4. 外部連携モニタリソース

外部連携モニタリソースは、外部から通知されるエラーメッセージの監視を行います。本節では、サーバ管理基盤と連携する場合の記述のみ記載しています。それ以外の場合については、『リファレンスガイド』の「モニタリソースの詳細」を参照してください。

3.4.1. 外部連携モニタリソースに関する注意事項

サーバ管理基盤と連携する場合、外部連携モニタリソースのステータスは CLUSTERPROが管理するため、[clprexec] コマンドは利用しないで下さい。
外部連携モニタリソースのキーワードを指定している場合、キーワードに指定されたデバイスで異常を検出するとエラーになり、異常検出時の動作が実行されます。
外部連携モニタリソースのキーワードにデバイスを指定していない場合、カテゴリが一致するいずれかのデバイスで異常を検出するとエラーになり、異常検出時の動作が実行されます。

3.4.2. 外部連携モニタリソースによるカテゴリ

サーバ管理基盤と連携する場合、外部連携モニタリソースが受信するメッセージタイプには 下記があります。

  1. NIC
    ネットワークインタフェースカードのエラーメッセージを監視します。
  2. FC
    Fibre Channel のエラーメッセージを監視します。
  3. HA/SS
    CLUSTERPRO X HA/StorageSaver のエラーメッセージを監視します。
  4. HA/AM
    CLUSTERPRO X HA/ApplicationMonitor のエラーメッセージを監視します。
  5. HA/RS
    CLUSTERPRO X HA/ResourceSaverのエラーメッセージを監視します。
  6. SPS
    SPS のエラーメッセージを監視します。

3.4.3. 監視(固有) タブ

情報タブ、監視 (共通) タブについては 『リファレンスガイド』 の 「モニタリソースの詳細」 を参照してください。

カテゴリ (32 バイト以内)

カテゴリを指定します。
必ずリストボックスから既定文字列を選択してください。

キーワード (1023 バイト以内)

監視対象を指定します。

3.4.4. 回復動作タブ

情報タブ、監視 (共通) タブについては 『リファレンスガイド』 の 「モニタリソースの詳細」 を参照してください。

回復対象と異常検出時の動作を設定します。外部連携モニタリソースの場合、異常検出時の動作は、"回復対象の再活性" または "回復対象に対してフェイルオーバ実行"、"最終動作" のいずれか 1 つを選択します。ただし、回復対象が非活性状態であれば回復動作は 行われません。

回復動作

モニタ異常検出時に行う動作を選択します。

  • 回復スクリプトを実行
    モニタ異常検出時に、回復スクリプトを実行します。
  • 回復対象を再起動
    モニタ異常検出時に、回復対象に選択したグループまたはグループリソースの再起動 を行います。
  • 回復対象に対してフェイルオーバ実行
    モニタ異常検出時に、回復対象に選択したグループまたはグループリソースの属する グループに対してフェイルオーバを行います。
  • 最終動作のみ実行
    モニタ異常検出時に、最終動作に選択した動作を行います。

サーバグループ外にフェイルオーバする

外部連携モニタリソースのみ設定できます。異常発生通知受信時に、現用系サーバグループとは別のサーバグループにフェイルオーバさせるかどうかを設定します。

※ 上記以外の設定項目については、『リファレンスガイド』の「モニタリソースの詳細」 - 「モニタリソースのプロパティ」 - 「回復動作タブ」を参照してください。