1. はじめに

1.1. 対象読者と目的

本書は、クラスタシステムに関して、システムを構築する管理者、およびユーザサポートを行うシステムエンジニア、保守員を対象にしています。

ここでご紹介するソフトウェアや設定例は、あくまで参考情報としてご提供するものであり、各ソフトウェアの動作保証を行うものではありません。

1.2. 適用範囲

動作環境については「スタートアップガイド」-「CLUSTERPRO の動作環境」を参照してください。

本書に記載した各製品・サービスのスクリーンショット等は執筆時点のものであり、それ以降に変更されている可能性があります。最新の情報はそれぞれの Web サイトやマニュアルを参照してください。

1.3. 本書の構成

「2. 概要」：機能の概要について説明します。

「3. 動作環境」：本機能の動作確認済み環境を説明します。

「4. 構築手順 (Azure DNS を使用した HA クラスタの場合)」：Azure DNS を使用した HA クラスタの構築手順について説明します。

「5. 構築手順 (パブリックロードバランサーを使用した HA クラスタの場合)」：パブリックロードバランサーを使用した HA クラスタの構築手順について説明します。

「6. 構築手順 (内部ロードバランサーを使用した HA クラスタの場合)」：内部ロードバランサーを使用した HA クラスタの構築手順について説明します。

「7. エラーメッセージ一覧」：エラーメッセージと対処について説明します。

「8. 注意・制限事項」：構築時、運用時の注意事項について説明します。

1.4. CLUSTERPRO マニュアル体系

CLUSTERPRO のマニュアルは、以下の 4 つに分類されます。各ガイドのタイトルと役割を以下に示します。

『CLUSTERPRO X スタートアップガイド』 (Getting Started Guide)

すべてのユーザを対象読者とし、製品概要、動作環境、アップデート情報、既知の問題などについて記載します。

『CLUSTERPRO X インストール&設定ガイド』 (Install and Configuration Guide)

CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアと、クラスタシステム導入後の保守・運用を行うシステム管理者を対象読者とし、CLUSTERPRO を使用したクラスタシステム導入から運用開始前までに必須の事項について説明します。実際にクラスタシステムを導入する際の順番に則して、CLUSTERPRO を使用したクラスタシステムの設計方法、CLUSTERPRO のインストールと設定手順、設定後の確認、運用開始前の評価方法について説明します。

『CLUSTERPRO X リファレンスガイド』 (Reference Guide)

管理者、および CLUSTERPRO を使用したクラスタシステムの導入を行うシステムエンジニアを対象とし、CLUSTERPRO の運用手順、各モジュールの機能説明およびトラブルシューティング情報等を記載します。『インストール&設定ガイド』を補完する役割を持ちます。

『CLUSTERPRO X メンテナンスガイド』 (Maintenance Guide)

管理者、および CLUSTERPRO を使用したクラスタシステム導入後の保守・運用を行うシステム管理者を対象読者とし、CLUSTERPRO のメンテナンス関連情報を記載します。

1.5. 本書の表記規則

本書では、注意すべき事項、重要な事項および関連情報を以下のように表記します。

注釈

この表記は、重要ではあるがデータ損失やシステムおよび機器の損傷には関連しない情報を表します。

重要

この表記は、データ損失やシステムおよび機器の損傷を回避するために必要な情報を表します。

参考

この表記は、参照先の情報の場所を表します。

また、本書では以下の表記法を使用します。

表記	使用方法	例
[ ] 角かっこ	コマンド名の前後画面に表示される語 (ダイアログボックス、メニューなど) の前後	[スタート] をクリックします。 [プロパティ] ダイアログボックス
コマンドライン中の [ ] 角かっこ	かっこ内の値の指定が省略可能であることを示します。	`clpstat -s [-h host_name]`
>	Windows ユーザが、コマンドプロンプトでコマンドを実行することを示すプロンプト	`> clpstat`
モノスペースフォント	パス名、コマンドライン、システムからの出力 (メッセージ、プロンプトなど)、ディレクトリ、ファイル名、関数、パラメータ	`C:\Program Files`
太字	ユーザが実際にコマンドラインから入力する値を示します。	以下を入力します。 > clpcl -s -a
`斜体`	ユーザが有効な値に置き換えて入力する項目	`> ping <IP アドレス>`

CLUSTERPRO X 本書の図では、CLUSTERPRO を表すためにこのアイコンを使用します。

1.6. 最新情報の入手先

最新の製品情報については、以下の Web サイトを参照ください。

https://jpn.nec.com/clusterpro/

2. 概要

2.1. 機能概要

本書では、Microsoft Azure のクラウドサービス上に、Azure Resource Manager を使用した CLUSTERPRO X (以下、CLUSTERPRO) による HA クラスタを構築する方法を説明します。

Microsoft Azure において、Microsoft Azure リージョンや可用性ゾーンを使用し仮想マシンを HA クラスタ化することで、業務の可用性を高めることができます。

Microsoft Azure リージョン

Microsoft Azure リージョンと呼ばれる物理的および論理的な単位に分割されます。

(たとえば東日本、西日本など) 1つのリージョン内にすべてのノードを構築することも可能ですが、ネットワーク障害や自然災害などによりすべてのノードがダウンし業務を継続できなくなるおそれがあります。そこで、ノードを複数のリージョンに分散させて配置することにより、可用性を高めることができます。
可用性ゾーン

Microsoft Azure では、可用性ゾーンと呼ばれる地理的に分散したデータセンタのセットを利用できます。各可用性ゾーンは独立しており、障害が発生した場合でも他のゾーンに影響を与えないため、可用性ゾーンを使用することで、Microsoft Azure プラットフォームの計画済みメンテナンスや物理ハードウェアの障害などによる影響を最小限に抑えることが可能です。本書では、可用性ゾーンを用いた構成の説明をします。

可用性ゾーンの詳細は、以下の Web サイトを参照してください。

https://docs.microsoft.com/ja-jp/azure/availability-zones/az-overview

2.2. 基本構成

本書では、リソースマネージャデプロイモデルにおける Azure DNS を使用した HA クラスタ、同じくリソースマネージャデプロイモデルにおけるロードバランサーを使用した HA クラスタの2種類の HA クラスタを想定しています (いずれも片方向スタンバイクラスタの構成)。それぞれの HA クラスタについて、選択する CLUSTERPRO のリソースは以下のとおりです。

用途	選択する CLUSTERPRO のリソース
DNS 名でクライアントからアクセスしたい場合 (Azure DNS の追加が必要)	Azure DNS リソース
仮想 IP アドレス (グローバル IP アドレス) でクライアントからアクセスしたい場合 (パブリックロードバランサーの追加が必要)	Azure プローブポートリソース
仮想 IP アドレス (プライベート IP アドレス) でクライアントからアクセスしたい場合 (内部ロードバランサーの追加が必要)	Azure プローブポートリソース
仮想 IP アドレス (プライベート IP アドレス) でクライアントからアクセス、かつクラスタ化したアプリケーションが Always On 構成の場合 (内部ロードバランサーの追加および Direct Server Return (以下、DSR) の設定が必要)	Azure プローブポートリソース

DSR 構成を作成する場合は以下の CLUSTERPRO オフィシャルブログを参照してください。

https://jpn.nec.com/clusterpro/blog/20181031.html

Azure DNS を使用した HA クラスタ

本構成では、同一の DNS 名でクラスタへアクセスできるよう、2台の仮想マシンが同じリソースグループに属しています。DNS 名でアクセス可能とするために CLUSTERPRO の Azure DNS リソースは、Azure DNS を使用しています。Azure DNS の詳細は以下の Web サイトを参照してください。

https://docs.microsoft.com/ja-jp/azure/dns/dns-overview

図 2.1 Azure DNS を使用した HA クラスタ

図 2.1 Azure DNS を使用した HA クラスタのクラスタには、Azure DNS ゾーンにおける DNS 名を指定してアクセスします。CLUSTERPRO は、DNS 名から設定した IP アドレスが得られるように Azure DNS ゾーンのレコードセットや DNS A レコードの制御を行います。フェイルオーバまたはグループの移動が発生しても、クライアントは仮想マシンの切り替えを意識する必要がありません。

Azure DNS を使用した HA クラスタ構成において必要なリソース、監視リソースは以下のとおりです。

リソース/監視リソース種別

説明

設定

Azure DNS リソース

DNS 名から設定した IP アドレスを得られるように Azure DNS のレコードセット (A レコード) の制御を行います。

必須

Azure DNS 監視リソース

Azure DNS のレコードセットに対する名前解決結果が正常であることを監視します。

必須

NP 解決リソース

ネットワークパーティション解決を参照してください。

推奨

強制停止リソース

強制停止を参照してください。

推奨

その他のリソース、監視リソース

ミラーディスクなど、HA クラスタで運用するアプリケーションの構成に従います。

任意

ロードバランサーを使用した HA クラスタ

図 2.2 パブリックロードバランサーを使用した HA クラスタ

クライアントアプリケーションは、Microsoft Azure 環境の仮想マシンに対して、フロントエンドの IP アドレスを使用してクラスタノードに接続することができます。VIP アドレスを使用することにより、フェイルオーバまたはグループの移動が発生しても、クライアントは仮想マシンの切り替えを意識する必要がありません。

図 2.2 パブリックロードバランサーを使用した HA クラスタの Microsoft Azure 環境上に構築したクラスタには、Microsoft Azure のロードバランサー (Load Balancer) のグローバルな IP アドレスを指定してアクセスします。

クラスタの現用系と待機系は、Microsoft Azure のロードバランサーにおけるプローブを利用して切り替えます。利用には CLUSTERPRO Azure プローブポートリソースが提供するプローブポートを利用します。

Azure プローブポートリソースの活性時に Microsoft Azure のロードバランサーからの死活監視 (プローブポートへのアクセス) を待ち受けるためのプローブポート制御プロセスを起動します。

Azure プローブポートリソースの非活性時には死活監視 (プローブポートへのアクセス) を待ち受けるためのプローブポート制御プロセスを停止します。

Azure プローブポートリソースでは Microsoft Azure の内部ロードバランサー (Internal Load Balancing。以下、ILB) にも対応しています。内部ロードバランサーの場合、VIP は Microsoft Azure のプライベート IP アドレスとなります。

図 2.3 内部ロードバランサーを使用した HA クラスタ

ロードバランサーを使用した HA クラスタの構成例としては以下の2種類があります。用途に応じて使用するロードバランサーを決定してください。

用途

使用するロードバランサー

構築手順

業務を Microsoft Azure のネットワークの外部に公開する場合

パブリックロードバランサー

本書「5. 構築手順 (パブリックロードバランサーを使用した HA クラスタの場合)」参照。

業務を Microsoft Azure のネットワークの内部に公開する場合

内部ロードバランサー (ILB)

本書「6. 構築手順 (内部ロードバランサーを使用した HA クラスタの場合)」参照。

ロードバランサーを使用した HA クラスタ構成において必要なリソース、監視リソースは以下のとおりです。

リソース/監視リソース種別

説明

設定

Azure プローブポートリソース

業務が稼働するノードの特定のポートでロードバランサーからの死活監視を待ち受ける仕組みを提供します。

必須

Azure プローブポート監視リソース

Azure プローブポートリソースが起動しているノードに対して、Azure プローブポートリソース活性時に起動するプローブポート制御プロセスの死活監視を行います。

必須

Azure ロードバランス監視リソース

Azure プローブポートリソースが起動していないノードに対して、プローブポートと同じポート番号が開放されていないかを監視します。

必須

NP 解決リソース

ネットワークパーティション解決を参照してください。

推奨

強制停止リソース

強制停止を参照してください。

推奨

その他のリソース、監視リソース

ミラーディスクなど、 HA クラスタで運用するアプリケーションの構成に従います。

任意

2.3. ネットワークパーティション解決

HA クラスタを構成している仮想マシンは、お互いにハートビートによって死活監視を行っています。

各仮想マシンが異なるサブネットに分散している構成においては、ハートビートが途絶えた時に、サービスの二重起動など望ましくない状態が発生します。

サービスの二重起動を回避するために、他の仮想マシンがダウンしたか、自身がネットワークから孤立した状態 (ネットワークパーティション状態。以下、NP 状態) かのどちらであるかを区別する必要があります。

ネットワークパーティション解決 (以下、NP 解決) は、常時稼働している装置 (応答確認先) に対して HTTP, Ping などの応答確認を行い、応答がない場合は NP 状態が発生したと判断し、設定された処理 (警告、回復処理、サーバダウン処理など) を行います。

以下は NP 解決の構成例です。

構成 1 : HTTP NP 解決リソース + Witness サーバサービス (Virtual Machines)

構成 2 : HTTP NP 解決リソース + Blob Storage (静的サイトホスティング)

構成 3 : PING NP 解決リソース + ICMP 応答サーバ (Virtual Machines)

メリット

デメリット

構成 1

ハートビートと NP 解決リソースが使用する通信経路が同じため、NP 解決の信頼性が高い

・追加でインスタンスを用意する必要がある

・Witness サーバサービスをセットアップする必要がある

構成 2

追加でインスタンスを用意する必要がない

ハートビートと NP 解決リソースが使用する通信経路が同じとは限らないため、構成 1 に比べて NP 解決の信頼性が低い

構成 3

Witness サーバサービスをセットアップする必要がない

追加でインスタンスを用意する必要がある

なお、クラスタシステムにアクセスするクライアントの配置やオンプレミス環境との接続条件 (専用線接続など) によって、NP 解決先や NP 解決の方法はその都度検討する必要があります。

ハートビートリソースや NP 解決については、以下を参照してください。

『インストール&設定ガイド』 - 「ネットワークパーティション解決リソースを理解する」
『リファレンスガイド』 - 「ハートビートリソースの詳細」
『リファレンスガイド』 - 「ネットワークパーティション解決リソースの詳細」

2.4. 強制停止

ハートビートの途絶によりサーバのダウンを認識したときに、残りのサーバ (正常なサーバ) からダウンしたサーバを強制的に停止させる機能です。
サーバがダウンしたと認識されたとき、実際にはサーバのストールにより一時的に動作不能になっている場合等があります。
このような場合に、ダウンしたサーバから健全なサーバに業務アプリケーションをフェイルオーバする前に、
ダウンしたサーバを確実に停止状態に移行させることにより、同一資源を複数のサーバからアクセスしデータ破壊を引き起こす危険性を減らすことができます。

強制停止については、以下を参照してください。

『リファレンスガイド』 - 「強制停止リソースの詳細」

2.5. オンプレミスと Microsoft Azure の違い

オンプレミスと Microsoft Azure における CLUSTERPRO の機能差分は以下のとおりです。表内の✓は機能が使用できることを意味し、n/a は機能が使用できないことを意味します。

機能	オンプレミス	Microsoft Azure
共有ディスク型クラスタの構築可否	✓	✓
ミラーディスク型クラスタの構築可否	✓	✓
ハイブリッドディスク型クラスタの構築可否	✓	✓
管理用グループの使用可否	✓	n/a
フローティング IP リソースの使用可否	✓	n/a
仮想 IP リソースの使用可否	✓	n/a
仮想コンピュータ名リソースの使用可否	✓	n/a
Azure プローブポートリソースの使用可否	n/a	✓
Azure DNS リソースの使用可否	n/a	✓

オンプレミスと Microsoft Azure における、ミラーディスクを使用した2ノードクラスタの構築手順の流れは以下を参照してください。

オンプレミス環境と Microsoft Azure 環境でクラスタを構築する作業手順の違いは、事前準備として Microsoft Azure の設定が必要であることを除き、違いはありません。

CLUSTERPRO インストール前

項番	手順	オンプレミス	Microsoft Azure
1	Microsoft Azure の設定	不要	◇Azure DNS リソースを使用する場合・本書「4.2. Microsoft Azure の設定」参照 ◇パブリックロードバランサーを使用する場合・本書「5.2. Microsoft Azure の設定」参照 ◇内部ロードバランサーを使用する場合・本書「6.2. Microsoft Azure の設定」参照
2	インスタンスの設定	不要	◇Azure DNS リソースを使用する場合・本書「4.3. インスタンスの設定」参照 ◇パブリックロードバランサーを使用する場合・本書「5.3. インスタンスの設定」参照 ◇内部ロードバランサーを使用する場合・本書「6.3. インスタンスの設定」参照
3	ミラーディスクリソース用のパーティションを設定	以下を参照。・『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」・『リファレンスガイド』-「ミラーディスクリソースを理解する」	オンプレミスと同様
4	CLUSTERPRO のサービス起動時間の調整	『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」参照	オンプレミスと同様
5	ネットワーク設定の確認	『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」参照	オンプレミスと同様
6	ファイアウォールの設定を確認	『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」参照	オンプレミスと同様
7	サーバの時刻を同期	『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」参照	オンプレミスと同様
8	パワーセービング機能をオフ	『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」参照	オンプレミスと同様
9	CLUSTERPRO のインストール	『インストール&設定ガイド』-「CLUSTERPRO をインストールする」参照	オンプレミスと同様

CLUSTERPRO インストール後

項番	手順	オンプレミス	Microsoft Azure
10	CLUSTERPRO のライセンスを登録	『インストール&設定ガイド』-「ライセンスを登録する」参照	オンプレミスと同様
11	クラスタの作成-ハートビート方式の設定	『インストール&設定ガイド』-「クラスタ構成情報を作成する」-「クラスタ構成情報の作成手順」参照。	DISK ハートビートは使用できません。
12	クラスタの作成-NP 解決処理の設定	ネットワークパーティション解決リソースを使用。以下を参照。・『インストール&設定ガイド』-「クラスタ構成情報を作成する」-「クラスタ構成情報の作成手順」・『リファレンスガイド』-「ネットワークパーティション解決リソースの詳細」	本書「4.4. CLUSTERPRO の設定」を参照。
13	クラスタの作成-フェイルオーバグループの作成、監視リソースの作成	『インストール&設定ガイド』-「クラスタ構成情報を作成する」-「クラスタ構成情報の作成手順」参照	オンプレミスに加え、以下を参照。 ◇AWS DNS リソースを使用する場合・『リファレンスガイド』-「Azure DNS リソースを理解する」・『リファレンスガイド』-「Azure DNS 監視リソースを理解する」・本書「4.4. CLUSTERPRO の設定」 ◇ロードバランサーを使用する場合・『リファレンスガイド』-「Azure プローブポートリソースを理解する」・『リファレンスガイド』-「Azure プローブポート監視リソースを理解する」・『リファレンスガイド』-「Azure ロードバランス監視リソースを理解する」使用するロードバランサーにより以下のいずれかを参照・本書「5.4. CLUSTERPRO の設定」・本書「6.4. CLUSTERPRO の設定」

3. 動作環境

以下のマニュアルを参照してください。

『スタートアップガイド』-「CLUSTERPRO の動作環境」-「CLUSTERPRO Server の動作環境」-「Azure DNS リソース、Azure DNS 監視リソースの動作環境」
『スタートアップガイド』-「CLUSTERPRO の動作環境」-「CLUSTERPRO Server の動作環境」-「Azure 強制停止リソースの動作環境」

4. 構築手順 (Azure DNS を使用した HA クラスタの場合)

4.1. 構築例について

本書では、Microsoft Azure において、CLUSTERPRO を使用した2ノードでの片方向スタンバイクラスタの構築手順を紹介します。本手順は、node-1 を現用系サーバとしたミラーディスク型の構成を対象としています。

以下の表は既定値が存在しないパラメータ、および既定値から変更したパラメータについて記載しています。

Microsoft Azure の設定 (node-1、node-2 で共通の設定)

設定項目	設定値
リソースグループの設定
名前	TestGroup1
リージョン	(アジア太平洋) 東日本
仮想ネットワークの設定
名前	Vnet1
アドレス空間	10.5.0.0/24
サブネット名	Vnet1-1
サブネットアドレス範囲	10.5.0.0/24
リソースグループ名	TestGroup1
場所	(アジア太平洋) 東日本
DNS ゾーンの設定
名前	cluster1.zone
リソースグループ	TestGroup1
レコードセット	test-record1

Microsoft Azure の設定 (node-1、node-2 でそれぞれ設定)

設定項目	設定値
	node-1	node-2
仮想マシンの設定
ディスクの種類	Standard HDD	Standard HDD
ユーザ名	testlogin	testlogin
パスワード	PassWord_123	PassWord_123
リソースグループ名	TestGroup1	TestGroup1
地域	(アジア太平洋) 東日本	(アジア太平洋) 東日本
ネットワークセキュリティグループの設定
名前	node-1-nsg	node-2-nsg
可用性ゾーンの設定
可用性ゾーン	1	2
診断ストレージアカウントの設定
名前	自動生成	自動生成
レプリケーション	ローカル冗長ストレージ (LRS)	ローカル冗長ストレージ (LRS)
IP 構成の設定
IP アドレス	10.5.0.120	10.5.0.121
ディスクの設定
名前	node-1_DataDisk_0	node-2_DataDisk_0
ソースの種類	なし (空のディスク)	なし (空のディスク)
ストレージの種類	Standard HDD	Standard HDD
サイズ	20	20

CLUSTERPRO の設定 (クラスタプロパティ)

設定項目	設定値
	node1	node2
クラスタ名	Cluster1	Cluster1
サーバ名	node1	node2
インタコネクト
カーネルモード	10.5.0.120	10.5.0.121
Witness	使用する	使用する
フェンシング
NP 解決: HTTP	使用する	使用する
強制停止: Azure	使用する	使用する
強制停止 - Azure タブアプリケーションID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブテナントID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブサービスプリンシパルのファイルパス	`C:\Users\testlogin\examplecert.pem`	`C:\Users\testlogin\examplecert.pem`
強制停止 - Azure タブリソースグループ名	TestGroup1	TestGroup1

CLUSTERPRO の設定 (フェイルオーバグループ)

リソース名	設定項目	設定値
ミラーディスクリソース	リソース名	md
	データパーティションのドライブ名	G:
	クラスタパーティションのドライブ名	F:
Azure DNS リソース	リソース名	azuredns1
	レコードセット名	test-record1
	ゾーン名	cluster1.zone
	IP アドレス	(node-1の場合) 10.5.0.120 (node-2の場合) 10.5.0.121
	リソースグループ名	TestGroup1
	アプリケーション ID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
	テナント ID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
	サービスプリンシパルのファイルパス	`C:\Users\testlogin\examplecert.pem`
	Azure CLI ファイルパス	`C:\Program Files (x86)\Microsoft SDKs\Azure\CLI2\wbin\az.cmd`

CLUSTERPRO の設定 (監視リソース)

監視リソース名	設定項目	設定値
ミラーディスク監視リソース	監視リソース名	mdw1
ミラーディスクコネクト監視リソース	監視リソース名	mdnw1
Azure DNS 監視リソース	監視リソース名	azurednsw1

4.2. Microsoft Azure の設定

Microsoft Azure ポータル (https://portal.azure.com/) にログインし、 4.1. 構築例についてを参考に以下の設定を行います。

リソースグループの作成

Azure 上のリソースを管理するリソースグループを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/azure-resource-manager/management/manage-resource-groups-portal
仮想ネットワークの作成

仮想ネットワークを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/quick-create-portal
仮想マシンの作成

クラスタを構成する仮想マシンを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/quick-create-portal
プライベート IP アドレスを静的に変更

IP アドレスは初期設定では動的割り当てとなっているため、静的割り当てに変更します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/ip-services/virtual-networks-static-private-ip?tabs=azureportal#change-private-ip-address-to-static
ブロック・ボリュームの作成

ミラーディスク (クラスタパーティション、データパーティション) に使用するブロック・ボリュームを追加、ブロック・ボリュームのアタッチをします。

詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/attach-managed-disk-portal
パブリック DNS ゾーンの作成

パブリック DNS ゾーンを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/dns/dns-getstarted-portal

4.3. インスタンスの設定

ミラーディスクの準備

ミラーディスクリソース用のパーティションを設定します。

ミラーディスクリソース用のパーティションについては、『インストール&設定ガイド』 -「システム構成を決定する」-「ハードウェア構成後の設定」-「2. ミラー用パーティションを設定する (ミラーディスク使用時は必須)」を参照してください。
CLUSTERPRO のサービス起動時間の調整、ネットワーク設定の確認、ファイアウォールの設定を確認、サーバの時刻を同期、パワーセービング機能をオフ

各手順は『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」を参照してください。
Azure CLI のインストール

詳細な手順については、以下の Web サイトを参照してください。

https://docs.microsoft.com/ja-jp/cli/azure/install-azure-cli
サービスプリンシパルの作成

Azure CLI を使用して、サービスプリンシパルを作成します。

Azure DNS リソースは Microsoft Azure にログインし、DNS ゾーンへの登録や監視を実行します。Microsoft Azure へのログイン時、サービスプリンシパルによる Azure ログインを利用します。本書ではセキュリティ観点から証明書ベースの認証を記載しています。証明書には有効期限があることに注意してください。詳細は az ad sp create-for-rbac の --years オプションを参照してください。

https://docs.microsoft.com/ja-jp/cli/azure/ad/sp?view=azure-cli-latest#az-ad-sp-create-for-rbac

サービスプリンシパルや詳細な手順については、以下の Web サイトを参照してください。

サインインする:

https://docs.microsoft.com/ja-jp/cli/azure/authenticate-azure-cli

サービスプリンシパルを作成する:

https://docs.microsoft.com/ja-jp/cli/azure/create-an-azure-service-principal-azure-cli
1. 組織のアカウントでログインします。
```
az login -u <アカウント名> -p <パスワード>
```
2. サービスプリンシパルを作成し、登録します。Cluster WebUI の Azure DNS リソース設定時に入力必要なため、表示される appID および tenant はメモしてください。
  
  以下の例では、C:\Users\testlogin\examplecert.pem にサービスプリンシパルが作成されます。
```
az ad sp create-for-rbac --display-name azure-test --create-cert --years 10 --role Contributor --scopes <サービス プリンシパルのロールの割り当てが適用されるスコープ>
{
    "appId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
    "displayName": "azure-test",
    "fileWithCertAndPrivateKey": "C:\Users\testlogin\examplecert.pem",
    "password": null,
    "tenant": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx"
}
```
3. ログアウトします。
```
az logout --username <アカウント名>
```
4. 作成されたサービスプリンシパルを利用して、Microsoft Azure へログインできるか確認します。
```
az login --service-principal -u <上記の appID の値> --tenant <上記の tenant の値> --certificate <上記の fileWithCertAndPrivateKey の値>
```
  注釈
  
  Azure CLI のバージョンが 2.66.0 以前の場合は、--certificate オプションを -p オプションに置き換えてください。
  
  az login --service-principal -u <上記の appID の値> --tenant <上記の tenant の値> -p <上記の fileWithCertAndPrivateKey の値>
  
  サインインに成功すると、次の出力が表示されます。
```
[
    {
        "cloudName": "AzureCloud",
        "id": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
        "isDefault": true,
        "name": "xxxxxxxxxx",
        "state": "Enabled",
        "tenantId": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
        "user": {
            "name": "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx",
            "type": "servicePrincipal"
        }
    }
]
```
5. ログアウトします。
```
az logout --username <上記の name の値>
```
  作成されたサービスプリンシパルのロールを既定の Contributor (共同作成者) から別のロールに変更する場合、Actions プロパティとして以下のすべての操作へのアクセス権を持つロールを選択してください。この条件を満たさないロールに変更した場合、後程設定する Azure DNS 監視リソースによる監視がエラーにより失敗します。
  
  Azure CLI 2.0の場合
  
  Microsoft.Network/dnsZones/A/write
  
  Microsoft.Network/dnsZones/A/delete
  
  Microsoft.Network/dnsZones/NS/read
CLUSTERPRO のインストール

インストール手順は『インストール&設定ガイド』を参照してください。

インストール完了後、OS の再起動を行ってください。
CLUSTERPRO のライセンスを登録

ライセンス登録手順は『インストール&設定ガイド』を参照してください。

4.4. CLUSTERPRO の設定

Cluster WebUI のセットアップ、および接続方法は『インストール&設定ガイド』-「クラスタ構成情報を作成する」を参照してください。

以下のリソース/監視リソースを追加する手順を記述します。

ミラーディスクリソース

Azure DNS リソース

Azure DNS 監視リソース

上記以外の設定は、『インストール&設定ガイド』、『リファレンスガイド』を参照してください。

クラスタの作成

最初に、クラスタ生成ウィザードを開始し、クラスタを構築します。

クラスタの構築

Cluster WebUI にアクセスし、[クラスタ生成ウィザード] をクリックします。

[クラスタ生成ウィザード] 画面の [クラスタ] 画面が表示されます。

[クラスタ名] に任意のクラスタ名を入力します。

[言語] を適切に選択します。[次へ] をクリックします。

[基本設定] 画面が表示されます。

Cluster WebUI に接続したインスタンスがマスタサーバとして登録済みの状態で表示されます。

[追加] をクリックし、残りのインスタンスを追加します (インスタンスのプライベート IP アドレスを指定します)。[次へ] をクリックします。

[インタコネクト] 画面が表示されます。

インタコネクトのために使用する IP アドレス (各インスタンスのプライベート IP アドレス) と、Witness ハートビートを指定します。

また、後で作成するミラーディスクリソースの通信経路として [MDC] に mdc1 を選択します。[次へ] をクリックします。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Witness ハートビートリソースを理解する」

[フェンシング] 画面が表示されます。

NP 解決一覧に [HTTP] が登録済みの状態で表示されます。

Witness ハートビートの設定を使用して自動的に設定されていることを確認してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「HTTP 方式によるネットワークパーティション解決を理解する」

[強制停止] に [Azure] を指定し [プロパティ] をクリックします。

[利用可能なサーバ] から利用可能なサーバを選択し [追加] をクリックします。

[仮想マシン名] には選択したサーバの名前を指定し [OK] をクリックします。

[利用可能なサーバ] から残りのサーバを同様に設定し [OK] をクリックします。

次に [Azure] タブをクリックし、[アプリケーションID] [テナントID] [サービスプリンシパルのファイルパス] [リソースグループ名] を入力し [OK] をクリックし、[次へ] をクリックします。

[アプリケーション ID] には「4. サービスプリンシパルの作成」でメモした appID を指定してください。

[テナント ID] には「4. サービスプリンシパルの作成」でメモした tenant を指定してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Azure 環境における強制停止を理解する」

グループリソースの追加

グループの定義

フェイルオーバグループを作成します。

[グループ一覧] 画面が表示されます。

[追加] をクリックします。

[グループの定義] 画面が表示されます。

[名前] にフェイルオーバグループ名 (failover1) を設定します。[次へ] をクリックします。

[起動可能サーバ] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループ属性] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループリソース一覧] 画面が表示されます。

以降の手順で、この画面でグループリソースを追加していきます。

ミラーディスクリソース

ミラーディスクリソースを作成します。

詳細は『リファレンスガイド』 -「ミラーディスクリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。

[タイプ] ボックスでグループリソースのタイプ (ミラーディスクリソース) を選択し、[名前] ボックスにグループ名 (md) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[詳細] 画面が表示されます。

[データパーティションのドライブ文字] [クラスタパーティションのドライブ文字] に「4. ブロック・ボリュームの作成」で作成したパーティションのドライブ文字を入力します。[完了] をクリックして設定を終了します。

Azure DNS リソース

Azure DNS に対してレコードを登録、解除する仕組みを提供します。

Azure DNS リソースの詳細は『リファレンスガイド』-「Azure DNS リソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。[タイプ] ボックスでグループリソースのタイプ (Azure DNS リソース) を選択して、[名前] ボックスにグループ名 (azuredns1) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[レコードセット名]、[ゾーン名]、[IP アドレス]、[リソースグループ名]、[アプリケーション ID]、[テナント ID]、[サービスプリンシパルのファイルパス]、[Azure CLI ファイルパス] に値を入力します。

[IP アドレス] は各サーバの IP アドレスを使用する場合、各サーバのタブで IP アドレスを入力します。サーバ別の設定を行う場合は [共通] タブでは、任意のサーバの IP アドレスを記載し、他のサーバは個別設定を行うようにしてください。

[アプリケーション ID] には「4. サービスプリンシパルの作成」でメモした appID を指定してください。

[テナント ID] には「4. サービスプリンシパルの作成」でメモした tenant を指定してください。

[完了] をクリックします。

監視リソースの追加

Azure DNS 監視リソース

Azure DNS に登録したレコードセットの確認および名前解決確認の監視機構を提供します。

Azure DNS 監視リソースの詳細は『リファレンスガイド』-「Azure DNS 監視リソースを理解する」を参照してください。

Azure DNS リソースを1つ追加すると、Azure DNS 監視リソースが1つ自動的に作成されます。

設定の反映とクラスタの起動

Cluster WebUI の設定モードから、[設定の反映] をクリックします。

[設定を反映しますか。] というポップアップメッセージが表示されますので、[OK] をクリックします。

アップロードに成功すると、[反映に成功しました。] のメッセージが表示されますので、[OK] をクリックします。

アップロードに失敗した場合は、表示されるメッセージに従って操作を行ってください。

Cluster WebUI のツールバーのドロップダウンメニューで [操作モード] を選択して、操作モードに切り替えます。

Cluster WebUI の [ステータス] タブから [クラスタ開始] をクリックし、確認画面で [開始] をクリックします。

詳細は『インストール&設定ガイド』-「クラスタを生成するには」を参照してください。

4.5. 動作確認

構築した環境が正常に動作するかを、監視異常を発生させフェイルオーバグループがフェイルオーバすることにより確認します。

既にクラスタが正常に起動している状態からの確認手順は以下のとおりです。
フェイルオーバグループ (failover1) が、現用系ノードの node-1 で起動します。Cluster WebUI [ステータス] タブにおいて failover1 が node-1 で [起動済] になっていることを確認します。

Microsoft Azure ポータルにログインし、DNS ゾーンより cluster1.zone を選択後、[概要] を選択します。画面右上に表示されている DNS サーバ (画面例では、ネームサーバ 1、ネームサーバ 2、ネームサーバ 3、ネームサーバ 4) を確認します。
上記で確認した DNS サーバに対し、nslookup コマンドで該当レコードセットが存在することを確認します。
nslookup test-record1.cluster1.zone <上記で確認した DNS サーバ>
Microsoft Azure ポータルにおいて、DNS ゾーンから A レコードを手動で削除します。これにより、azurednsw1 は監視異常を検出します。DNS ゾーンより cluster1.zone を選択し、[概要] を選択します。

削除するレコードを選択し、[削除] を選択します。削除確認にて [はい] を選択します。

azurednsw1 の [インターバル] 後にフェイルオーバグループ (failover1) が異常になり、ノード node-2 へフェイルオーバします。Cluster WebUI [ステータス] タブにおいて failover1 が node-2 で [起動済] になっていることを確認します。
上記で確認した DNS サーバに対し、nslookup コマンドで該当レコードセットが存在することを確認します。
nslookup test-record1.cluster1.zone <上記で確認した DNS サーバ>
以上で、DNS サーバから A レコードを削除した場合におけるフェイルオーバの動作確認は完了です。

その他の障害発生時の動作確認については適宜実施してください。

5. 構築手順 (パブリックロードバランサーを使用した HA クラスタの場合)

5.1. 構築例について

本書では、Microsoft Azure において、CLUSTERPRO を使用した2ノードでの片方向スタンバイクラスタの構築手順を紹介します。本手順は、node-1 を現用系サーバとしたミラーディスク型の構成を対象としています。

以下の表は既定値が存在しないパラメータ、および既定値から変更したパラメータについて記載しています。

Microsoft Azure の設定 (node-1、node-2 で共通の設定)

設定項目	設定値
リソースグループの設定
名前	TestGroup1
リージョン	(アジア太平洋) 東日本
仮想ネットワークの設定
名前	Vnet1
アドレス空間	10.5.0.0/24
サブネット名	Vnet1-1
サブネットアドレス範囲	10.5.0.0/24
リソースグループ名	TestGroup1
場所	(アジア太平洋) 東日本
ロードバランサーの設定
名前	TestLoadBalancer
種類	パブリック
パブリック IP アドレス名	TestLoadBalancerPublicIP
パブリック IP アドレス - 割り当て	静的
リソースグループ	TestGroup1
地域	(アジア太平洋) 東日本
バックエンドプール - 名前	TestBackendPool
ターゲット仮想マシン	node-1 node-2
ネットワーク IP 構成	10.5.0.120 10.5.0.121
正常性プローブ - 名前	TestHealthProbe
正常性プローブ - ポート	26001
負荷分散規則 - 名前	TestLoadBalancingRule
負荷分散規則 - ポート	80 (業務を提供しているポート番号)
負荷分散規則 - バックエンドポート	8080 (業務を提供しているポート番号)
受信セキュリティ規則の設定
名前	TestHTTP
プロトコル	TCP
宛先ポート範囲	8080 (業務を提供しているポート番号)

Microsoft Azure の設定 (node-1、node-2 でそれぞれ設定)

設定項目	設定値
	node-1	node-2
仮想マシンの設定
ディスクの種類	Standard HDD	Standard HDD
ユーザ名	testlogin	testlogin
パスワード	PassWord_123	PassWord_123
リソースグループ名	TestGroup1	TestGroup1
地域	(アジア太平洋) 東日本	(アジア太平洋) 東日本
ネットワークセキュリティグループの設定
名前	node-1-nsg	node-2-nsg
可用性ゾーンの設定
可用性ゾーン	1	2
診断ストレージアカウントの設定
名前	自動生成	自動生成
パフォーマンス	Standard	Standard
レプリケーション	ローカル冗長ストレージ (LRS)	ローカル冗長ストレージ (LRS)
IP 構成の設定
IP アドレス	10.5.0.120	10.5.0.121
ディスクの設定
名前	node-1_DataDisk_0	node-2_DataDisk_0
ソースの種類	なし (空のディスク)	なし (空のディスク)
ストレージの種類	Standard HDD	Standard HDD
サイズ	20	20

CLUSTERPRO の設定 (クラスタプロパティ)

設定項目	設定値
	node1	node2
クラスタ名	Cluster1	Cluster1
サーバ名	node1	node2
インタコネクト
カーネルモード	10.5.0.120	10.5.0.121
Witness	使用する	使用する
フェンシング
NP 解決: HTTP	使用する	使用する
強制停止: Azure	使用する	使用する
強制停止 - Azure タブアプリケーションID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブテナントID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブサービスプリンシパルのファイルパス	`C:\Users\testlogin\examplecert.pem`	`C:\Users\testlogin\examplecert.pem`
強制停止 - Azure タブリソースグループ名	TestGroup1	TestGroup1

CLUSTERPRO の設定 (フェイルオーバグループ)

リソース名	設定項目	設定値
ミラーディスクリソース	リソース名	md
	データパーティションのドライブ文字	G:
	クラスタパーティションのドライブ文字	F:
Azure プローブポートリソース	リソース名	azurepp1
	プローブポート	26001 (正常性プローブ - ポートで指定した値)

CLUSTERPRO の設定 (監視リソース)

監視リソース名	設定項目	設定値
ミラーディスク監視リソース	監視リソース名	mdw1
ミラーディスクコネクト監視リソース	監視リソース名	mdnw1
Azure プローブポート監視リソース	監視リソース名	azureppw1
	回復対象	azurepp1
Azure ロードバランス監視リソース	監視リソース名	azurelbw1
	回復対象	azurepp1

5.2. Microsoft Azure の設定

Microsoft Azure ポータル (https://portal.azure.com/) にログインし、 5.1. 構築例についてを参考に以下の設定を行います。

リソースグループの作成

Azure 上のリソースを管理するリソースグループを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/azure-resource-manager/management/manage-resource-groups-portal
仮想ネットワークの作成

仮想ネットワークを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/quick-create-portal
仮想マシンの作成

クラスタを構成する仮想マシンを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/quick-create-portal
プライベート IP アドレスを静的に変更

IP アドレスは初期設定では動的割り当てとなっているため、静的割り当てに変更します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/ip-services/virtual-networks-static-private-ip?tabs=azureportal#change-private-ip-address-to-static
ブロック・ボリュームの作成

ミラーディスク (クラスタパーティション、データパーティション) に使用するブロック・ボリュームを追加、ブロック・ボリュームのアタッチをします。

詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/attach-managed-disk-portal
パブリックロードバランサーの作成

パブリックロードバランサーを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/load-balancer/quickstart-load-balancer-standard-public-portal

5.3. インスタンスの設定

ミラーディスクの準備

ミラーディスクリソース用のパーティションを設定します。

ミラーディスクリソース用のパーティションについては、『インストール&設定ガイド』 -「システム構成を決定する」-「ハードウェア構成後の設定」-「2. ミラー用パーティションを設定する (ミラーディスク使用時は必須)」を参照してください。
CLUSTERPRO のサービス起動時間の調整、ネットワーク設定の確認、ファイアウォールの設定を確認、サーバの時刻を同期、パワーセービング機能をオフ

各手順は『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」を参照してください。
CLUSTERPRO のインストール

インストール手順は『インストール&設定ガイド』を参照してください。

インストール完了後、OS の再起動を行ってください。
CLUSTERPRO のライセンスを登録

ライセンス登録手順は『インストール&設定ガイド』を参照してください。

5.4. CLUSTERPRO の設定

Cluster WebUI のセットアップ、および接続方法は『インストール&設定ガイド』-「クラスタ構成情報を作成する」を参照してください。

以下のリソース/監視リソースを追加する手順を記述します。

ミラーディスクリソース
Azure プローブポートリソース
Azure プローブポート監視リソース
Azure ロードバランス監視リソース

上記以外の設定は、『インストール&設定ガイド』、『リファレンスガイド』を参照してください。

クラスタの作成

最初に、クラスタ生成ウィザードを開始し、クラスタを構築します。

クラスタの構築

Cluster WebUI にアクセスし、[クラスタ生成ウィザード] をクリックします。

[クラスタ生成ウィザード] 画面の [クラスタ] 画面が表示されます。

[クラスタ名] に任意のクラスタ名を入力します。

[言語] を適切に選択します。[次へ] をクリックします。

[基本設定] 画面が表示されます。

Cluster WebUI に接続したインスタンスがマスタサーバとして登録済みの状態で表示されます。

[追加] をクリックし、残りのインスタンスを追加します (インスタンスのプライベート IP アドレスを指定します)。[次へ] をクリックします。

[インタコネクト] 画面が表示されます。

インタコネクトのために使用する IP アドレス (各インスタンスのプライベート IP アドレス) と、Witness ハートビートを指定します。

また、後で作成するミラーディスクリソースの通信経路として [MDC] に mdc1 を選択します。[次へ] をクリックします。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Witness ハートビートリソースを理解する」

[フェンシング] 画面が表示されます。

NP 解決一覧に [HTTP] が登録済みの状態で表示されます。

Witness ハートビートの設定を使用して自動的に設定されていることを確認してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「HTTP 方式によるネットワークパーティション解決を理解する」

[強制停止] に [Azure] を指定し [プロパティ] をクリックします。

[利用可能なサーバ] から利用可能なサーバを選択し [追加] をクリックします。

[仮想マシン名] には選択したサーバの名前を指定し [OK] をクリックします。

[利用可能なサーバ] から残りのサーバを同様に設定し [OK] をクリックします。

次に [Azure] タブをクリックし、[アプリケーションID] [テナントID] [サービスプリンシパルのファイルパス] [リソースグループ名] を入力し [OK] をクリックし、[次へ] をクリックします。

[アプリケーション ID] には「4. サービスプリンシパルの作成」でメモした appID を指定してください。

[テナント ID] には「4. サービスプリンシパルの作成」でメモした tenant を指定してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Azure 環境における強制停止を理解する」

グループリソースの追加

グループの定義

フェイルオーバグループを作成します。

[グループ一覧] 画面が表示されます。

[追加] をクリックします。

[グループの定義] 画面が表示されます。

[名前] にフェイルオーバグループ名 (failover1) を設定します。[次へ] をクリックします。

[起動可能サーバ] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループ属性] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループリソース一覧] 画面が表示されます。

以降の手順で、この画面でグループリソースを追加していきます。

ミラーディスクリソース

ミラーディスクリソースを作成します。

詳細は『リファレンスガイド』-「ミラーディスクリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。

[タイプ] ボックスでグループリソースのタイプ (ミラーディスクリソース) を選択し、[名前] ボックスにグループ名 (md) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[詳細] 画面が表示されます。

[起動可能サーバ] で [名前] 列中のサーバ名を選択し [追加] をクリックします。

[パーティションの選択] ダイアログボックスが表示されます。[接続] をクリックし、「5. ブロック・ボリュームの作成」で作成したデータパーティションと、クラスタパーティションを選択し、[OK] をクリックします。

node-1 について5と6を設定、次に node-2 について5と6を設定し、[完了] をクリックします。

Azure プローブポートリソース

Microsoft Azure 上で CLUSTERPRO を利用する場合、業務が稼働するノードの特定のポートでロードバランサーからの死活監視を待ち受ける仕組みを提供します。

Azure プローブポートリソースの詳細は『リファレンスガイド』-「Azure プローブポートリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。[タイプ] ボックスでグループリソースのタイプ (Azure プローブポートリソース) を選択して、[名前] ボックスにグループ名 (azurepp1) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[プローブポート] にロードバランサーの設定 (正常性プローブの設定) 時に [ポート] として指定した値を入力します。

[完了] をクリックします。

監視リソースの追加

Azure プローブポート監視リソース

Microsoft Azure プローブポートリソースが起動しているノードに対して、死活監視のためのポートの監視機構を提供します。

Azure プローブポート監視リソースの詳細は『リファレンスガイド』-「Azure プローブポート監視リソースを理解する」を参照してください。

Azure プローブポートリソースを1つ追加すると、Azure プローブポート監視リソースが1つ自動的に作成されます。

Azure ロードバランス監視リソース

Microsoft Azure プローブポートリソースが起動していないノードに対して、プローブポートと同じポート番号が開放されていないかの監視機構を提供します。

Azure ロードバランス監視リソースの詳細は『リファレンスガイド』-「Azure ロードバランス監視リソースを理解する」を参照してください。

Azure プローブポートリソースを1つ追加すると、Azure ロードバランス監視リソースが1つ自動的に作成されます。

設定の反映とクラスタの起動

Cluster WebUI の設定モードから、[設定の反映] をクリックします。

[設定を反映しますか。] というポップアップメッセージが表示されますので、[OK] をクリックします。

アップロードに成功すると、[反映に成功しました。] のメッセージが表示されますので、[OK] をクリックします。

アップロードに失敗した場合は、表示されるメッセージに従って操作を行ってください。

Cluster WebUI のツールバーのドロップダウンメニューで [操作モード] を選択して、操作モードに切り替えます。

Cluster WebUI の [ステータス] タブから [クラスタ開始] をクリックし、確認画面で [開始] をクリックします。

詳細は『インストール&設定ガイド』-「クラスタを生成するには」を参照してください。

5.5. 動作確認

構築した環境が正常に動作するかを、監視異常を発生させフェイルオーバグループがフェイルオーバすることにより確認します。

既にクラスタが正常に起動している状態からの確認手順は以下のとおりです。

フェイルオーバグループ (failover1) が、現用系ノードの node-1 で起動します。Cluster WebUI [ステータス] タブにおいて failover1 が node-1 で [起動済] になっていることを確認します。

Cluster WebUIのプルダウンより [操作モード] から [検証モード] に変更します。

Cluster WebUI [ステータス] タブにおいて azureppw1 の [擬似障害発生] アイコンを選択します。

Azure プローブポートリソース (azurepp1) が3回再活性後に、フェイルオーバグループ (failover1) が異常になり、ノード node-2 へフェイルオーバします。Cluster WebUI [ステータス] タブにおいて failover1 が node-2 で [起動済] になっていることを確認します。

また、Azure ロードバランサーのフロントエンド IP、ポートに対してフェイルオーバ後も正常にアクセスできることを確認します。

以上で、擬似障害の場合におけるフェイルオーバの動作確認は完了です。その他の障害発生時の動作確認については適宜実施してください。

6. 構築手順 (内部ロードバランサーを使用した HA クラスタの場合)

6.1. 構築例について

本書では、Microsoft Azure において、CLUSTERPRO を使用した2ノードでの片方向スタンバイクラスタの構築手順を紹介します。本手順は、node-1 を現用系サーバとしたミラーディスク型の構成を対象としています。

以下の表は既定値が存在しないパラメータ、および既定値から変更したパラメータについて記載しています。

Microsoft Azure の設定 (node-1、node-2 で共通の設定)

設定項目	設定値
リソースグループの設定
名前	TestGroup1
リージョン	(アジア太平洋) 東日本
仮想ネットワークの設定
名前	Vnet1
アドレス空間	10.5.0.0/24
サブネット名	Vnet1-1
サブネットアドレス範囲	10.5.0.0/24
リソースグループ名	TestGroup1
場所	(アジア太平洋) 東日本
ロードバランサーの設定
名前	TestLoadBalancer
種類	内部
仮想ネットワーク	Vnet1
サブネット	Vnet1-1
IP アドレスの割り当て	静的
プライベート IP アドレス	10.5.0.200
リソースグループ	TestGroup1
地域	(アジア太平洋) 東日本
バックエンドプール - 名前	TestBackendPool
ターゲット仮想マシン	node-1
	node-2
ネットワーク IP 構成	10.5.0.120
	10.5.0.121
正常性プローブ - 名前	TestHealthProbe
正常性プローブ - ポート	26001
負荷分散規則 - 名前	TestLoadBalancingRule
負荷分散規則 - ポート	80 (業務を提供しているポート番号)
負荷分散規則 - バックエンドポート	8080 (業務を提供しているポート番号)

Microsoft Azure の設定 (node-1、node-2 でそれぞれ設定)

設定項目	設定値
	node-1	node-2
仮想マシンの設定
ディスクの種類	Standard HDD	Standard HDD
ユーザ名	testlogin	testlogin
パスワード	PassWord_123	PassWord_123
リソースグループ名	TestGroup1	TestGroup1
地域	(アジア太平洋) 東日本	(アジア太平洋) 東日本
ネットワークセキュリティグループの設定
名前	node-1-nsg	node-2-nsg
可用性ゾーンの設定
可用性ゾーン	1	2
診断ストレージアカウントの設定
名前	自動生成	自動生成
パフォーマンス	Standard	Standard
レプリケーション	ローカル冗長ストレージ (LRS)	ローカル冗長ストレージ (LRS)
IP 構成の設定
IP アドレス	10.5.0.120	10.5.0.121
ディスクの設定
名前	node-1_DataDisk_0	node-2_DataDisk_0
ソースの種類	なし (空のディスク)	なし (空のディスク)
ストレージの種類	Standard HDD	Standard HDD
サイズ	20	20

CLUSTERPRO の設定 (クラスタプロパティ)

設定項目	設定値
	node1	node2
クラスタ名	Cluster1	Cluster1
サーバ名	node1	node2
インタコネクト
カーネルモード	10.5.0.120	10.5.0.121
Witness	使用する	使用する
フェンシング
NP 解決: HTTP	使用する	使用する
強制停止: Azure	使用する	使用する
強制停止 - Azure タブアプリケーションID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブテナントID	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx	xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx
強制停止 - Azure タブサービスプリンシパルのファイルパス	`C:\Users\testlogin\examplecert.pem`	`C:\Users\testlogin\examplecert.pem`
強制停止 - Azure タブリソースグループ名	TestGroup1	TestGroup1

CLUSTERPRO の設定 (フェイルオーバグループ)

リソース名	設定項目	設定値
ミラーディスクリソース	リソース名	md
	データパーティションのドライブ文字	G:
	クラスタパーティションのドライブ文字	F:
Azure プローブポートリソース	リソース名	azurepp1
	プローブポート	26001 (正常性プローブ - ポートで指定した値)
スクリプトリソース (DSR を使用する場合)	リソース名	script1

CLUSTERPRO の設定 (監視リソース)

監視リソース名	設定項目	設定値
ミラーディスク監視リソース	監視リソース名	mdw1
ミラーディスクコネクト監視リソース	監視リソース名	mdnw1
Azure プローブポート監視リソース	監視リソース名	azureppw1
	回復対象	azurepp1
Azure ロードバランス監視リソース	監視リソース名	azurelbw1
	回復対象	azurepp1

6.2. Microsoft Azure の設定

Microsoft Azure ポータル (https://portal.azure.com/) にログインし、 6.1. 構築例についてを参考に以下の設定を行います。

リソースグループの作成

Azure 上のリソースを管理するリソースグループを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/azure-resource-manager/management/manage-resource-groups-portal
仮想ネットワークの作成

仮想ネットワークを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/quick-create-portal
仮想マシンの作成

クラスタを構成する仮想マシンを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/quick-create-portal
プライベート IP アドレスを静的に変更

IP アドレスは初期設定では動的割り当てとなっているため、静的割り当てに変更します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-network/ip-services/virtual-networks-static-private-ip?tabs=azureportal#change-private-ip-address-to-static
ブロック・ボリュームの作成

ミラーディスク (クラスタパーティション、データパーティション) に使用するブロック・ボリュームを追加、ブロック・ボリュームのアタッチをします。

詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/virtual-machines/windows/attach-managed-disk-portal
内部ロードバランサーの作成

内部ロードバランサーを作成します。詳細は以下を参照してください。

https://learn.microsoft.com/ja-jp/azure/load-balancer/quickstart-load-balancer-standard-internal-portal

DSR を使用する場合は、[ポート] と [バックエンドポート] に同一のポート番号を設定、[フローティング IP (DSR)] を有効に設定します。

指定するポート番号は、業務を提供するアプリケーションへの接続に使用するポート番号を指定します (例.80)。

DSR 構成を作成する場合は以下を参照してください。

https://jpn.nec.com/clusterpro/blog/20200528.html

6.3. インスタンスの設定

ミラーディスクの準備

ミラーディスクリソース用のパーティションを設定します。

ミラーディスクリソース用のパーティションについては、『インストール&設定ガイド』 -「システム構成を決定する」-「ハードウェア構成後の設定」-「2. ミラー用パーティションを設定する (ミラーディスク使用時は必須)」を参照してください。

DSR を使用する場合、クラスタを構成する各ノードにおいてループバックアダプタを追加します。

DSR 構成を作成する場合は以下の CLUSTERPRO オフィシャルブログを参照してください。

https://jpn.nec.com/clusterpro/blog/20181031.html
CLUSTERPRO のサービス起動時間の調整、ネットワーク設定の確認、ファイアウォールの設定を確認、サーバの時刻を同期、パワーセービング機能をオフ

各手順は『インストール&設定ガイド』-「システム構成を決定する」-「ハードウェア構成後の設定」を参照してください。
CLUSTERPRO のインストール

インストール手順は『インストール&設定ガイド』を参照してください。

インストール完了後、OS の再起動を行ってください。
CLUSTERPRO のライセンスを登録

ライセンス登録手順は『インストール&設定ガイド』を参照してください。

6.4. CLUSTERPRO の設定

Cluster WebUI のセットアップ、および接続方法は『インストール&設定ガイド』-「クラスタ構成情報を作成する」を参照してください。

以下のリソース/監視リソースを追加する手順を記述します。

ミラーディスクリソース
Azure プローブポートリソース
Azure プローブポート監視リソース
Azure ロードバランス監視リソース

上記以外の設定は、『インストール&設定ガイド』、『リファレンスガイド』を参照してください。

クラスタの作成

最初に、クラスタ生成ウィザードを開始し、クラスタを構築します。

クラスタの構築

Cluster WebUI にアクセスし、[クラスタ生成ウィザード] をクリックします。

[クラスタ生成ウィザード] 画面の [クラスタ] 画面が表示されます。

[クラスタ名] に任意のクラスタ名を入力します。

[言語] を適切に選択します。[次へ] をクリックします。

[基本設定] 画面が表示されます。

Cluster WebUI に接続したインスタンスがマスタサーバとして登録済みの状態で表示されます。

[追加] をクリックし、残りのインスタンスを追加します (インスタンスのプライベート IP アドレスを指定します)。[次へ] をクリックします。

[インタコネクト] 画面が表示されます。

インタコネクトのために使用する IP アドレス (各インスタンスのプライベート IP アドレス) と、Witness ハートビートを指定します。

また、後で作成するミラーディスクリソースの通信経路として [MDC] に mdc1 を選択します。[次へ] をクリックします。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Witness ハートビートリソースを理解する」

[フェンシング] 画面が表示されます。

NP 解決一覧に [HTTP] が登録済みの状態で表示されます。

Witness ハートビートの設定を使用して自動的に設定されていることを確認してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「HTTP 方式によるネットワークパーティション解決を理解する」

[強制停止] に [Azure] を指定し [プロパティ] をクリックします。

[利用可能なサーバ] から利用可能なサーバを選択し [追加] をクリックします。

[仮想マシン名] には選択したサーバの名前を指定し [OK] をクリックします。

[利用可能なサーバ] から残りのサーバを同様に設定し [OK] をクリックします。

次に [Azure] タブをクリックし、[アプリケーションID] [テナントID] [サービスプリンシパルのファイルパス] [リソースグループ名] を入力し [OK] をクリックし、[次へ] をクリックします。

[アプリケーション ID] には「4. サービスプリンシパルの作成」でメモした appID を指定してください。

[テナント ID] には「4. サービスプリンシパルの作成」でメモした tenant を指定してください。

詳細は以下を参照してください。

- 『リファレンスガイド』 -「Azure 環境における強制停止を理解する」

グループリソースの追加

グループの定義

フェイルオーバグループを作成します。

[グループ一覧] 画面が表示されます。

[追加] をクリックします。

[グループの定義] 画面が表示されます。

[名前] にフェイルオーバグループ名 (failover1) を設定します。[次へ] をクリックします。

[起動可能サーバ] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループ属性] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[グループリソース一覧] 画面が表示されます。

以降の手順で、この画面でグループリソースを追加していきます。

ミラーディスクリソース

ミラーディスクリソースを作成します。

詳細は『リファレンスガイド』-「ミラーディスクリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。

[タイプ] ボックスでグループリソースのタイプ (ミラーディスクリソース) を選択し、[名前] ボックスにグループ名 (md) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。

何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[詳細] 画面が表示されます。

[起動可能サーバ] で [名前] 列中のサーバ名を選択し [追加] をクリックします。

[パーティションの選択] ダイアログボックスが表示されます。[接続] をクリックし、「5. ブロック・ボリュームの作成」で作成したデータパーティションと、クラスタパーティションを選択し、[OK] をクリックします。

node-1 について5と6を設定、次に node-2 について5と6を設定し、[完了] をクリックします。

Azure プローブポートリソース

Microsoft Azure 上で CLUSTERPRO を利用する場合、業務が稼働するノードの特定のポートでロードバランサーからの死活監視を待ち受ける仕組みを提供します。

Azure プローブポートリソースの詳細は『リファレンスガイド』-「Azure プローブポートリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。[タイプ] ボックスでグループリソースのタイプ (Azure プローブポートリソース) を選択して、[名前] ボックスにグループ名 (azurepp1) を入力します。[次へ] をクリックします。

[依存関係] 画面が表示されます。何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

[プローブポート] にロードバランサーの設定 (正常性プローブの設定) 時に [ポート] として指定した値を入力します。

[完了] をクリックします。

スクリプトリソース (DSR を使用する場合)

スクリプトリソースを追加することにより、ロードバランサーの切り替えに合わせて、ループバックアダプタにフロントエンド IP アドレスを追加/削除する仕組みを提供します。

スクリプトリソースの詳細は『リファレンスガイド』-「スクリプトリソースを理解する」を参照してください。

[グループリソース一覧] で [追加] をクリックします。

[グループのリソース定義 | failover1] 画面が開きます。[タイプ] ボックスでグループリソースのタイプ (スクリプトリソース) を選択して、[名前] ボックスにグループ名 (script1) を入力します。

[次へ] をクリックします。

[依存関係] 画面が表示されます。何も指定せず [次へ] をクリックします。

[復旧動作] 画面が表示されます。[次へ] をクリックします。

start.bat、stop.bat を選択し、[編集] をクリックします。スクリプトは CLUSTERPRO オフィシャルブログ (https://jpn.nec.com/clusterpro/blog/20181031.html) を参考に設定してください。CLUSTERPRO オフィシャルブログに掲載のスクリプトはサンプルです。環境に合わせてカスタマイズしてください。

[完了] をクリックします。

監視リソースの追加

Azure プローブポート監視リソース

Microsoft Azure プローブポートリソースが起動しているノードに対して、死活監視のためのポートの監視機構を提供します。

Azure プローブポート監視リソースの詳細は『リファレンスガイド』-「Azure プローブポート監視リソースを理解する」を参照してください。

Azure プローブポートリソースを1つ追加すると、Azure プローブポート監視リソースが1つ自動的に作成されます。

Azure ロードバランス監視リソース

Microsoft Azure プローブポートリソースが起動していないノードに対して、プローブポートと同じポート番号が開放されていないかの監視機構を提供します。

Azure ロードバランス監視リソースの詳細は『リファレンスガイド』-「Azure ロードバランス監視リソースを理解する」を参照してください。

Azure プローブポートリソースを1つ追加すると、Azure ロードバランス監視リソースが1つ自動的に作成されます。

設定の反映とクラスタの起動

Cluster WebUI の設定モードから、[設定の反映] をクリックします。

[設定を反映しますか。] というポップアップメッセージが表示されますので、[OK] をクリックします。

アップロードに成功すると、[反映に成功しました。] のメッセージが表示されますので、[OK] をクリックします。

アップロードに失敗した場合は、表示されるメッセージに従って操作を行ってください。

Cluster WebUI のツールバーのドロップダウンメニューで [操作モード] を選択して、操作モードに切り替えます。

Cluster WebUI の[ステータス] タブから [クラスタ開始] をクリックし、確認画面で [開始] をクリックします。

詳細は『インストール&設定ガイド』-「クラスタを生成するには」を参照してください。

6.5. 動作確認

構築した環境が正常に動作するかを、監視異常 (擬似) を発生させフェイルオーバグループがフェイルオーバすることにより確認します。

既にクラスタが正常に起動している状態からの確認手順は以下のとおりです。

フェイルオーバグループ (failover1) が、現用系ノードの node-1 で起動します。Cluster WebUI [ステータス] タブにおいて failover1 が node-1 で [起動済] になっていることを確認します。

DSR を使用する場合は、パケットキャプチャを実施し、クライアントの IP アドレスとロードバランサーのフロントエンド IP アドレスで通信が行われていることもあわせて確認します。

Cluster WebUI のプルダウンより [操作モード] から [検証モード] に変更します。

Cluster WebUI [ステータス] タブにおいて azureppw1 の [擬似障害発生] アイコンを選択します。

Azure プローブポートリソース (azurepp1) が3回再活性後に、フェイルオーバグループ (failover1) が異常になり、ノード node-2 へフェイルオーバします。Cluster WebUI [ステータス] タブにおいて failover1 が node-2 で [起動済] になっていることを確認します。

また、Azure ロードバランサーのフロントエンド IP、ポートに対してフェイルオーバ後も正常にアクセスできることを確認します。

DSR を使用する場合は、パケットキャプチャを実施し、クライアントの IP アドレスとロードバランサーのフロントエンド IP アドレスで通信が行われていることもあわせて確認します。

以上で、擬似障害の場合におけるフェイルオーバの動作確認は完了です。その他の障害発生時の動作確認については適宜実施してください。

DSR 構成を作成する場合は以下の CLUSTERPRO オフィシャルブログを参照してください。

https://jpn.nec.com/clusterpro/blog/20181031.html

7. エラーメッセージ一覧

各リソース/モニタリソースのエラーメッセージについては、以下のマニュアルを参照してください。

『リファレンスガイド』-「エラーメッセージ一覧」

8. 注意・制限事項

以下のマニュアルを参照してください。

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO インストール前」-「通信ポート番号」

Azure DNS を使用した HA クラスタの場合

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO インストール前」-「Azure DNS リソースについて」

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO の構成情報作成時」-「Azure DNS リソースの設定について」

『リファレンスガイド』-「Azure DNS リソースに関する注意事項」

『リファレンスガイド』-「Azure DNS 監視リソースの注意事項」

ロードバランサーを使用した HA クラスタの場合

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO の構成情報作成時」-「Azure プローブポートリソースの設定について」

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO の構成情報作成時」-「Azure ロードバランス監視リソースの設定について」

『リファレンスガイド』-「Azure プローブポートリソースに関する注意事項」

『リファレンスガイド』-「Azure プローブポート監視リソースの注意事項」

『リファレンスガイド』-「Azure ロードバランス監視リソースの注意事項」

Azure のメモリ保持メンテナンス

Azure のメモリ保持メンテナンスにより、仮想マシンは最大で 30 秒間一時停止状態になる場合があります。

メモリ保持メンテナンスについての詳細は以下を参照してください。

https://docs.microsoft.com/ja-jp/azure/virtual-machines/windows/maintenance-and-updates

[クラスタプロパティ] - [タイムアウト] タブ - [ハートビートタイムアウト] はメモリ保持メンテナンスを考慮した値を設定してください。

また、[ハートビートタイムアウト] と併せて以下も調整してください。

OS の起動時間は [ハートビートタイムアウト] より長くなるよう調整してください。

以下のマニュアルも参照してください。

『リファレンスガイド』-「クラスタプロパティ」-「タイムアウトタブ」

『スタートアップガイド』-「注意制限事項」-「CLUSTERPRO インストール前」-「OS 起動時間の調整」

Azure DNS を使用する場合の注意事項

CLUSTERPRO が Microsoft Azure と連携するためには、Microsoft Azure の組織アカウントが必要となります。

組織アカウント以外のアカウントは Azure CLI 実行時に対話形式でのログインが必要となるため使用できません。