プロセス起動・停止時間超過への対応

プロセス起動・停止時間超過への対応

事象説明

アプリケーションプロセスの起動または停止時、いつになっても起動または停止しない場合は何らかの問題が発生していると考えられます。WebOTX では無限ループ状態を防止するため、プロセスが起動または停止処理をする際のタイムアウト時間を設定しており、この時間を越えた場合はプロセスを強制終了します。
アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合も、本障害に含まれます。

状況の確認方法

スレッド初期化前及びスレッド終了後の処理、スレッド起動処理でタイムアウトした場合、アプリケーショングループ停止処理中のオペレーション終了待ち合わせでタイムアウトした場合、アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合以下のメッセージがイベントログ・シスログにでます。


		OTXM:<システム名>::<プロセスID>: W:1:TPS15-01312 This process is looping. pid=[<プロセスID>],
		CLASS=[<プロセスグループ名>], PED=[<アプリケーショングループ名>.ped]

処理中のオペレーションの情報がシステムトレースに出力されます。
Java アプリケーションの場合、AP ログおよびシステムトレースにスタックトレースが出力されます。

スレッド起動処理でタイムアウトした場合(スレッド初期化時間)
以下のメッセージがイベントログ・シスログにでます。
また、以下のメッセージがAP ログにでます。

スレッド停止処理でタイムアウトした場合

以下のメッセージがイベントログ・シスログにでます。


				OTXM: <システム名>:<プロセスグループ名>:<プロセスID>: E:1:TPS10-13301 Tx TIME OVER ERROR.

				CODE:ｘｘｘｘ TX-GROUP <プロセスグループ名> <プロセスID>

また、以下のようなメッセージがAP ログにでます。


				TPS10-13301 Tx TIME OVER ERROR. CODE:ｘｘｘｘ TX-GROUP <プロセスグループ名> <プロセスID> 
				elptime-over info : S_TIME=08-02/20:23:42.7030 LIMIT=60FUNCTION=ThreadEpiloｇ:00E87990 
				LIBRARY=<ライブラリ名>:00E80000

採取資料

イベントログ(アプリケーション、システム)・シスログ

AP ログ: ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>.<数字>.<PID>.log

システムトレース: ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>_sys.<数字>.<PID>.log

${INSTANCE_ROOT}/config/tpsystem/history.act (sav)

${INSTANCE_ROOT}/config/tpsystem/sysmsg.trc (sav)

対象AP の特定

イベントログ・シスログを確認してください。

原因の特定

イベントログ・シスログ、AP ログ、システムトレースを確認してください。

イベントログ・シスログにTPS15-01312 が出力され、プロセス起動に失敗した場合、以下の処理で遅延している可能性がありますので確認してください。

リソースアダプタのstart の処理(EJB)
ステートレスBean,またはメッセージドリブンBean のコンストラクタ、ejbCreate の処理(EJB)
jp.co.nec.WebOTX.InitTerm.initialize(Java)
WebOTX_Init() (C++)
コンポーネント初期化関数
サーバオブジェクトのコンストラクタ
サーバオブジェクトの生成時コールバック
名前サーバ登録時フック
常駐オブジェクトのコンストラクタ
常駐オブジェクトの生成時コールバック

常駐オブジェクトのコンストラクタ
常駐オブジェクトの生成時コールバック
サーバオブジェクトのコンストラクタ(ステートレス・アパートメントの場合)
サーバオブジェクトの生成時コールバック(Java, ステートレス・アパートメントの場合)
名前サーバ登録時フック(ステートレス・アパートメントの場合)

名前サーバ削除時フック(ステートレス・アパートメントの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・アパートメントの場合)
サーバオブジェクトのデストラクタ(C++, ステートレス・アパートメントの場合)
常駐オブジェクトの解放時コールバック
常駐オブジェクトのデストラクタ(C++)

ＡＰストールへの対応

サーバアプリケーションの障害

ejbRemove の処理(EJB)
リソースアダプタのstop の処理
名前サーバ削除時フック(ステートレス・フリーの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・フリーの場合)
サーバオブジェクトのデストラクタ(C++, ステートレス・フリーの場合)
WebOTX_Term() (C++)
jp.co.nec.WebOTX.InitTerm.terminate(Java)

復旧方法

AP の処理を修正してください。

予防のための対策

サーバAP の起動及び停止にかかる時間が理論上ありえる範囲なのかありえないのかによって対策は異なります。理論上ありえないのであればAP の処理を見直す必要があります。理論上ありえる範囲の場合は「運用編(チューニング) 2.5.2 起動・停止タイムアウト(プロセス終了)」を参照し、必要に応じてあらかじめタイムアウト時間に大きな値を設定してください。

対象となるエラー事象

TPS15-01312、TPS10-11101、TPS10-13301