プロセス起動・停止時間超過への対応

事象説明

アプリケーションプロセスの起動または停止時、いつになっても起動または停止しない場合は何らかの問題が発生していると考えられます。WebOTX では無限ループ状態を防止するため、プロセスが起動または停止処理をする際のタイムアウト時間を設定しており、この時間を越えた場合はプロセスを強制終了します。
アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合も、本障害に含まれます。

状況の確認方法

スレッド初期化前及びスレッド終了後の処理、スレッド起動処理でタイムアウトした場合、アプリケーショングループ停止処理中のオペレーション終了待ち合わせでタイムアウトした場合、アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合、以下のメッセージがイベントログ・syslogにでます。
```
OTXM:<システム名>::<プロセスID>: W:1:TPS15-01312 This process is looping. pid=[<プロセスID>], CLASS=[<プロセスグループ名>], PED=[<アプリケーショングループ名>.ped]
```
処理中のオペレーションの情報がシステムトレースに出力されます。
Java アプリケーションの場合、AP ログおよびシステムトレースにスタックトレースが出力されます。

スレッド起動処理でタイムアウトした場合(スレッド初期化時間)
以下のメッセージがイベントログ・syslogにでます。

OTXM: <システム名>:<プロセスグループ名>:<プロセスID>: E:1:TPS10-11101 THREAD INIT TIME OUT. CODE:x TX-GROUP <プロセスグループ名> <プロセスID>

また、以下のメッセージがAP ログにでます。

TPS10-11101 THREAD INIT TIME OUT CODE:ｘ TX-GROUP <プロセスグループ名> <プロセスID>

スレッド停止処理でタイムアウトした場合

以下のメッセージがイベントログ・syslogにでます。

OTXM: <システム名>:<プロセスグループ名>:<プロセスID>: E:1:TPS10-13301 Tx TIME OVER ERROR. CODE:xxx TX-GROUP <プロセスグループ名> <プロセスID>

また、以下のようなメッセージがAP ログにでます。

TPS10-13301 Tx TIME OVER ERROR. CODE:xxx TX-GROUP <プロセスグループ名> <プロセスID> elptime-over info : S_TIME=08-02/20:23:42.7030 LIMIT=60FUNCTION=ThreadEpiloｇ:00E87990 LIBRARY=<ライブラリ名>:00E80000

採取資料

イベントログ(アプリケーション、システム)・syslog
AP ログ : ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>.<数字>.<PID>.log
システムトレース : ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>_sys.<数字>.<PID>.log
${INSTANCE_ROOT}/logs/tpsystem/history.act、history.<数字>
${INSTANCE_ROOT}/logs/tpsystem/sysmsg.trc、sysmsg.<数字>

対象AP の特定

イベントログ・syslogを確認してください。

原因の特定

イベントログ・syslog、AP ログ、システムトレースを確認してください。

イベントログ・syslogにTPS15-01312 が出力され、プロセス起動に失敗した場合、以下の処理で遅延している可能性がありますので確認してください。

リソースアダプタのstart の処理(EJB)
ステートレスBean,またはメッセージドリブンBean のコンストラクタ、ejbCreate の処理(EJB)
jp.co.nec.WebOTX.InitTerm.initialize(Java)
WebOTX_Init() (C++)
コンポーネント初期化関数
サーバオブジェクトのコンストラクタ
サーバオブジェクトの生成時コールバック
名前サーバ登録時フック
常駐オブジェクトのコンストラクタ
常駐オブジェクトの生成時コールバック

システムトレースに出力されたダンプを確認してください。
また、AP ログに出力されたスタックトレースを確認してください。（Java アプリケーションの場合）

イベントログ・syslogにTPS10-11101 が出力され、プロセス起動に失敗した場合、以下の処理で遅延している可能性がありますので確認してください。

常駐オブジェクトのコンストラクタ
常駐オブジェクトの生成時コールバック
サーバオブジェクトのコンストラクタ(ステートレス・アパートメントの場合)
サーバオブジェクトの生成時コールバック(Java, ステートレス・アパートメントの場合)
名前サーバ登録時フック(ステートレス・アパートメントの場合)

イベントログ・syslogにTPS10-13301 が出力され、プロセス停止が強制終了となった場合、以下の処理で遅延している可能性がありますので確認してください。

名前サーバ削除時フック(ステートレス・アパートメントの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・アパートメントの場合)
サーバオブジェクトのデストラクタ(C++, ステートレス・アパートメントの場合)
常駐オブジェクトの解放時コールバック
常駐オブジェクトのデストラクタ(C++)

イベントログ・syslogにTPS15-01312 が出力され、アプリケーショグループ停止が強制終了となった場合、実行中のオペレーションがあり、そのオペレーションがストールしている可能性があります。詳細は、 [ ＡＰストールへの対応 ] を参照して下さい。

運用停止操作を実行していない状態で、イベントログ・syslogにTPS15-01312 が出力され、プロセスが強制終了された場合、アプリケーションプロセスで異常終了が発生し、さらにその後の終了処理で遅延している可能性があります。まずは、[ 2. 障害解析 > 2.4. 障害の種類から > 2.4.3. サーバアプリケーションの障害 ] を参照し、異常終了した原因について調査してください。

さらに、以下の処理で遅延している可能性がありますので確認してください。

ejbRemove の処理(EJB)
リソースアダプタのstop の処理
名前サーバ削除時フック(ステートレス・フリーの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・フリーの場合)
サーバオブジェクトのデストラクタ(C++, ステートレス・フリーの場合)
WebOTX_Term() (C++)
jp.co.nec.WebOTX.InitTerm.terminate(Java)

復旧方法

AP の処理を修正してください。

予防のための対策

サーバAP の起動及び停止にかかる時間が理論上ありえる範囲なのかありえないのかによって対策は異なります。理論上ありえないのであればAP の処理を見直す必要があります。理論上ありえる範囲の場合は [ 高度な管理と運用サイクルガイド > 2. チューニング > 2.1. APサーバ > 2.1.4. その他チューニングに関する設定 > 2.1.4.2. 起動・停止タイムアウト(プロセス終了) ] を参照し、必要に応じてあらかじめタイムアウト時間に大きな値を設定してください。

対象となるエラー事象

TPS15-01312、TPS10-11101、TPS10-13301