WebOTX Manual V10.2 (第4版)

目次を表示

プロセス起動・停止時間超過への対応

事象説明

アプリケーションプロセスの起動または停止時、いつになっても起動または停止しない場合は何らかの問題が発生していると考えられます。WebOTX では無限ループ状態を防止するため、プロセスが起動または停止処理をする際のタイムアウト時間を設定しており、この時間を越えた場合はプロセスを強制終了します。
アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合も、本障害に含まれます。

状況の確認方法

スレッド初期化前及びスレッド終了後の処理、スレッド起動処理でタイムアウトした場合、アプリケーショングループ停止処理中のオペレーション終了待ち合わせでタイムアウトした場合、アプリケーションプロセスの異常終了時の終了処理でタイムアウトした場合、以下のメッセージがイベントログ・syslogにでます。
```
OTXM:<システム名>::<プロセスID>: W:1:TPS15-01312 It was detected that the process was stalling. process ID:<プロセスID> process group:<プロセスグループ名> elapsed time:<経過時間> seconds
```
処理中のオペレーションの情報がシステムトレースに出力されます。
Java アプリケーションの場合、AP ログおよびシステムトレースにスタックトレースが出力されます。

スレッド起動処理でタイムアウトした場合(スレッド初期化時間)
以下のメッセージがイベントログ・syslogにでます。

OTXM: <システム名>:<プロセスグループ名>:<プロセスID>: E:1:TPS10-11101 THREAD INIT TIME OUT. CODE:x TX-GROUP <プロセスグループ名> <プロセスID>

また、以下のメッセージがAP ログにでます。

TPS10-11101 THREAD INIT TIME OUT CODE:ｘ TX-GROUP <プロセスグループ名> <プロセスID>

スレッド停止処理でタイムアウトした場合

以下のメッセージがイベントログ・syslogにでます。

OTXM: <システム名>:<プロセスグループ名>:<プロセスID>: E:1:TPS10-13301 Request <リクエスト> was interrupted because of reaching to the elapsed time limit. process group:<プロセスグループ名> process ID:<プロセスID> elapsed time:<経過時間> seconds

また、以下のようなメッセージがAP ログにでます。

TPS10-13301 Request <リクエスト> was interrupted because of reaching to the elapsed time limit. process group:<プロセスグループ名> process ID:<プロセスID> elapsed time:<経過時間> seconds elptime-over info : S_TIME=08-02/20:23:42.7030 LIMIT=60FUNCTION=ThreadEpiloｇ:00E87990 LIBRARY=<ライブラリ名>:00E80000

採取資料

イベントログ(アプリケーション、システム)・syslog
AP ログ : ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>.<数字>.<PID>.log
システムトレース : ${INSTANCE_ROOT}/logs/tpsystem/<アプリケーショングループ名>/<プロセスグループ名>/save/<プロセスグループ名>_sys.<数字>.<PID>.log
${INSTANCE_ROOT}/logs/tpsystem/history.act、history.<数字>
${INSTANCE_ROOT}/logs/tpsystem/sysmsg.trc、sysmsg.<数字>

対象AP の特定

イベントログ・syslogを確認してください。

原因の特定

イベントログ・syslog、AP ログ、システムトレースを確認してください。

イベントログ・syslogにTPS15-01312 が出力され、プロセス起動に失敗した場合、以下の処理で遅延している可能性がありますので確認してください。

リソースアダプタのstart の処理(EJB)
ステートレスBean,またはメッセージドリブンBean のコンストラクタ、ejbCreate の処理(EJB)
jp.co.nec.WebOTX.InitTerm.initialize(Java)
コンポーネント初期化関数
サーバオブジェクトのコンストラクタ
サーバオブジェクトの生成時コールバック
名前サーバ登録時フック

システムトレースに出力されたダンプを確認してください。
また、AP ログに出力されたスタックトレースを確認してください。（Java アプリケーションの場合）

イベントログ・syslogにTPS10-11101 が出力され、プロセス起動に失敗した場合、以下の処理で遅延している可能性がありますので確認してください。

サーバオブジェクトのコンストラクタ(ステートレス・アパートメントの場合)
サーバオブジェクトの生成時コールバック(Java, ステートレス・アパートメントの場合)
名前サーバ登録時フック(ステートレス・アパートメントの場合)

イベントログ・syslogにTPS10-13301 が出力され、プロセス停止が強制終了となった場合、以下の処理で遅延している可能性がありますので確認してください。

名前サーバ削除時フック(ステートレス・アパートメントの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・アパートメントの場合)
サーバオブジェクトのデストラクタ(ステートレス・アパートメントの場合)

イベントログ・syslogにTPS15-01312 が出力され、アプリケーショグループ停止が強制終了となった場合、実行中のオペレーションがあり、そのオペレーションがストールしている可能性があります。詳細は、 [ ＡＰストールへの対応 ] を参照して下さい。

運用停止操作を実行していない状態で、イベントログ・syslogにTPS15-01312 が出力され、プロセスが強制終了された場合、アプリケーションプロセスで異常終了が発生し、さらにその後の終了処理で遅延している可能性があります。まずは、 [ 障害の種類から > サーバアプリケーションの障害 ] を参照し、異常終了した原因について調査してください。

さらに、以下の処理で遅延している可能性がありますので確認してください。

ejbRemove の処理(EJB)
リソースアダプタのstop の処理
名前サーバ削除時フック(ステートレス・フリーの場合)
サーバオブジェクトの解放時コールバック(Java, ステートレス・フリーの場合)
サーバオブジェクトのデストラクタ(ステートレス・フリーの場合)
jp.co.nec.WebOTX.InitTerm.terminate(Java)

復旧方法

AP の処理を修正してください。

予防のための対策

サーバAP の起動及び停止にかかる時間が理論上ありえる範囲なのかありえないのかによって対策は異なります。理論上ありえないのであればAP の処理を見直す必要があります。理論上ありえる範囲の場合は [ 構築・運用 > チューニング > APサーバ > その他チューニングに関する設定 > 起動・停止タイムアウト(プロセス終了) ] を参照し、必要に応じてあらかじめタイムアウト時間に大きな値を設定してください。

対象となるエラー事象

TPS15-01312、TPS10-11101、TPS10-13301