« 2007年04月07日～08日の日記 | メイン | 2007年04月09日～13日の日記 »
2007年04月16日
サーバが暴走
昨晩、突然サーバが暴走し、何もできない状態になりました。状況を確認しようと画面を開くも、デスクトップ画面の描写がすこぶる遅いです。Telnetでログインしようにも、応答がありません。これはやばいかも…、と顔色がどんどん悪くなったところで、サーバの制御が戻りました。
今のはなんだ？とログを漁ってみると、下記の内容。
Apr 15 21:34:20 pokota kernel: Out of Memory: Killed process 17209 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17210 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17211 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17212 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17213 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17214 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17215 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17216 (java).
Apr 15 21:34:31 pokota kernel: Out of Memory: Killed process 17217 (java).
Apr 15 21:34:42 pokota telnetd[7672]: ttloop: peer died: EOF
Apr 15 21:34:42 pokota inetd[656]: pid 7672: exit status 1
javaプログラムが暴走したみたいです。確かにここ数日、ゲーム用のサーバアプリが2回ほど落ちていました。おそらく同じ現象でしょう。でも、数年間運用してきて、これまでとくに問題はなかったんですけどね。今後も頻発するようでしたら、稼動停止も含めた対策を考えようと思います。まあ、上記のログメッセージからは、無限にオブジェクト生成を繰り返してしまうバグが潜んでいる気がしますね＾-＾；。
（2007/04/27追記） その後も頻発するので、調べてみたら、root権限でよくわからないjavaプロセスが動いていました。怪しいのでkillしたら、症状が出なくなりました。うーん、気味が悪いですね。
投稿者 bokupi : 2007年04月16日 16:32
トラックバック
このエントリーのトラックバックURL:
http://omoshiro-joho.com/c-i-mnet/cgi-bin/mt/mt-tb.cgi/1374