テレワークになってからと言うもの、PCつけっぱでVPSはSSHで接続しっぱなしな状況なのですが先日急にTeraTermがパタパタと閉じ始めサーバにアクセスできなくなりました。
原因はConoHaのハードウェア障害だったのですが、その時のConoHaのコントロールパネルのスクショとか取って置いたので載せておきます。
概要
- 2022年4月20日(水)のAM8:00過ぎ、冒頭に書いた通りSSH接続が切れる
- 自宅のネットが切れた？
→検索できるからネット環境は問題なし - ConoHaにログインしてサーバの状況を確認
→なんか変・・・確定処理待ちって何？ - お知らせの障害情報を確認
→障害が発生しているようだが収容ホストが違う(障害復旧してからわかったが違わなかった) - よくわからないけどお知らせの障害治ったら復旧するだろうと放置
- AM11:00前に障害復旧
お知らせの障害情報がこちら
障害発生時のコントロールパネル
障害発生時のコンパネ画像がこちらです。
画像からわかるように障害発生した収容ホストが”cn-h11556.g2.tyo1.v4“なのですが、コンパネでは”cn-h11153.g1.tyo1.v4“となっています。
その為、あれ？関係ないのに何で落ちているの？と思ったわけですが、障害復旧後にお知らせを確認すると収容ホストの変更後が”cn-h11153.g1.tyo1.v4“となっていたのでスクショ撮った時には既に収容ホストを変更する処理が動いていたのでしょう。
以下の画像が恐らくその変更を実行している状況だと思われます。
最初見た時はプラン変更？えぇ？そんな操作していない何で勝手にプラン変更されてるんだ怖い怖いって感じでした(この時はまだ収容ホストが違うと思っていたので不正アクセスでもされたのかと勘違いしていた)
とまぁ多少ビビりつつも何が出来るわけでもなかったのでゲームしながら放置して3時間後に復旧(障害情報を確認するとハードウェア障害)となりました。
障害時のまとめとしては
- 障害情報のホストとコンパネで確認できる収容ホストは違うことがある(収容先変更のため)
- 上記のように収容ホストが異なる場合があるので正常時の収容ホストをメモっておくと私のように焦らない
- コンパネのステータスの確定処理待ち、プラン変更中という表記は収容先変更の処理中(たぶん)
今回はTeraTermが落ちて気づけたけどそうじゃなければいつの間にかVPSが落ちていつのまにか復旧とかなると気づける自信がないなぁ。
どうやったら気づけるだろう？GrafanaとかPrometheusとかインストールしてあるから使用率系を確認すればごっそり抜け落ちてて気づけるけど能動的な確認方法じゃなくて受動的な確認がしたいですね。
なんかネットのサービスでヘルスチェックしたりとかする？面倒くさいけど何かしら検討してみよう。
以上です。
コメント