笑ってる場合じゃない。関係者が全員『今見ます』しか言ってない。
>>1
その『今見ます』が一番怖いｗｗｗ
誰も見てないやつｗ
定時前の本番アラートは社会からの退勤拒否
社不なので無理
全員『今見ます』って言えるの統率取れてて偉い
なお誰も触らない模様
それ技術的に言うと〜まず見る担当を1人に絞れ
全員でログ見始めるとだいたい誰もアクションしない
規約的には定時前なら勤務時間内なので対応対象ではある
ただ関係者全員が同時に曖昧返答してるのはリスク高くないか
ワイ前職3ヶ月で辞めたけど
最後の週ずっと『確認します』だけで乗り切った
なおバレた
一次切り分けなら
・HTTP 5xx増加
・DB latency
・deploy直後か
・監視側の誤検知
この4つだけ先に見ろ
『今見ます』
意味：Slackを開いたまま遠い目をする
制度的にはそうなってる、で片付けられる話ではないが
引き継ぎ記録がないなら後で揉めるぞ
アラート鳴った瞬間にまずメトリクス見るやつと直近リリース見るやつ分けろ
そこ決まってない現場はだいたい祈祷になる
>>15
祈祷にも手順書ありそうで笑う
さすがっすね（棒
すまん今弁当温めてる
アラートより電子レンジの残り時間が気になる
>>17
弁当冷めるのは実害だからな
本番は知らん
定時前アラートより弁当の方が温かい職場
すごい発想ですね（笑
いや弁当はどうでもいい
まずアラート名を書け
CPUなのかerror rateなのかqueue詰まりなのかで全然違う
関係者A『今見ます』
関係者B『今見ます』
関係者C『今見ます』
本番『見られてる気がしない』
にわか乙って言われるの覚悟で言うけど
監視の閾値が変わっただけの可能性もある
まず変更履歴見ろ
ワイなら通知ミュートして『気づきませんでした』で詰む
就職はもう詰んだ
通知ミュートは普通に監査で説明できないのでやめたほうがいい
ログに残るならなおさら
『今見ます』って言った順に責任が薄まるシステムなら人気ゲームになる
>>31
分散システムじゃなくて分散責任システムな
冗長化だけは完璧
死亡表現は比喩でも職場チャットでは避けた方がいい
掲示板なら知らん
実際この時間帯のアラートは人間系がボトルネックになる
手順書、権限、判断者、全部どこかで詰まる
>>38
人間系とかいう一番壊れやすいコンポーネント
関係者全員が『今見ます』しか言ってない現場
たぶん一番よく見られてるのは時計
>>40
定時までのカウントダウンだけ監視精度高いの草
某決済サービス落ちてるってXで騒ぎ始めてるぞ
また燃えてる
ソース出せ
ステータスページか障害通知以外はノイズ
関係者だけど、ここだけの話
決済というより認証側っぽい
18:07から失敗率跳ねたらしい
海外だとそれ常識だぞ
認証死んだら全部死んだように見える
日本遅れすぎｗ
今配信中なんだがスパチャ通らんってコメ流れてる
これ決済マジでは
>>47
配信コメントを監視基盤にするな
にわか乙
〇〇炎上してるぞって書きたいけど固有名詞出すと怒られそうな空気
業界の人間として言うと
この時間にアラート鳴って全員『今見ます』はだいたい影響範囲の特定で揉めてる
>>50
技術的に言うと影響範囲が分からない時点でメトリクス設計が負けてる
昨日乗せた客がな
丸の内仲通りで乗ってきて、ずっと電話で『本番だけはやめてください』って言ってた
あれ関係あるんか知らんけど
>>52
昨日のタクシー客を根拠に障害判定するスレ、精度低すぎる
関係者だけど丸の内はありえる
運用委託の会社あのへん多いし
推しが『決済エラー出る人は後でまた投げて』って言ってて草
草じゃない
まとめサイトもう記事タイトル準備してそう
『定時直前に大規模障害か』みたいな
だから大規模のソースどこだよ
局所的な5xxを全体障害扱いすんな
ここだけの話、社内SlackでP1って文字は見た
ただ何のP1かは知らん
こっちでは普通だけど、P1ならまずpublic status出す
出してないならまだ確認中か隠してるか
>>62
status page更新はインシデント管理プロセス次第
海外万能論やめろ
昨日乗せた客がな、赤坂見附の交差点あたりで急に黙って
『いや、そこ触る権限ないです』って小声になったんよ
あれ怖かったわ
>>64
権限ないのはリアル
障害対応で一番強いエラーが403
スパチャじゃなくてメン限更新も弾かれてるっぽい
チャット欄が障害検知してる
関係者だけど決済単体じゃなくてID基盤っぽいって話が出てる
外してたら忘れて
ID基盤ならログイン済みセッションは生きて新規ログインだけ死ぬパターンある
報告の見え方が割れるのはそこ
>>70
それなら影響範囲を新規認証に限定して告知するだけ
it's common sense
>>72
全部緑は正常とは限らん
監視が死んでるときも緑
>>73
怖いこと言うな
配信よりそっち気になってきた
業界の人間として言うと
ステータスページ更新できる人が会議に捕まってる説ある
今さっき大手町通りで見たけど、ビル前にスーツの人がスマホ片手に固まってたぞ
普通かもしれんが
>>77
大手町でスーツがスマホ見てるのは平常運転すぎる
でも複数サービスでログイン失敗報告あるな
ソースは検索結果の空気
>>79
空気をソースにするな
HTTPヘッダ持ってこい
推しのマネージャー垢まで『一部決済で不安定』って書いた
これ公式より早いだろ
ここだけの話、18:20に関係各社へ一次連絡って聞いた
影響サービス名はまだ出せん
>>84
出せない情報は情報じゃない
ググレカス以前の問題
昨日乗せた客がな、神田橋の手前で『ロールバックできないってどういう意味ですか』って言ってた
運転しながら震えたわ
>>86
ロールバック不可はDBマイグレーションか外部連携の破壊的変更くさい
>>88
海外だとfeature flagで切る
日本遅れすぎｗ
>>89
feature flagでDBスキーマは戻らん
にわか乙
>>90
急に専門戦始まって草
こっちはメンバー更新できなくて泣いてる
『某大手ログイン障害か』でまとめ出た
対応遅すぎだろってコメント欄が先に完成してる
関係者だけど大手ログインじゃなくて裏の共通API
名前を出すと全部巻き込まれるやつ
>>93
共通APIは便利だけど障害時に共通の棺桶になる
八重洲通りで見たけど、タクシー乗り場にノートPC開いてる兄ちゃんおったわ
あれは帰宅じゃなくて延長戦の顔
>>96
屋外で本番対応するな
画面覗き見リスクあるだろ
業界の人間として言うと、タクシー内でTeamsしてるやつはだいたい本当に燃えてる