生存者バイアスとは——自分の集計で結論が3回ひっくり返った記録と、点検の4手順

生存者バイアスとは、生き残って手元に残ったデータだけを見て判断してしまう偏りのことです。 有名なのは戦争中の飛行機の話ですが、本当に厄介なのは、自分が毎週見ている数字の中に静かに混ざっているときです。私たちは自分たちのサービスの計測で、この偏りによって結論が3回ひっくり返りました(「達成」が「悪化」に、「順調」が「7分の1に急減」に、「崩落」が「そもそも下がっていない」に)。この記事では、その実測の記録と、同じ事故を防ぐための点検手順を公開します。

生存者バイアスとは何か

生存者バイアスとは、成功して残ったもの・観測に引っかかったものだけを材料にして、全体を語ってしまう偏りです。消えたデータは、消えたという事実ごと見えなくなるので、本人には「全部見ている」ように感じられます。

由来としてよく語られるのが、第二次世界大戦中の統計学者アブラハム・ウォルドの分析です。帰還した爆撃機の被弾箇所を集めて「よく撃たれている場所を補強しよう」とする案に対し、「帰ってきた機体に穴が無い場所こそ、撃たれたら帰ってこられない場所だ」と指摘した、という話です(細部には諸説がありますが、考え方の芯は変わりません。用語の整理は英語版 Wikipedia の Survivorship bias(新しいタブで開く) が詳しいです)。

ここで大事なのは、ウォルドはデータを増やしたのではなく、「このデータに何が載っていないか」を問うただけだという点です。統計の基本的な考え方は、総務省統計局のなるほど統計学園(新しいタブで開く)でも、標本(調べた一部)と母集団(本当に知りたい全体)のずれとして解説されています。

なぜ「自分のデータ」でこそ起きるのか

自分のデータは全部そろっている、と思い込みやすいからです。実際には、集計の書き方ひとつで、静かに一部が落ちます。

私たちは4つのプロダクトと発信をすべて自動で計測し、AI に集計とレポート作成まで任せています。数字は毎日そろい、レポートは毎日届きます。それでも、いや、それだからこそ、落ちたデータに気づけませんでした。

理由は単純です。レポートは「見えたデータ」からしか作られません。消えた行はレポートにも書かれないので、読んでいる側には、欠けている感触がまったく残らないのです。

実例1: 中央値40.5%が36%に変わり、「達成」が「悪化」になった

2026年8月17日、TikTok の3秒維持率(動画を3秒以上見てもらえた割合)の週次中央値を集計したときの話です。同じ週のデータから、40.5%と36%という2つの答えが出ました。

最初の集計は、いちばん新しいスナップショット(その時刻に一覧で取れた全投稿の記録)1枚だけを使いました。n(集計に入った投稿数)は14本で、中央値は40.5%。前週が36%だったので「改善・目標達成」と書きかけました。

取り直した集計は、すべてのスナップショットを横断して投稿ごとの最新値を拾いました。n は19本に増え、中央値は36%。同じ手法で前週を測ると40.5%だったので、実際は悪化していて未達でした。

差の正体は5本の投稿です。19%・20%・29%・32%といった低い値の投稿が、最新のスナップショットには載っていませんでした。弱い投稿ほど一覧の後ろへ回り、取りこぼされていたのです。帰ってこなかった機体と同じ構造でした。

実例2: 28日の平均が、7分の1への急減を隠していた

2026年8月24日、検索の状況を見るレポートは「検索流入は月6クリック・表示70回 — 立ち上げ期の正常範囲」と報告していました。既定の集計窓が28日だったからです。

同じ数字を週ごとに割り直すと、公式サイトの表示回数は W32が19回 → W33が15回 → W34が2回でした。データの反映が遅れる分を差し引いて日数をそろえても、19 → 12 → 2 です。

この4週間で、記事は88本から107本へ19本増え、sitemap(検索エンジンに知らせるURL一覧)も114から139へ増えていました。本数を増やした週に、表示が7分の1になっていたわけです。28日の平均は、この急減を完全に薄めていました。

このグラフは、実例1と同じ指標の全期間です。同じ週に別の顔があることも、ここに出ています —— W33 は8月17日時点の集計では36%、8月24日時点の再集計では38.0%でした。同じ週でも、いつ・どの手法で取るかで数字は動きます。

そしてこの系列は、もうひとつの失敗も記録しています。私たちは一度「3秒維持率が初めて臨界の40%を越えた」と書きました。グラフを見れば分かるとおり、W32が既に40.5%で越えていました。「16→26→38→72」と書いて、W31とW32を落としていたのです。これは選択的引用と呼ばれる、生存者バイアスの近い親戚です。

実例3: 「滞在2.5秒に崩落」は、読者が入れ替わっていただけだった

3つ目は、8月24日に「平均滞在時間が23.4秒から2.5秒へ崩落した」と判定した件です。自動化ツールの混入か、着地ページが刺さっていないか、という2つの仮説を立てて1週間保留しました。

8月31日に、同じデータを国別に割りました。すると日本からの訪問だけを見た滞在時間は、W31が36.0秒 → W32が40.5秒 → W33が27.2秒で、3週連続して「読了寄り」でした。一度も崩落していません。

正体は分母の入れ替わりでした。W33は日本21 + 日本以外6で日本が78%、W34は日本2 + 日本以外8 + 別プロダクトの日本以外14で日本は8%。日本以外の訪問はほぼすべて0.0〜2.1秒なので、日本の値が1秒も変わらなくても、合計の平均は23.4秒から2.5秒になります。

厳密にはこれは生存者バイアスそのものではなく、構成の変化(いわゆるシンプソンのパラドックス)です。ただし原因は同じで、「見えている集団が入れ替わっているのに、同じ名前の指標だと思って比べた」ことでした。

自分の数字を点検する4つの型

3つの実例を、同じ形に整理するとこうなります。どの型も、消えたデータではなく「集計の書き方」が原因でした。

この4つは、どれも1行のコードや1つの設定で起きます。「悪意ある集計」ではなく、普通に書いたら普通に起きる種類の事故です。

点検の手順

数字を報告する前に、この5つを通すだけで、上の4つの型はほぼ捕まえられます。所要は数分です。

そして最後に、どの手法で測ったかをレポートに1行書くこと。私たちは基準の取り違えによる判定の逆転を、これまでに2回起こしています。書いておけば、少なくとも次の人は比べられます。

対策そのものが罠になることもある

実例1の対策は「全スナップショットを横断して、投稿ごとの最新値を取る」でした。この対策は、条件が崩れると逆向きの間違いを生みます。

8月24日、同じ横断集計で「500再生を超えた投稿が12本に増えた」と報告しかけました。中身を見ると、同じ投稿が2行に分かれていた組が4組含まれていました。投稿を識別するIDが、記録した日によって別の文字列になっていたためです。

1投稿1行が保証される週末のスナップショットで測り直すと、W33が13本 → W34が8本で減少。結論は逆でした。つまり「横断集計 対 単一スナップショット」に唯一の正解はなく、IDが安定しているかどうかで選ぶしかありません。

AIに集計させると、この偏りは強まる

ここが心理学と実装の交差点です。AIが書いたレポートは、欠けたデータの上にも、なめらかで自信のある文章を載せてきます。

人にはもともと、機械やAIの出した答えを疑いにくくなる傾向があります(自動化バイアス)。仕組みと具体的な対策はAIの出力を疑えなくなる「自動化バイアス」に書きました。集計もレポートも同じAIが担当していると、間違いと、その間違いを支持する説明が、同じ便の中で一緒に出てくることになります。

私たちが実際に採った対策は、単純な分離でした。集計する便と、検証する便を、別の時刻・別のスクリプトで走らせることです。8月24日、朝の便と午後の便が別々の経路で計測し、公式サイトの表示が「19→15→2」という同じ結論に独立して到達しました。だから「1件の集計ミスではない」と言い切れました。

逆に、生成と自己申告が同じ便の中で閉じているSNS投稿の系統は、同じ時期に3日連続で「7本中7本成功」と過大報告していました。チェックする人が、チェックされる人と同じでは意味がないという、ごく普通の話です。政府のAI利用の議論でも、人がどう関与するかは継続的な論点になっています(総務省のAIネットワーク社会推進会議(新しいタブで開く))。

なお、この「見えている分だけで判断してしまう」問題は、記事そのものの評価でも起きました。読まれた記事だけを見て手応えを語っていたころ、実際には公開28日を過ぎた記事の67%が誰にも届いていませんでした。数字の元になった発信の測り方はTikTokの3秒維持率を1週間で1.9倍にした話にまとめています。

よくある質問

Q. 生存者バイアスと選択バイアスの違いは何ですか。 選択バイアスは「調べる対象の選ばれ方が偏っている」問題全体を指す広い言葉で、生存者バイアスはその一種です。生き残ったもの・観測に残ったものだけが手元にある、という特定の形を指します。実務では区別より、「このデータに何が載っていないか」を問うほうが役に立ちます。

Q. 大きなデータを扱っていない個人でも起きますか。 起きます。むしろ件数が少ないほど、数本の欠落で中央値や平均が大きく動きます。この記事の実例1は、19本のうち5本が落ちただけで判定が逆転しました。数十件の規模でこそ、nを毎回書く習慣が効きます。

Q. 全部のデータを横断して集計すれば安全ですか。 安全ではありません。IDが不安定な場合、同じものを二重に数えます。私たちは横断集計で「12本に増加」と出した数字が、測り直すと13本から8本への減少だった実例を踏んでいます。横断集計はIDが安定している媒体でだけ使ってください。

Q. AIに集計を任せるのは危険ですか。 任せること自体は問題ありません。危ないのは、集計と検証を同じAI・同じ処理の中で閉じることです。別の時刻・別の経路で同じ指標を出し、結論が一致するかを見る形にすると、1件の集計ミスと本物の変化を切り分けられます。

Q. 投資でよく聞く「生存者バイアス」も同じ意味ですか。 考え方は同じで、対象が違います。運用が続いているファンドだけで平均を出すと、途中で消えたものが計算から抜けるという話です。本記事は自分の手元の集計に絞っているので、金融の指標については専門の解説をご覧ください。

数字を見ているつもりで、実は「残った数字」だけを見ている。これは意志や能力の問題ではなく、集計の書き方の問題です。私たちは3回ひっくり返してようやく、nと窓と内訳を毎回書くようになりました。今週のレポートを開いて、母数が先週と同じかどうかだけでも確かめてみてください。