確証バイアスの対策——AIに任せた運用で起きた誤診6件と、最初の仮説を疑う5つの手順

確証バイアスとは、いったん持った仮説に合う情報ばかりを集め、合わない情報を見落としたり軽く扱ったりしてしまう心の偏りです。 対策の芯はひとつで、「この仮説が正しいなら、起きないはずのこと」を先に探しに行くことです。

私たちはAIエージェント(指示を受けて自分で調べ・作業するAI)に、毎日の計測と原因調査を任せています。2026年7〜9月だけで、同じ型の誤診を6件記録しました。長いものは5週間続きましたが、どれも反証の確認は1回の問い合わせか、1つのファイルを読むだけで済むものでした。

この記事では、その記録をそのまま公開し、仕事で使える点検手順にまとめます。

確証バイアスとは何か

確証バイアス(confirmation bias)とは、自分の考えを支持する情報を優先して探し、覚え、解釈してしまう傾向のことです。わざとではなく、注意の向け方そのものが仮説に引っぱられるので、本人には「公平に調べた」感覚が残ります。

この言葉のもとになったのが、心理学者ピーター・ウェイソンの1960年の実験です。参加者は「2・4・6」という数の並びが従うルールを当てるため、自分で3つの数を出して「ルールに合うか」を確かめていきます。多くの人は「2ずつ増える」と考え、それに合う並び(例: 11・13・15)ばかりを試しました。

本当のルールは「増えていく並びなら何でもよい」でした。自分の仮説が外れる並び(例: 11・12・19)を試せば、すぐに気づけたのです。仮説を確かめるつもりで、仮説を確かめられない問いばかりを出していたことになります(研究の整理は英語版 Wikipedia の Confirmation bias(新しいタブで開く)が詳しいです)。

この傾向は、実験よりずっと前から知られていました。哲学者フランシス・ベーコンは『ノヴム・オルガヌム』(1620年)で、次のように書いています。

「人間の知性は、いったんある意見を採用すると、ほかのあらゆるものを、それを支持し、それに一致するように引き寄せる」(フランシス・ベーコン、哲学者)

仕事で確証バイアスが起きる3つの理由

ひとつ目は、仮説を持った瞬間に「探す場所」が決まってしまうことです。探した場所でしか証拠は見つからないので、見つかった証拠はほぼ必ず仮説を支持します。

ふたつ目は、どちらの仮説でも起きる証拠を「裏付け」として数えてしまうことです。たとえば「本番サイトに変更が出ていない」は、コミット漏れでも、デプロイ(公開作業)の失敗でも起きます。こうした証拠は、どちらが正しいかを見分ける力を持っていません。

みっつ目は、過去に当たった仮説ほど、次も最初に浮かぶことです。一度当たった原因は「よくある原因」として記憶に残り、確かめる前から本命になります。

実例: AIに任せた運用で記録した誤診6件

ここからは私たちの記録です。私たちは計測・集計・原因調査を定時の自動ジョブで回し、各便は前の便が書いた報告を読んでから作業を始めます。下の表は、2026年7月30日から9月11日までに見つかった「最初の仮説が外れていた」6件です。

いちばん長かった3番では、5週間にわたって「注意書きを書いても機械は動かない」という報告が続きました。実際には、AIは指示を無視していたのではなく、その行に到達していませんでした。

公平のために書くと、4番ではクリックは本当に0でした。結論の向き(まだ検索から人が来ていない)は変わりませんでしたが、「表示すらゼロ」という根拠は誤りでした。数字の読み違いがいつも結論をひっくり返すとは限りませんが、次に打つ手は変わります。

6件に共通していた3つの型

6件を並べると、原因の中身はばらばらなのに、誤診の形はよく似ていました。私たちの記録から読み取れた共通点は3つです。

型1: 前の報告が、次の調査の出発点になる。 6件のうち4件(1〜4番)は、前の便が書いた「原因は〜」という結論を、次の便がそのまま前提にして調べていました。書いた側にとっては仮説でも、読む側には事実に見えます。

型2: 集めた証拠が、どちらの仮説でも起きるものだった。 「本番に変更が無い」「0/10本」「検索語の行が1行しかない」は、どれも本当の原因の下でも同じように観測されます。見分ける力の無い証拠が積み上がるほど、確信だけが強くなりました。

型3: 最初の仮説は、以前に一度当たったものだった。 コミットが承認待ちで止まる事故も、定時ジョブ同士の衝突も、私たちの運用で実際に起きたことがあります。当たった経験があるからこそ、確かめる前に本命になりました。

AIに任せると、確証バイアスは強まるのか

私たちの実感では、強まる場面があります。AIは前の報告を読むと、その流れに沿った筋の通った文章を書くのが得意だからです。筋が通っているほど、読む人は疑いにくくなります。

これは、人が機械の出力を確認せずに受け入れてしまう自動化バイアスと重なります。さらにAIには、相談した人の考えに合わせた答えを返しやすい傾向も知られています。この点は生成AIの迎合バイアスと壁打ちの工夫で詳しく書きました。

つまり、人の仮説をAIが補強し、AIの結論を次の便のAIが補強するという二重の確証が起こりえます。ただし原因はAIだけではありません。人が引き継ぎメモを書くときにも、まったく同じ形で起きます。

確証バイアスの対策: 仮説を疑う5つの手順

私たちが6件の後に報告の書き方として固定した手順です。どれも数分でできます。

1と2は、表の1番に当てはめると分かりやすいです。「コミット漏れ」の横に「送信済みだが未反映」を並べた瞬間、「本番に変更が無い」は見分ける力の無い証拠だと分かります。私たちはこの切り分けを、未コミット・未送信・未反映の3状態を自動で判定するスクリプトにして、毎日3回走らせています。

3は、ウェイソンの実験で言えば「11・12・19」を試すことです。表の3番なら「AIが指示を無視しているなら、指示の行は実行されているはず」なので、その行に処理が届いているかを確かめます。反証の問いは、確認の問いよりも短い時間で答えが出ることが多いのが、6件を通した実感です。

4と5は、自動化した運用でとくに効きます。5番と6番の後、私たちは報告に「どの単位で測ったか」「Googleが最後に読んだ日はいつか」を併記する決まりにしました。

物理学者リチャード・ファインマンは、1974年のカリフォルニア工科大学の卒業式講演(Cargo cult science(新しいタブで開く))で、こう述べています。

「第一の原則は、自分をだましてはいけないということです。そして自分こそが、いちばんだましやすい相手なのです」(リチャード・ファインマン、物理学者)

報告を1行変えるだけでも効く

手順を全部こなす余裕がないときは、報告の書き方だけ変えるのがおすすめです。結論の後ろに、次の2行を足すだけです。

• 対立する仮説: 〜(これでも同じ症状が出る)
• 反証の確認: 〜を見た → 起きていなかった(または、まだ見ていない)

「まだ見ていない」と正直に書けることが大切です。確認していない仮説を、確認済みの事実と同じ書き方で残さない。 これだけで、次に読む人(やAI)が前提を引き継いでしまう事故はかなり減ります。

なお、数字を集計する段階で起きる偏りは、確証バイアスとは別の名前で整理されています。集計から一部のデータが静かに落ちる問題は生存者バイアスの記事に、少ない件数で判断してしまう問題は小数の法則の記事にまとめました。

よくある質問

Q. 確証バイアスを分かりやすく言うと何ですか。 「こうに違いない」と思った後、その考えに合う情報ばかりが目に入り、合わない情報を見落としてしまう心のくせです。わざとではなく、注意の向け方が仮説に引っぱられるために起きます。そのため、本人は公平に調べたつもりでいることがほとんどです。

Q. 確証バイアスと自動化バイアスの違いは何ですか。 確証バイアスは「自分の仮説」に合う情報を集めてしまう偏りで、自動化バイアスは「機械やAIの出力」を確かめずに受け入れてしまう偏りです。AIに調査を任せると両方が同時に働き、AIの出した仮説を人が確かめないまま次へ引き継ぐ形になりやすくなります。この記事の6件のうち4件は、この重なりで長引きました。

Q. 確証バイアスは完全になくせますか。 なくすのは難しいと考えたほうが現実的です。注意の向け方そのものの偏りなので、「気をつける」だけでは防げません。そのため、対立する仮説を並べる、反証の確認を報告の欄として固定するなど、手順や書式の側で抑える方法が向いています。

Q. AIに相談すれば確証バイアスは防げますか。 聞き方しだいです。「この仮説で合っていますか」と聞くと、AIは同意寄りの答えを返しやすくなります。「この症状を説明できる別の原因を3つ挙げ、それぞれを否定するには何を確認すればよいか」と聞くと、反証の候補を出す道具として役に立ちます。

最初の仮説は、たいてい一度は当たったことのある、もっともらしい仮説です。だからこそ疑うのが難しく、私たちは6件のうち最長で5週間、それを引き継ぎ続けました。今日の報告に「対立する仮説」と「反証の確認」の2行を足すところから始めてみてください。