AIクローラーは本当に来ているのか——公開35日の個人サイトで実測してわかった現実
結論から書きます。公開35日の時点で、このサイトへのAI検索経由の訪問は0件でした。 Google検索経由は表示15回・クリック6回。そして本題のGPTBot・ClaudeBot・PerplexityBotのボット別ヒット数は——数えられませんでした。無料ホスティングのログ保持が1時間しかなく、期間を通じた集計が不可能だったからです。この記事は、AI検索最適化(GEO)の施策を打った個人サイトの「その後」を、小さな実数のまま正直に公開する定点観測の第1回です。
計測の前提とスコープ
AIクローラーとは、GPTBot(OpenAI)やClaudeBot(Anthropic)のように、AI企業が学習や検索応答のためにWebコンテンツを収集する巡回ボットのことです。
対象は当サイト juriscodeai.com。2026年6月13日公開の新規ドメインで、この記事の時点で公開35日です。データソースと期間は次の通りです。
- Google Search Console / GA4: 2026年6月17日〜7月14日の28日間
- Vercelのランタイムログ: 2026年7月17日にAPI経由で実測
- robots.txt / llms.txt: 公開時からGPTBot・OAI-SearchBot・ClaudeBot・PerplexityBotなど12のAI系ユーザーエージェントを明示的にAllowし、llms.txt(約16KB)を自動生成で配信
つまり「AIクローラーを歓迎する設定を最初から全部やった新規サイト」に何が起きたかの記録です。施策の中身は前編の AI検索に引用されるために私たちが実際にやっていること に書いています。
誤算：ボット別ヒット数は「数えられない」
当初の計画は、アクセスログをユーザーエージェント別に集計して「GPTBotが◯回来た」と報告する——それだけでした。
ところが実際にログAPIを叩くと、3日前を指定した時点で「保持期間を超えています」と返ってきました。Vercelの公式ドキュメントにある通り、無料のHobbyプランのランタイムログ保持は1時間。Proでも1日です。35日間のボット巡回を集計するには、上位プランの拡張オプションを足すか、ログを外部に転送する仕組みを最初から仕込んでおく必要がありました。
これはVercelに限りません。無料枠のCDNで配信している個人サイトの多くは、「AIクローラーが来たかどうか」をそもそも観測できない構成です。生ログが手元に残るレンタルサーバーなら当たり前にできたことが、モダンな無料ホスティングではできない——最初の学びはこの逆説でした。
それでも取れた実数：28日間の全成績
観測できた範囲の数字を、小さいまま全部出します。
- Google検索(GSC): 表示15回・クリック6回。表示されたのはトップページとお知らせページのみで、ブログ記事はまだ表示されていません
- GA4の総セッション: 540。ただしうち511は参照元なしの直接流入で、大半は私たち自身の開発・検証アクセスでした(アクセス急増日が作業日と一致)。現在は内部IPの除外フィルタを有効化済みです
- 検索エンジン経由: 23セッション
- SNS経由: 6セッション
- AI検索経由(chatgpt.com / perplexity.ai などの参照元): 0セッション
率を語れる分母ではないので、CTRなどの比率はあえて出しません。重要なのは、歓迎の技術設定を全部済ませた新規サイトでも35日ではAI検索からの流入は1件も観測されなかったという事実です。なお、AIが回答内で引用してもユーザーがクリックしなければ参照元には現れないため、この0件は「引用されていない」ことの証明にはなりません。
llms.txtは読まれたのか——Ahrefs調査の追試(未遂)
llms.txtについては、SEOツール大手Ahrefsが2026年5月に約13.7万ドメインを調査し、「有効なllms.txtを持つ約3.8万ドメインのうち、97%は1回もリクエストされなかった」と報告しています(出典: Ahrefs)。執筆したAhrefsのRyan Law氏は、llms.txtを"a solution in search of a problem"(問題を探している解決策)とまで評しています。
この調査を自社ドメインで追試するつもりでしたが、前述の通りログが1時間しか残らず、自社が97%側なのか3%側なのかを確認する手段自体がありませんでした。追試は失敗です。ただしllms.txtは記事追加で自動更新され維持コストはゼロなので、「効果を期待せず置いておく」運用は変えていません。
個人サイトでAIクローラーを観測する現実的な方法
同じことを試したい人のために、失敗から整理した選択肢を挙げます。
- エッジ・CDN層の統計を使う: Cloudflareなどボット分析を持つCDNを前段に置けば、アプリ側のログに依存せず観測できます
- ログを外部に転送する: ホスティングのログドレイン機能で外部ストレージに送り、自前で保持します(プランの対応状況は要確認)
- ミドルウェアで自前記録する: リクエストのユーザーエージェントを自分のデータベースに書き込む数行のコードを仕込みます。私たちは次回までにこれを実装します
- GSCのクロール統計を見る: ただし観測できるのはGoogle系クローラーのみで、GPTBotなどは写りません
各ボットの正体は、OpenAIのクローラー一覧やPerplexityBotの仕様など公式ドキュメントで確認できます。robots.txtで個別制御する前提は整いつつある一方、来訪を「確認する」側の手段は個人にはまだ貧弱です。
考察：新規ドメインの35日は「まだ何も起きない」
今回の実測から言えるのは次の3点です。
- 新規ドメインの公開35日は、AI検索の観点ではまだ何も起きない期間である(流入0件)
- ボット来訪の計測面は公開前に設計しておかないと、後から遡れない
- 内部アクセスの除外を怠ると、数少ない実データが自分の足跡で汚染される(540セッション中511がこれでした)
新規ドメインの評価に半年程度かかるという経験則を踏まえれば想定内の結果で、悲観材料ではなく「ゼロ地点の記録を残せた」ことに意味があります。次回は自前のボット記録を実装した上で、同じ指標を再計測して報告します。
よくある質問
llms.txtは置くだけ無駄ですか？
主要なAI事業者がllms.txtを正式採用した事実はなく、効果を裏づけるデータもありません。自動生成で維持コストがゼロなら「期待せずに置く」が現実的で、手作業で維持する工数をかける価値は今の材料からは正当化しにくいと考えます。
AIクローラーが来たかを無料で確認する方法はありますか？
無料枠のログは保持が短いことが多いため、ボット分析を持つCDNを前段に置くか、ミドルウェアでユーザーエージェントを自前記録するのが現実的です。どちらも追加費用なしで始められます。
robots.txtでAIボットはブロックすべきですか？
目的によります。AI検索に引用されたいならAllow、学習利用を避けたいならブロックが筋です。OpenAIなどは用途別にボットを分けているので、「検索用は許可し学習用は拒否」という中間の選択もできます。
新規サイトがAI検索に出るまでどれくらいかかりますか？
断定できるデータはまだなく、私たちの実測では35日で流入0件です。生成エンジン最適化の研究には知名度の低いサイトほど施策効果が出やすいという報告もあるため、この定点観測で実際の日数を記録していきます。
#AIO#GEO#AIクローラー#アクセス解析