クロールバジェットとは｜Googlebotは思ったより来ていなかった

検索コンソールの数字を眺めていて、妙な引っかかりを覚えたことがある。
インデックス未登録のページが161件もあるのに、登録済みはわずか137件だった。
最初はコンテンツの質を疑ったが、原因はもっと単純なところにあった。
Googlebotが、そもそもサイトにほとんど来ていなかったのだ。

クロールバジェットという言葉を初めて意識した日

クロールバジェットとは、検索エンジンのクローラが一定期間内にサイトを巡回できる量のことを指す。
サイトの評価や規模、更新頻度によってこの予算は変わり、評価の低いサイトほど配分は少なくなる。
言葉としては知っていたが、自社サイトの規模でそこまで気にする必要があるとは思っていなかった。
アクセスログを実際に集計するまでは。

アクセスログを7週間分集計してみた

サーバーのアクセスログを7週間分集計してみると、Googlebotのアクセスは合計37回だった。
同じ期間でBingbotは672回、ClaudeBotは648回アクセスしていた。
検索順位に直結するはずのGooglebotが、他のボットの20分の1以下しか来ていなかったことになる。
この期間のオーガニック検索経由の流入は40件にとどまっていた。
サイト全体のページ数からすると、7週間で37回という巡回数はどう見ても足りていない。
数字を並べてようやく、「インデックスされない」ではなく「見に来ていない」が問題の本質だと気づいた。

技術面を直しても、すぐには来訪が増えなかった

クロールバジェットは無限ではなく、Googleはサイトの評価や被リンクの状況を見ながら配分を決めているといわれている。
表示速度や構造化データなど技術的な対策はひととおり済ませていたので、この結果はやや意外だった。
実際、ページ送りのcanonicalが2ページ目から14ページ目まで自分自身ではなく1ページ目を指してしまっていた不具合を見つけて直したこともある。
一覧ページの大半が「複製」として扱われていたことになるので、直せばクロールも増えるはずだと期待した。
ところが修正後もGooglebotの巡回回数はすぐには目立って増えなかった。
技術的なSEO対策を整えることと、クローラに実際に来てもらえるかどうかは、別の問題だったということだ。

今すぐ増やせない被リンクの代わりにやったこと

被リンクを短期間で増やすことはできないので、まずは来てくれた分のクロールを無駄にしない方向で手を打った。
価値の低いページにnoindexを設定してクロール先を整理し、canonicalの誤りを直して重複評価を防いだ。
構造化データを整えてクロール1回あたりに伝わる情報量を増やすことも、地道だができる対策のひとつだった。
それでもGooglebotの来訪回数そのものは、外部からの評価が変わらない限り劇的には増えないというのが実感だ。

記事を書く前に疑ってみてほしいこと

クロールバジェットは、コンテンツを書く前に意識するような指標ではないと思っていた。
けれど数字を見てからは、記事を1本増やすたびに「これはクロールしてもらえるだけの価値があるか」を考えるようになった。
毎日同じ構成・同じ文体で量産していた告知記事にnoindexを設定し、独自性の高い記事だけをインデックス対象に絞ったのも、この気づきがきっかけだった。
サイトの内部をどれだけ整えても、外から見に来てもらえなければ検索結果には反映されない。
検索順位が伸び悩んでいるなら、コンテンツの中身より先に、クローラが実際に来ているかどうかを疑ってみてほしい。

構造化データやrobots.txtの設定については、
AIO構造化データの機能ページで詳しく紹介している。