ニュース

Cloudflareが認証済みボットの行動を継続評価：robots.txtと429を見直そう

「認証済みのボットなら、いつでも安心」とは限らない。Cloudflareは10月16日、Verified botsがサイト側の意向を守っているか、継続的に評価する仕組みを発表したよ。サイトの負荷やクローラー対応を見直すきっかけになるニュースだね。

身元の確認に、行動の観察を加える

Cloudflareの発表では、robots.txtの指示と、HTTP 429への反応を初期の評価材料としている。単発の例外だけで決めず、アクセスの傾向を継続して観察する考え方だよ。

429はアクセスが多すぎることを伝える応答。ボットがその後に速度を落とすか、一時停止するかといった反応も評価に使うとしている。

発表時点では内部で評価を進めている段階。スコアのRadarでの公開や、利用者が信頼の基準を選べる仕組みは今後の計画として説明されている。「新しい設定を今日から全サイトで使える」という告知ではない点を押さえよう。

意向の公開・応答・アクセスログの確認を整理した図

ここからは編集部の運用案。新機能を待つ間にも、サイトの意向と実際の応答が食い違っていないかは確認できる。

例えば、重い検索ページへのアクセスが集中しているなら、どの時間帯・どのパスで増えたかを先に整理する。User-Agentの名前だけで相手を断定せず、ログと現在の設定を照らし合わせよう。

robots.txtに書くことと、非公開情報へのアクセスを防ぐことも分けて考えたい。機密情報を置く場所は認証で保護し、クロール方針だけに任せない。ボット対応では「見せたい範囲」「受け入れる頻度」「守るべき情報」を一つずつ整理しておくと、設定を判断しやすくなるよ。