クローラー判定

UA は名札であって身分証ではありません — Googlebot/2.1 は誰でも名乗れます。ただし詐称する価値のあるクローラーを持つベンダーは、 そのクローラーが実際に使うアドレスを公開しています。 名前でも、アドレスでも、アクセスログの 1 行でも構いません。公開リストから 言えることをそのまま返します。

入力は保存しません。判定にはベンダー自身が公開しているリストだけを使い、 毎日更新しています。

判定の読み方

本物 — ベンダーがクローラーのアドレスを公開している 名前で、かつこのアドレスがそのリストに入っています。名乗りどおりです。

偽装 — 同じくリストのある名前ですが、アドレスが 入っていません。名前を借りた別物です。

検証不可 — 実在するクローラーですが、運営元が アドレスを公開していません。手がかりは名前だけで、名前は何も証明しません。 これはそのリクエストへの疑いではなく、ベンダー側の事実です。

対応ベンダー: Google / Microsoft (Bing) / OpenAI / Anthropic / Perplexity / Apple / Amazon / DuckDuckGo。名前の照合には crawler-user-agents データセットを使うので、上記以外のクローラーも名前としては認識し、 素通しではなく「検証不可」として返します。

ここでできるのは 1 件ずつの手動確認です。unmask は同じ判定を全リクエストに、あなたのサーバー上で適用します。