搜索引擎蜘蛛识别

基于官方 IP 段（Google / Bing）与双向 DNS 反向解析，精准验证百度、谷歌、必应、360、雅虎、Yandex、搜狗、神马等爬虫真伪。

百度谷歌必应360 雅虎Yandex搜狗神马头条
默认快速模式：只查本地 IP 段，适合高并发接入
准备就绪，等待输入...
0
总计
0
真实
0
非蜘蛛
0
可疑
0
未知/无效
IP 地址 状态 搜索引擎 详情 / 识别依据
准备就绪，等待输入...

为什么需要识别真假蜘蛛？

  • 节省服务器资源：屏蔽伪造的垃圾爬虫，减少带宽消耗。
  • SEO 数据分析：准确区分真实爬虫抓取频次，分析收录情况。
  • 安全防护：很多扫描器会伪装成 Googlebot / Baiduspider 进行探测。

验证方法：优先匹配 Bing 官方 IP / Google 官方 IP / 360 公布 IP 段； 其余引擎采用 PTR 反向解析 + 正向回查。 360 官方说明暂不支持 nslookup，因此像 180.153.236.132 无反向解析属正常，按公布网段判定即可。 头条 Bytespider 常有 PTR 但无正向 A 记录，将校验主机名内嵌 IP。 线上接入请用快速模式（本地 IP 段）+ 定时 cron_update.php，不要对每个访客做 DNS。

第三方接入 JS

把下方脚本引入你的站点，即可调用检测接口（需先部署本项目并修改 API 地址）。

<script src="https://你的域名/sdk/spider-check.js"></script>
<script>
  SpiderCheck.config({ apiBase: 'https://你的域名' });
  SpiderCheck.check('66.249.66.1').then(function (r) {
    console.log(r.is_spider, r.engine_name_cn, r.status_text);
  });
  SpiderCheck.checkBatch(['66.249.66.1', '8.8.8.8']).then(console.log);
</script>