我们的爬虫

如果你在服务器日志中看到 FaviconChecker/1.0，说明有人用 favicon-checker.com 检测了你网站的图标。

User-Agent

Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/141.0 Safari/537.36 (compatible; FaviconChecker/1.0; +https://favicon-checker.com/bot)

请求来自 Cloudflare 的网络，所以 IP 地址属于 Cloudflare。

抓取内容

• 首页，只读取到 <head> 结束为止；
• /favicon.ico、/apple-touch-icon.png、/robots.txt 和 /browserconfig.xml；
• 首页声明的每个图标和 manifest 文件，以及 manifest 中列出的图标。

通常是 15 到 30 个小请求，每次检测最多 44 个。每个文件上限 512 KB，请求 5 秒后放弃。

访问频率

只有人发起检测时才会运行。无论多少人检测同一个网站，每 10 分钟最多抓取一次；其间看到的都是已保存的结果。

robots.txt

每次检测都由人发起，所以爬虫抓取的文件和浏览器首次访问时一样。它读取 robots.txt，是为了报告 Googlebot 能否抓取你的首页和图标，而不是用来决定自己抓取什么。

联系我们

要反馈问题，或请我们停止检测某个网站，请发邮件到 contact@favicon-checker.com，并附上主机名。