采集说明
BlogFinder 为了自动感知已收录博客站点的最新信息,采用了网络爬虫的方式来采集一些必要的数据。为了让您明确相关的请求来自于本站爬虫,本站在每个发起的外部抓取请求中定义了如下的 User-Agent 请求标识:
Mozilla/5.0 (compatible; BlogFinderbot/1.0; +https://bf.zzxworld.com/p/bot)
如果您在自己网站的访问日志中看到有类似的访问记录,希望可以予以通行。
根据需要,本站的爬虫只会访问您站点的以下地址:
- 首页地址。通过此地址检测博客站点的可访问状态,获取站点标题和描述等信息。
- RSS 地址。通过此地址和 RSS 格式协议获取博客站点最近更新的文章信息。
- RSS 中包含的文章地址。访问此地址是为了检测 RSS 中文章网址的可访问状态。
为了避免爬虫对博客站点产生访问压力,本站限制了爬虫的访问频次。首页或 RSS 地址根据博客站点的更新频率限制在 10 次以内。文章页根据点击情况限制为 1 次。
如果您对以上关于本站爬虫的介绍有其他疑问,可以访问了解本站页面,通过最下方的联系方式和站长取得联系。