如何在IIS里设置启用LOG文件记录搜索引擎蜘蛛并查询 – 与你同行·老实孩子·某知名博客

如何在IIS里设置启用LOG文件记录搜索引擎蜘蛛并查询

/ 2评 / 1

今天很郁闷,突然的降温,导致郑州开始飘雨夹雪,早上一看天气不行,提前半个小时出门,结果原来25分钟就可以到公司的,今天走了一个多小时,还是一样的迟到。真是蛋疼加杯具。。。

最近公司一个网站的快照停止在18号了,去服务器上查看该网站日志IISLOG记录!竟然没发现蜘蛛记录,以为网站要挂了!仔细一看,原来IIS该站点日志属性中没设置记录爬虫这些!百度下竟然在网上没有很详细的关于这方面的文章,为了让以后更多的兄弟不浪费宝贵的时间,就把这个全套设置全部写出来。

一、IIS中网站的日志的设置。

打开IIS。选择所要设置的网站属性。弹出如下窗口:

设置的网站属性

设置的网站属性

勾选“启用日志记录”,选择“W3C扩展日志文件格式”。

再次点击这里的“属性”按钮,常规选项里面,选择新日志计划为“每天”,当然也可以选择其他,选择好保存日志文件的目录。

日志记录属性

日志记录属性

按照一般情况,设置到这里就可以记录日志了,但是有些主机无论如何都找不到搜索引擎爬虫的痕迹,类似于Baiduspider+怎么都看不到。这个时候我们就需要启用剩下的三个选项了!

高级-日志记录属性

高级-日志记录属性

选择高级选项。勾选底下的用户代理(cs(User-Agent))等下面三个选项,这样我们就可以看到百度蜘蛛了!

如何分析网站IIS日志中的蜘蛛,请查看我以前发布的文章:
如何查看IIS日志详解
http://blog.youngbar.com/html/how-to-view-the-iis-log-xiangjie.html

  1. sandy说道:

    小心LOG爆了硬盘!最好是上黑盘,不然容易被LOG写爆硬盘………………..知名博主路过!!!

  2. 老实孩子说道:

    @sandy 之前考虑过这个问题,目前还有300G的空间,本来打算写个CMD定期清理,后来想想算了。等收录正常就不记录日志了。嘿嘿。。懒汉一个。。。

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注