常常去看我那个网站的访问日志,刚才闲得无聊就以“Baiduspider+”作关键字搜了一下,才发现埋怨百度的Baiduspider+老来爬的站长还不少咧,其中就有一篇《茁壮成长的弱智Baiduspider》比较出名。我一向以为站长们都是对那些爬来爬去的各种蜘蛛十分欢迎的,没想到看到的大部分都是讨论怎么Ban掉Baiduspider+的。不过看我的日志也确实觉得百度的蜘蛛太“勤奋”了哦,从早到晚不停不歇的在这里爬。而且说百度蜘蛛“白吃”也确实很对,它都已经爬了这么多页面了,少说也有百把张了吧,但我用“inurl:”语法一搜,居然连一个页面都没有收录,真不知道它爬来爬去干什么。这句“别人的蜘蛛吐的是丝,可百度的弱智蜘蛛吐的却是大便”确实堪称经典。 顺便提一下,那个Google的蜘蛛自从那两次来访之后就再也没有露面,不知道为什么,也许是真的按照官方网站上的说法18天更新一次吧。而且还有个Yahoo!的蜘蛛来凑过一次热闹。哎,反正我那网站也没有人来看,就陪那些蜘蛛们“玩玩”吧。
图为我那网站的访问日志,整整一页除了有两个是人类以外,满是蜘蛛
 |