又在刷新

永城人 · 发表于 2010-8-25 21:25:07

是机器程序，来的越多说明搜索引擎之后收录的也越多。
我们使用搜索时的内容，都是搜索引擎的蜘蛛提前爬过然后建立档案的，百度快照、谷歌快照之类就是最后一次有效爬行切更新了内容的时间。

搜索引擎蜘蛛
搜索引擎蜘蛛指自动抓取网页内容的机器人Robots　　　世界各大搜索引擎蜘蛛名字　　google蜘蛛： googlebot　　　百度蜘蛛：baiduspider　　　yahoo蜘蛛：slurp　　　alexa蜘蛛：ia_archiver　　　msn蜘蛛：msnbot　　　altavista蜘蛛：scooter　　　lycos蜘蛛： lycos_spider_(t-rex)　　　alltheweb蜘蛛： fast-webcrawler　　　inktomi蜘蛛： slurp　　　有道蜘蛛：YodaoBot和OutfoxBot 　　

当然，蜘蛛的作用就是让走索引擎对有效链接进行搜寻，但不是允许的蜘蛛越多越好，有时会造成负面效果，蜘蛛爬虫太多，会影响服务器的运行，导致网页打开缓慢。就像论坛这两天，晚上非常的卡，而且不是百度、谷歌的蜘蛛，搜搜搜狗雅虎都是现在很偏门的搜索。好处就是侧面反映论坛作为一个网站在引擎面前权重又有了大的提升，会每天获得更多的来自搜索引擎的浏览。

永城人 · 发表于 2010-8-25 21:26:14

如果明天还爬行的话，论坛就要考虑屏蔽这几个搜索的蜘蛛了。
太没有限度了，高峰期进行爬行，百度谷歌从来不这样。

城市评论者 · 发表于 2010-8-25 21:38:51

谢谢你…大概的明白了…呵呵…睡觉了…晚安…

忍者无敌 · 发表于 2010-8-26 06:35:21

在线会员 - 总计 713 人在线 - 最高记录是 5986 于 2010-8-25

沙莎 · 发表于 2010-8-26 13:52:35

挺多的

账号		自动登录	找回密码
密码			我要注册