温州在线手机站

温州 > 科技 > 互联网 > 网站建设 > 搜索优化 >

请高手深度分析搜索引擎蜘蛛 解开我心头的疑团

  搜索引擎蜘蛛使劲的在我的网站上爬,本来是一件好事,最近我发现了雅虎在爬哪个网页以后,我一直很纳闷。因为这是我做的一个静态网页,忘记删除了。网站导航和目录里面都没有指向这个网页,可是雅虎蜘蛛却在这个网页上使劲的爬,有时候每秒爬行十几次,4月4日的日志我检查了下,雅虎爬了1400多次,竟然大部分时间在这个单独页面上,这样子的爬行对服务器的压力会很大。对网站收录又没有什么帮助,因为这个页面没有什么特别的内容,最近我在这个页面上加了很多文本内容。但是即使这样,一个搜索引擎只关注我网站的一个内页,总不是什么好现象,请高手深度分析下,这是什么原因引起的,会带来什么坏的后果,以待我更好的改进。

这个页面的地址:http://www.wenzhousx.com/seo/seo.html

我做了一个和这个一样的页面,蜘蛛却不来爬

http://www.wenzhouzx.com/seo/这两个页面一样的原因是我刚做的时候,路径问题没有搞对,所以,把那个文件夹里的seo.html的文件忘了删除,现在蜘蛛这么狠命的爬,我都不敢删除这个文件了,删了我怕给我一串的404

蜘蛛爬行统计:

 
蜘蛛爬行统计
 

雅虎在那个单独页面的爬行记录:

 
雅虎记录

(责任编辑:温州在线)